DeepSeek publica como código abierto DeepInfer, su motor de inferencia para modelos de IA

DeepSeek liberó el 20 de octubre DeepInfer, el motor de inferencia que usa en sus servicios de producción, bajo licencia Apache 2.0, y el repositorio superó las 19.000 estrellas en GitHub a los pocos días. La herramienta reparte el cómputo entre chips, agrupa peticiones y controla la velocidad de respuesta, funciones que definen buena parte del costo de operar un servicio de IA. La primera versión solo ejecuta el modelo DeepSeek-V4.1-Flash en modo por lotes, y aún carece de caché de claves y valores, separación completa de fases y balanceo de carga. Según el repositorio, el proyecto se apoya en gran medida en vLLM, al que se suman núcleos optimizados propios y soporte para chips Nvidia Blackwell y Ascend 950 de Huawei. La publicación coincidió con una orden del Gobierno estadounidense que retiró los modelos de DeepSeek de los sistemas federales.