Red Hat, Inc., el proveedor líder mundial de soluciones open source, anunció hoy que ha firmado un acuerdo definitivo para adquirir Neural Magic, una empresa pionera en software y algoritmos que aceleran las cargas de trabajo de inferencia de la IA generativa (gen AI). La experiencia de Neural Magic en ingeniería de rendimiento de inferencia y el compromiso con el código abierto se identifican con la visión de Red Hat de lograr cargas de trabajo de IA de alto rendimiento que se correspondan directamente con casos de uso y datos específicos del cliente en cualquier lugar de la nube híbrida.
El objetivo de Red Hat es abordar estos problemas y hacer que la IA generativa sea más accesible para más organizaciones a través de la innovación abierta de vLLM, desarrollada por UC Berkeley. vLLM es un proyecto open source impulsado por la comunidad para el servicio de modelos abiertos (la forma en que los modelos de IA generativa infieren y resuelven problemas), que admite todas las familias de modelos clave, la investigación avanzada de aceleración de inferencia y distintos back-ends de hardware, que incluyen GPU de AMD, AWS Neuron, TPU de Google, Intel Gaudi, GPU de NVIDIA y CPU x86.
Last modified on 2024-12-02