Apple ha dado un paso significativo en el ámbito de la inteligencia artificial (IA) al colaborar con Nvidia en un proyecto que busca mejorar el rendimiento de los modelos de lenguaje grande (LLM). Esta colaboración se centra en acelerar el proceso de inferencia, una parte crucial para el funcionamiento de los LLM, mediante una herramienta de código abierto llamada ReDrafter.
¿Qué es ReDrafter y cómo funciona?
ReDrafter es una técnica innovadora de decodificación especulativa que permite generar múltiples tokens de manera paralela, lo que reduce significativamente la latencia en el procesamiento de lenguaje. Nvidia ya ha integrado ReDrafter en su framework TensorRT-LLM, optimizando así la ejecución de modelos de IA en sus GPU.
Según Apple, al utilizar ReDrafter y TensorRT-LLM, la generación de tokens por segundo puede acelerarse hasta 2,7 veces en procesos de decodificación directa (Greedy Decoding). Este avance ha sido probado en modelos con decenas de miles de millones de parámetros, mostrando una reducción significativa en la latencia percibida por los usuarios, además de optimizar el rendimiento energético.
¿Por qué es importante esta colaboración?
El decodificado especulativo permite que los modelos de IA anticipen futuros tokens utilizando módulos más pequeños que luego son validados por el modelo principal. Esta técnica mantiene la calidad de las respuestas mientras acelera los tiempos de inferencia, especialmente en momentos de baja demanda.
Al compartir el código de ReDrafter con la comunidad a través de GitHub, Apple y Nvidia están impulsando el desarrollo de la IA en toda la industria. Este enfoque no solo beneficia a Apple y Nvidia, sino que permite a otros desarrolladores implementar mejoras similares en sus propios sistemas.
Implicaciones para Apple y el futuro de la IA
Apple ha dejado claro que, además de colaborar con Nvidia en la optimización de LLM en servidores, también está trabajando para acelerar estos procesos en sus propios dispositivos con Apple Silicon. Esto podría traducirse en mejoras significativas para productos como el iPhone, iPad y Mac, potenciando las capacidades de IA directamente en el hardware de los usuarios.
Además, la adopción de tecnologías de Nvidia para entrenar sus modelos de IA coloca a Apple en una posición competitiva junto a gigantes como Meta y OpenAI. Según pruebas internas, ReDrafter ha permitido generar hasta 3,5 tokens por paso en modelos de código abierto, superando técnicas de decodificación anteriores.
