Investigadores de la Universidad de Washington han presentado Guanaco, un chatbot de código abierto que tiene como objetivo rivalizar con el rendimiento de ChatGPT mientras reduce significativamente el tiempo y los recursos necesarios para el entrenamiento. Nombrado en honor a un pariente sudamericano de las llamas, Guanaco se basa en el modelo de lenguaje LLaMA e incorpora un novedoso método de ajuste llamado QLoRA.

Guanaco, un chatbot revolucionario

Los creadores de Guanaco afirman que logra un rendimiento comparable al de ChatGPT, pero puede ser entrenado en tan solo un día. Este logro notable es posible gracias a QLoRA, una técnica de ajuste del modelo de lenguaje que reduce sustancialmente la cantidad de memoria de GPU necesaria para el entrenamiento. Mientras que ChatGPT requiere una enorme memoria de GPU de 780 GB para un modelo con 65 mil millones de parámetros, la versión más simple de Guanaco solo necesita 5 GB.

La eficiencia impresionante de Guanaco y otros modelos de código abierto desafía la idea de que el entrenamiento costoso es necesario para los modelos de lenguaje de vanguardia. La aparición de Guanaco, Alpaca y otros modelos que se entrenan a una fracción del costo ha generado especulación sobre el futuro de modelos costosos como GPT.

Sin embargo, no todos están de acuerdo con esta visión optimista de los modelos de código abierto. Un estudio reciente realizado por la Universidad de California ha generado dudas sobre las capacidades de modelos como las alpacas y ha planteado preguntas sobre su verdadero potencial. Inicialmente, los investigadores llegaron a una conclusión similar a la de los creadores de Guanaco: cuando se entrenan adecuadamente, los modelos de código abierto pueden rivalizar con GPT en capacidades. Sin embargo, pruebas adicionales revelaron una limitación significativa. Estos modelos Dolly, como a veces se les llama, son hábiles para imitar soluciones a problemas a los que han sido expuestos durante el entrenamiento, pero tienen dificultades para desempeñarse bien en tareas a las que no han sido expuestos explícitamente, quedando rezagados frente a modelos más avanzados.

Desafíos y perspectivas de los modelos de código abierto frente a GPT y referentes establecidos.

Esta revelación sugiere que los millones invertidos en el entrenamiento de GPT y modelos similares pueden no haber sido en vano. Si bien Guanaco y sus contrapartes demuestran resultados prometedores, aún hay áreas donde los modelos más sofisticados sobresalen. Vale la pena destacar que la investigación realizada por la Universidad de California desafía la noción predominante de que los modelos de código abierto pueden reemplazar por completo a modelos costosos como GPT.

A medida que el campo del procesamiento del lenguaje natural evoluciona, será interesante observar cómo Guanaco y otros modelos de código abierto se desempeñan frente a referentes establecidos como ChatGPT. La alta tasa de innovación y la investigación continua sin duda impactarán el futuro de los modelos de lenguaje y determinarán qué modelos se convierten en la elección preferida para aplicaciones específicas.