Falcon 180B

Falcon 180B, desarrollado por el Technology Innovation Institute (TII) de Abu Dabi, fue uno de los modelos de lenguaje de código abierto más grandes en el momento de su lanzamiento, entrenado en 3,5 billones de tokens utilizando el conjunto de datos RefinedWeb de TII. Sus 180 mil millones de parámetros ofrecen un rendimiento impresionante en benchmarks, rivalizando con modelos como LLaMA 2 70B y acercándose al territorio de GPT-3.5 en varias tareas. Ser de código abierto y gratuito es una gran ventaja para investigadores y empresas que buscan soluciones personalizables y autoalojadas. Sin embargo, el enorme tamaño del modelo presenta desafíos de implementación significativos: requiere una infraestructura de GPU sustancial que lo pone fuera del alcance de muchos usuarios. La velocidad de inferencia puede ser lenta sin configuraciones de hardware optimizadas. Si bien destaca en tareas de generación de texto y razonamiento, desde entonces ha sido superado por modelos más nuevos y eficientes como Mixtral y LLaMA 3, que logran resultados comparables o mejores con menos parámetros. La disponibilidad de API a través de Hugging Face y otras plataformas facilita la accesibilidad. Falcon 180B sigue siendo un hito notable en la IA de código abierto, aunque su utilidad práctica ha disminuido a medida que el campo ha avanzado rápidamente.