Lanzamiento de los Pesos Base y la Arquitectura de la Red de Grok-1 por xAI
xAI ha anunciado la liberación de los pesos base y la arquitectura de red de Grok-1, su modelo de lenguaje de gran tamaño. Este modelo es un Mixture-of-Experts con 314 mil millones de parámetros, desarrollado íntegramente por xAI. Esta liberación corresponde al checkpoint base de la fase de pre-entrenamiento de Grok-1, que concluyó en octubre de 2023, y es importante destacar que no ha sido afinado para aplicaciones específicas, como diálogos. Los pesos y la arquitectura se ofrecen bajo la licencia Apache 2.0, promoviendo su uso y modificación para fomentar la innovación. Para empezar a usar el modelo, xAI proporciona instrucciones detalladas en su repositorio de GitHub.
Fuentes: xAI