Google lanzó un modelo de lenguaje grande de código abierto basado en la tecnología utilizada para crear Gemini que es potente pero liviano, optimizado para usarse en entornos con recursos limitados, como una computadora portátil o una infraestructura de nube.

Gemma se puede utilizar para crear un chatbot, una herramienta de generación de contenido y prácticamente cualquier otra cosa que pueda hacer un modelo de lenguaje. Esta es la herramienta que los SEO estaban esperando.

Se lanza en dos versiones, una con dos mil millones de parámetros (2B) y otra con siete mil millones de parámetros (7B). El número de parámetros indica la complejidad y la capacidad potencial del modelo. Los modelos con más parámetros pueden lograr una mejor comprensión del lenguaje y generar respuestas más sofisticadas, pero también requieren más recursos para entrenarse y ejecutarse.

El propósito de lanzar Gemma es democratizar el acceso a Inteligencia Artificial de última generación, entrenada para ser segura y responsable desde el primer momento, con un conjunto de herramientas para optimizarla aún más en términos de seguridad.

Gemma por DeepMind

El modelo está desarrollado para ser liviano y eficiente, lo que lo hace ideal para ponerlo en manos de más usuarios finales.

El anuncio oficial de Google destacó los siguientes puntos clave:

• “Estamos lanzando pesas modelo en dos tamaños: Gemma 2B y Gemma 7B. Cada tamaño se lanza con variantes previamente entrenadas y ajustadas por instrucciones.
• Un nuevo kit de herramientas de IA generativa responsable proporciona orientación y herramientas esenciales para crear aplicaciones de IA más seguras con Gemma.
• Proporcionamos cadenas de herramientas para inferencia y ajuste fino supervisado (SFT) en todos los marcos principales: JAX, PyTorch y TensorFlow a través de Keras 3.0 nativo.
• Las notebooks Colab y Kaggle listas para usar, junto con la integración con herramientas populares como Hugging Face, MaxText, NVIDIA NeMo y TensorRT-LLM, facilitan el inicio de Gemma.
• Los modelos Gemma previamente entrenados y ajustados por instrucciones pueden ejecutarse en su computadora portátil, estación de trabajo o Google Cloud con una fácil implementación en Vertex AI y Google Kubernetes Engine (GKE).
• La optimización en múltiples plataformas de hardware de IA garantiza un rendimiento líder en la industria, incluidas las GPU NVIDIA y las TPU de Google Cloud.
• Los términos de uso permiten el uso comercial y la distribución responsable para todas las organizaciones, independientemente de su tamaño”.

Análisis de Gemma

Según un análisis realizado por Awni Hannun, científico investigador de aprendizaje automático de Apple, Gemma está optimizada para ser altamente eficiente de una manera que la hace adecuada para su uso en entornos de bajos recursos.

Hannun observó que Gemma tiene un vocabulario de 250.000 (250.000) tokens frente a los 32.000 de modelos comparables. La importancia de esto es que Gemma puede reconocer y procesar una variedad más amplia de palabras, lo que le permite manejar tareas con un lenguaje complejo. Su análisis sugiere que este extenso vocabulario mejora la versatilidad del modelo en diferentes tipos de contenido. También cree que puede ayudar con las matemáticas, el código y otras modalidades.

También se señaló que los “pesos incorporados” son enormes (750 millones). Los pesos de incorporación son una referencia a los parámetros que ayudan a asignar palabras a representaciones de sus significados y relaciones.

Una característica importante que destacó es que los pesos de incrustación, que codifican información detallada sobre los significados y las relaciones de las palabras, se utilizan no solo en el procesamiento de la parte de entrada sino también en la generación de la salida del modelo. Este intercambio mejora la eficiencia del modelo al permitirle aprovechar mejor su comprensión del lenguaje al producir texto.

Para los usuarios finales, esto significa respuestas (contenido) más precisas, relevantes y contextualmente apropiadas del modelo, lo que mejora su uso en la generación de contenido, así como para chatbots y traducciones.

Él tuiteó:

“El vocabulario es enorme en comparación con otros modelos de código abierto: 250K frente a 32k para Mistral 7B

Quizás ayude mucho con matemáticas/código/otras modalidades con una gran cantidad de símbolos.

Además, los pesos de incorporación son grandes (~750 millones de parámetros), por lo que se comparten con el cabezal de salida”.

En un tweet de seguimiento, también señaló una optimización en el entrenamiento que se traduce en respuestas del modelo potencialmente más precisas y refinadas, ya que permite que el modelo aprenda y se adapte de manera más efectiva durante la fase de entrenamiento.

Él tuiteó:

“El peso normal RMS tiene una compensación unitaria.

En lugar de “x*peso” hacen “x*(1+peso)”.

Supongo que esto es una optimización del entrenamiento. Por lo general, el peso se inicializa en 1, pero probablemente se inicialice cerca de 0. Similar a cualquier otro parámetro”.

Prosiguió que hay más optimizaciones en datos y entrenamiento pero que esos dos factores son los que destacaron especialmente.

Diseñado para ser seguro y responsable

Una característica clave importante es que está diseñado desde cero para ser seguro, lo que lo hace ideal para su implementación y uso. Los datos de entrenamiento se filtraron para eliminar información personal y confidencial. Google también utilizó el aprendizaje reforzado a partir de la retroalimentación humana (RLHF) para entrenar el modelo para un comportamiento responsable.

Se depuró aún más con reequipamiento manual, pruebas automatizadas y se verificaron capacidades para actividades peligrosas y no deseadas.

Google también lanzó un conjunto de herramientas para ayudar a los usuarios finales a mejorar aún más la seguridad:

“También estamos lanzando un nuevo kit de herramientas de IA generativa responsable junto con Gemma para ayudar a los desarrolladores e investigadores a priorizar la creación de aplicaciones de IA seguras y responsables. El kit de herramientas incluye:

• Clasificación de seguridad: proporcionamos una metodología novedosa para construir clasificadores de seguridad sólidos con ejemplos mínimos.
• Depuración: una herramienta de depuración de modelos le ayuda a investigar el comportamiento de Gemma y abordar posibles problemas.
• Orientación: puede acceder a las mejores prácticas para creadores de modelos basadas en la experiencia de Google en el desarrollo e implementación de modelos de lenguaje grandes”.

Lea el anuncio oficial de Google:

Gemma: Presentamos nuevos modelos abiertos de última generación

Imagen destacada de Shutterstock/Photo For Everything