¿Qué es Gemma y por qué Google la retiró de AI Studio?

Google retiró Gemma de AI Studio tras controversia por difamación a senadora de Estados Unidos.

Crédito: Google

Comparte

Google retiró el acceso a su modelo de Inteligencia Artificial (IA),Gemma,desde AI Studio,limitándolo ahora sólo a desarrolladores a través de una API.

La compañía justificó la medida para “prevenir confusión”,admitiendo que Gemma nunca fue concebido como una herramienta de consumo para hacer preguntas.

Esta decisión se produce en medio de una tormenta política,destacada por una carta de la senadora Marsha Blackburn,que acusa al modelo de generar “material difamatorio y evidentemente falso”.

En una publicación del 31 de octubre,News from Google reconoció públicamente que las “alucinaciones” de la IA son desafíos en toda la industria de la IA,afectando particularmente a modelos abiertos más pequeños como Gemma.

La empresa afirmó que sigue comprometida a minimizar las alucinaciones y mejorar continuamente sus modelos. Sin embargo,esta admisión técnica subraya la gravedad de los incidentes reportados por la senadora Blackburn,que van más allá de simples errores.

En la carta del 30 de octubre dirigida al CEO de Google, Sundar Pichai,la senadora Blackburn detalló su “profunda preocupación e indignación”.

“Me dirijo a ustedes para expresar mi profunda preocupación e indignación por el material difamatorio y manifiestamente falso generado por Gemma,el modelo de lenguaje de gran escala de Google.

“Durante una audiencia del Comité de Comercio del Senado (…) planteé el problema de los reiterados fallos de Google a la hora de impedir que sus sistemas de IA fabriquen historias maliciosas sobre figuras públicas conservadoras”,dice la carta de la Senadora.

Blackburn denunció que esto no es un error técnico,sino una falla catastrófica de supervisión y responsabilidad ética,y parte de lo que ella considera un patrón consistente de sesgo contra figuras conservadoras.

La demanda de Blackburn fue contundente: “Ciérrenlo hasta que puedan controlarlo”. La decisión de Google de retirar a Gemma de AI Studio parece ser una respuesta directa a este tipo de uso indebido.

Al admitir que personas “no desarrolladoras” estaban usando la herramienta de forma indebida y limitarla a una API,Google puede ejercer un mayor control sobre su uso y aplicar filtros de seguridad más estrictos,evitando que el modelo sea tratado como un producto de consumo para consultas factuales.

La senadora ha exigido a Google una respuesta por escrito,pidiendo una “explicación detallada de cómo y por qué Gemma generó las acusaciones falsas“.

También exige saber qué pruebas internas,barreras de protección y filtros de contenido fallaron y las medidas concretas que se tomarán para eliminar el material difamatorio y evitar que el modelo genere contenido falso similar.

La restricción de Gemma a una API es la primera acción visible de la compañía mientras prepara su respuesta formal al Senado.