Grok bajo escrutinio tras crear imágenes sensibles de niños

Grok, el chatbot de inteligencia artificial de Elon Musk, retiró imágenes sexualizadas de menores tras detectar fallas de seguridad que activaron alertas globales.

El chatbot de inteligencia artificial Grok, desarrollado por xAI, creó y publicó imágenes sexualizadas de menores tras indicaciones de usuarios, en aparente violación de sus propias políticas. El material fue eliminado tras detectarse fallas en los sistemas de seguridad.

Grok reconoce fallas y retira el contenido

En los últimos días, Grok generó imágenes de menores con ropa mínima, lo que contraviene su política de uso aceptable, que prohíbe la sexualización infantil. Tras la difusión de las imágenes, estas fueron retiradas. En respuesta a un usuario el viernes, la propia herramienta reconoció que “hemos identificado fallas en las medidas de seguridad y las estamos solucionando urgentemente”, y subrayó que el material de abuso sexual infantil es ilegal y está prohibido. Los representantes de xAI, empresa que desarrolla Grok y opera la red social X, no respondieron de inmediato a solicitudes de comentarios.

Desafíos de la moderación en la IA generativa

El caso evidencia los desafíos crecientes en la moderación de contenido y en los sistemas de seguridad de los modelos de inteligencia artificial capaces de generar imágenes realistas. A pesar de contar con barreras declaradas, diversas herramientas pueden ser manipuladas, permitiendo la proliferación de material sensible que ha encendido alertas entre defensores de la seguridad infantil.

Aumento alarmante de imágenes ilegales creadas con IA

La Internet Watch Foundation informó un aumento del 400% en imágenes de abuso sexual infantil generadas por IA durante el primer semestre de 2025, un crecimiento que refleja la rapidez con la que estas tecnologías pueden ser explotadas. La fundación advirtió que los contenidos son cada vez más realistas y extremos, lo que complica su detección y eliminación.

El enfoque permisivo de Grok y la reacción internacional

xAI ha posicionado a Grok como una herramienta más permisiva que otros modelos convencionales y el verano pasado introdujo el “Modo Picante”, que permite desnudos parciales de adultos y contenido sexual sugerente. No obstante, el servicio prohíbe explícitamente la pornografía con personas reales y cualquier contenido sexual con menores. Aun así, usuarios han utilizado la plataforma para eliminar digitalmente la ropa de imágenes, principalmente de mujeres, generando escenas sexualizadas. Estas prácticas motivaron al Ministerio de Tecnologías de la Información de la India a exigir una revisión exhaustiva de las medidas de seguridad de Grok, según una denuncia difundida por la parlamentaria Priyanka Chaturvedi.

Políticas de otras empresas tecnológicas

Ante el crecimiento de la generación de imágenes con IA, compañías líderes han reforzado sus políticas. OpenAI prohíbe cualquier material que sexualice a menores de 18 años y bloquea a usuarios que intenten crear o subir ese contenido. Google mantiene reglas similares que vetan imágenes modificadas de menores en contextos sexualmente explícitos. Por su parte, Black Forest Labs, empresa que ha colaborado con X, afirma filtrar material de abuso infantil de los datos usados para entrenar modelos. Sin embargo, investigaciones de 2023 detectaron que conjuntos de datos públicos incluían al menos 1,008 casos de este tipo de material.

Presión para reforzar la seguridad antes del lanzamiento

Empresas tecnológicas también han sido criticadas por no proteger adecuadamente a los menores. Meta Platforms Inc. (META) anunció ajustes a sus políticas tras revelarse que su chatbot podía mantener conversaciones románticas con niños. El director ejecutivo de la Internet Watch Foundation, Kerry Smith, advirtió que “los productos de IA deben probarse rigurosamente antes de salir al mercado” para evitar la generación de este material, subrayando la urgencia de controles más estrictos.

Noticias del tema