Estudio revela vulnerabilidades en sistemas de IA de grandes tecnológicas

El hallazgo destapó un problema de diseño extensible a muchos más agentes.

El uso de agentes de inteligencia artificial en equipos de desarrollo de software se ha expandido con rapidez, especialmente para tareas como revisión de código, análisis de incidencias y automatización de flujos. Sin embargo, una investigación reciente advierte que estos sistemas pueden convertirse en vectores de riesgo cuando operan en entornos que combinan información externa con credenciales sensibles.

El estudio, encabezado por el investigador Aonan Guan junto a expertos de la Universidad Johns Hopkins, identificó vulnerabilidades en herramientas como Claude Code Security Review de Anthropic, Gemini CLI Action de Google y GitHub Copilot Agent, desarrollado por GitHub bajo Microsoft.

El hallazgo se basa en una técnica denominada “Comment and Control”, que aprovecha los propios canales internos de plataformas como GitHub para introducir instrucciones maliciosas. En lugar de depender de infraestructura externa, el atacante inserta comandos ocultos en elementos aparentemente legítimos, como títulos de solicitudes de cambios o comentarios en incidencias. Los agentes, al procesar estos contenidos como parte de su flujo normal, ejecutan acciones sin distinguir su origen.

Esta dinámica expone una debilidad estructural: los agentes integran información externa en su contexto operativo mientras tienen acceso a herramientas, permisos y secretos necesarios para su funcionamiento. El resultado es una superficie de ataque ampliada dentro del mismo entorno de desarrollo.

En pruebas documentadas, los investigadores lograron inducir a los sistemas a ejecutar comandos y filtrar información sensible. En el caso de Anthropic, el agente podía ser manipulado desde el título de una solicitud de cambios; en Google, se logró extraer claves de API mediante incidencias; mientras que en GitHub Copilot Agent se identificó un método más sofisticado, ocultando instrucciones en comentarios HTML invisibles para los usuarios, pero procesados por el sistema.

El impacto potencial incluye la exposición de tokens, claves de acceso y otros datos críticos, particularmente en repositorios que permiten la ejecución de agentes sobre contenido generado por colaboradores externos y que, además, cuentan con permisos elevados. Aunque configuraciones estándar limitan parcialmente estos riesgos, implementaciones más abiertas pueden quedar vulnerables.

Las empresas involucradas reconocieron los hallazgos mediante programas de recompensas, aunque sin emitir en todos los casos alertas públicas amplias ni asignaciones formales de vulnerabilidad. Este aspecto ha generado preocupación entre especialistas, quienes advierten que la falta de comunicación puede dejar a usuarios operando con versiones expuestas.

Más allá de los casos específicos, el estudio plantea un problema sistémico. Según los investigadores, el mismo patrón podría replicarse en otras herramientas automatizadas conectadas a plataformas como Slack, Jira o sistemas de despliegue continuo, donde los agentes combinan lectura de entradas externas con capacidad de ejecución.

La principal recomendación apunta a reforzar el principio de privilegio mínimo. Esto implica limitar estrictamente el acceso de los agentes a recursos y credenciales, así como segmentar sus capacidades según la función específica que desempeñan. En un contexto donde la automatización avanza con rapidez, el control granular de permisos se perfila como un elemento clave para evitar que la eficiencia operativa derive en vulnerabilidades críticas.

Noticias del tema