Un informe reciente de Harmonic revela que el 8.5% de las consultas de empleados a LLMs populares como ChatGPT, Copilot, Gemini, Claude y Perplexity contienen datos sensibles, lo que plantea serias preocupaciones de seguridad, cumplimiento, privacidad y legales. El análisis de miles de consultas durante el cuarto trimestre de 2024 identificó que los datos de clientes (incluyendo información de facturación y autenticación) representan la mayor parte de la fuga (46%), con ejemplos como reclamaciones de seguros. Los datos de empleados (nóminas e información de identificación personal – PII) representan el 27%, seguidos por datos legales y financieros (15%). Preocupantemente, el 6.88% de las consultas sensibles incluyen información relacionada con la seguridad, como resultados de pruebas de penetración, configuraciones de red e informes de incidentes, lo que podría proporcionar a los atacantes una hoja de ruta para explotar vulnerabilidades.
La fuga de datos a través de IA generativa es un problema creciente para las empresas. El uso de LLMs se clasifica en tres categorías: implementaciones sancionadas (licenciadas o desarrolladas internamente), IA en la sombra (aplicaciones gratuitas prohibidas por la empresa) y IA semi-en la sombra (aplicaciones pagas no aprobadas por IT, a menudo utilizadas por unidades de negocio). Si bien la IA en la sombra no autorizada es una preocupación principal, la IA semi-en la sombra representa un desafío aún mayor. Las aplicaciones gratuitas de IA generativa son las más problemáticas, ya que sus términos de licencia a menudo permiten el entrenamiento con cada consulta. La investigación de Harmonic revela que el uso gratuito representa la mayor parte de la fuga de datos sensibles, con un 54% de las consultas sensibles ingresadas en el nivel gratuito de ChatGPT.
Sin embargo, los expertos en datos desaconsejan confiar en las promesas contractuales de las aplicaciones de IA generativa pagas, ya que las protecciones legales, especialmente las de secretos comerciales, pueden perderse si un empleado revela información confidencial en una consulta. Los abogados de propiedad intelectual incluso prueban diferentes IA para detectar fugas. Confiar únicamente en cláusulas contractuales no se considera un esfuerzo razonable para proteger secretos comerciales; las empresas deben implementar políticas estrictas y capacitar a los empleados sobre cómo obtener resultados similares sin usar datos protegidos, lo que requiere un mayor dominio de las estrategias de formulación de consultas.
La clave para abordar este problema radica en comprender por qué los empleados recurren a herramientas de IA gratuitas. A menudo, es porque las herramientas proporcionadas por IT no satisfacen sus necesidades. Los CISOs deben colaborar con los líderes empresariales para asegurar que las herramientas de IA sean «verdaderamente utilizables». La situación actual requiere un nuevo enfoque, ya que el uso de IA por parte de los empleados ha superado la capacidad de los equipos de IT para mantenerse al día. Las organizaciones necesitan estrategias claras de IA para reducir riesgos e integrar la IA en la pila tecnológica de los empleados. El enfoque tradicional de «restringir y proteger» está fallando, ya que impulsa la innovación de la IA hacia las sombras.
Los CISOs deben ser conscientes de que el problema de los datos con la IA generativa es doble: datos sensibles que salen a través de consultas y datos erróneos (alucinaciones o información incorrecta) que entran en la empresa a través de respuestas de IA generativa. Por lo tanto, los CISOs deben preocuparse tanto por la fuga de datos como por la entrada de datos incorrectos.
CISO (Chief Information Security Officer) es el responsable de la seguridad de la información en una empresa.