Cómo abordar la información errónea generada por la IA
Minimiza los riesgos y las consecuencias de la inferencia errónea de los modelos de IA
La información errónea generada por la IA está en auge, y es una preocupación cada vez mayor. Según investigadores de Google y varias organizaciones de verificación de datos, la cantidad de contenido engañoso producido por los modelos de IA ha aumentado drásticamente desde mediados de 2023.
La mayoría de nosotros estamos deseando utilizar la IA para mejorar la eficiencia, impulsar la innovación, aumentar la ciberseguridad y mucho más. Pero debemos ser conscientes de que la IA también tiene el poder de generar información errónea, lo que puede tener graves consecuencias para las personas, las empresas y la sociedad.
¿Qué tipo de información errónea pueden generar los modelos de IA? ¿Por qué generan información inexacta? ¿Y qué debemos hacer como responsables de seguridad para proteger los intereses de las organizaciones y los públicos?
Limitaciones de los modelos de IA
El problema de la desinformación generada por la IA se debe en parte a las limitaciones actuales de los modelos de IA. Se habla mucho de la inferencia de la IA, que es la capacidad de los modelos de IA para razonar o sacar conclusiones a partir de nuevos datos en tiempo real. Como he escrito anteriormente, los modelos de IA todavía no pueden razonar realmente, y su capacidad para generar información significativa a partir de datos en tiempo real dista mucho de ser perfecta.
Lo que los modelos de IA pueden hacer muy bien es ofrecer respuestas basadas en hechos. Si le pides a un modelo de lenguaje de gran tamaño (LLM) que te diga el año en que Colón desembarcó en América, debería darte la respuesta correcta, a menos que haya un problema con la forma en que se creó o entrenó el modelo.
Sin embargo, un modelo de IA también podría emitir una opinión como si fuera un hecho. Por lo tanto, si preguntas si los europeos tenían derecho a colonizar América, un modelo de IA podría darte una opinión sin decirte que es una opinión. En un contexto empresarial, el chatbot basado en IA de una empresa podría proporcionar a los clientes información sobre productos que se derive más del contenido de marketing que de los hechos.
Un modelo de IA también podría presentarte múltiples opiniones contradictorias, lo que podría ser inútil de otra manera. Si preguntas a un LLM como ChatGPT acerca de quién es el mejor jugador de béisbol de la historia, te ofrecerá numerosas opiniones, y aportará argumentos generales para cada una. Es posible que ninguna de estas opiniones o argumentos sea realmente "erróneo", pero es posible que el modelo no distinga adecuadamente los mejores puntos de vista de los peores.
¿Qué causa la información errónea generada por la IA?
Las respuestas incorrectas, las opiniones presentadas como hechos y las numerosas opiniones presentadas como si tuvieran el mismo valor podrían considerarse formas de información errónea. Esta información errónea se puede producir de forma intencionada o no intencionada.
Los modelos de IA intencionados
se pueden manipular, o "alterar", para producir respuestas específicas. Por ejemplo, un ciberdelincuente podría "envenenar" los datos utilizados por una determinada empresa para entrenar un LLM. El atacante podría querer perjudicar y dañar la reputación de una empresa manipulando el LLM para producir respuestas incorrectas en un chatbot de IA o en una aplicación basada en IA.
Por supuesto, el envenenamiento de modelos no es obra exclusiva de los ciberdelincuentes. Los candidatos políticos o los gobiernos también podrían tener la intención de difundir desinformación mediante la incorporación intencionada de datos en modelos de IA o la utilización de otras técnicas de manipulación para difundir información falsa.
Otro escenario es que los individuos o una organización puedan manipular intencionadamente los datos o la información de su modelo para reforzar su punto de vista particular. Una cadena de noticias de televisión podría dar una buena imagen de un político y excluir intencionadamente ciertos datos en un modelo electoral para sugerir que el político tiene buenas posibilidades de ganar.
Por ejemplo, la red podría elegir selectivamente puntos de datos que favorezcan a un político, ignorando los datos menos favorables. La red podría construir narrativas de manera similar, destacando los éxitos basados en hechos o las propuestas políticas positivas, e ignorando las controversias o los fracasos de un político.
La información errónea
también puede ser involuntaria. Una organización podría, sin saberlo, alimentar un modelo con datos sesgados, lo que llevaría a conclusiones distorsionadas. Tomemos el mismo ejemplo de la red de noticias de televisión. La red podría descartar inadvertidamente alguna información o añadir importancia a otra información sin ninguna intención maliciosa. El resultado seguiría siendo un modelo que produce predicciones engañosas. En muchos casos, los modelos proporcionan información errónea simplemente porque no tienen datos suficientes. Es posible que no hayas recopilado suficientes datos para proporcionar respuestas precisas. Además, el momento de la entrada de datos en el modelo también podría causar problemas si la secuencia de información es importante para la toma de decisiones.
Encontrar el origen de la información errónea, y determinar si fue el resultado de un acto intencionado, puede ser muy difícil, especialmente porque los modelos de IA a menudo existen en un sistema cerrado y opaco. Con el aprendizaje automático tradicional, puedes ver y comprender las decisiones detrás del modelo. Pero con los LLM, que se basan en redes neuronales, la lógica de la toma de decisiones se enmascara dentro de capas ocultas. Los LLM resumen los datos y, desde la perspectiva del usuario, hacen algo de magia para proporcionar respuestas. Los usuarios no tienen acceso al proceso de toma de decisiones. Como resultado, no pueden encontrar fácilmente la fuente de la posible desinformación.
Implicaciones de la desinformación de la IA
Las personas pueden tomar decisiones erróneas basadas en los resultados generados por la IA. Por ejemplo, las respuestas incorrectas de un chatbot basado en IA podrían dar lugar a malas decisiones de inversión, sanitarias, legales o laborales.
Los responsables corporativos podrían igualmente tomar malas decisiones basándose en información errónea generada por la IA. Los modelos de IA pueden hacer hincapié en los tipos equivocados de amenazas a la ciberseguridad, lo que hace que los responsables de seguridad ajusten sus estrategias de forma incorrecta o implementen soluciones no óptimas. O, de manera más general, los responsables pueden confiar en la información generada por la IA sin la supervisión humana suficiente. Es posible que los modelos de IA no tengan en cuenta los matices de los factores humanos o las consideraciones éticas.
Peor aún, podrían pasar por alto una amenaza. Supongamos que tu equipo envía ocho claves de registro como parte de una muestra de malware. Tu modelo podría determinar erróneamente que no se trata de malware sino de software. ¿Por qué? Porque ninguna pieza de malware que hayas enviado anteriormente tenía más de ocho claves de registro. En consecuencia, tu organización sería vulnerable a cualquier malware que no encajara en esta plantilla anterior.
La desinformación no se limita a una sola persona o empresa, podría tener consecuencias generalizadas. Por ejemplo, la difusión de información falsa sobre las principales empresas que cotizan en bolsa podría desestabilizar los mercados financieros. Del mismo modo, la desinformación sobre un país podría afectar a las relaciones geopolíticas o a la política exterior, y los modelos de IA podrían agravar estos problemas.
Cómo ajustar nuestras expectativas
El problema no es solo que los modelos de IA produzcan información errónea, sino que asumimos que esas respuestas generadas por la IA son siempre correctas. En mis interacciones con equipos de seguridad de otras empresas, he observado que algunas personas creen que la IA les proporcionará las respuestas correctas y simplemente solucionará sus problemas, y eso es preocupante.
Los modelos de IA no son absolutos. No proporcionan necesariamente una respuesta única y definitiva. Tomemos como ejemplo el software de creación de mapas. Si pido a una aplicación de mapas que calcule la ruta de un coche a un destino concreto a unos estados de distancia, podría ofrecer varias opciones. Es posible que el software no tenga suficientes datos para calcular la ruta más rápida. O podría recomendar una ruta rápida que no sea segura.
La aplicación también puede sugerir algunas opciones que tienen distintas ventajas y desventajas. Por ejemplo, podría ofrecerte una ruta directa, pero aburrida, por la autopista. Y también podría sugerirte una ruta más bonita que tarda un poco más. ¿Cuál es mejor? No hay una única respuesta "correcta".
También esperamos que los modelos de IA anticipen con precisión lo que sucederá en el futuro. Los modelos pueden predecir resultados, pero esas predicciones se basan en eventos y datos pasados. A medida que surgen datos nuevos y más relevantes, hay que incorporarlos a los modelos existentes. Incluso entonces, los modelos no saben con certeza qué sucederá. No pueden intuir lo que sucederá a continuación con una precisión del 100 %.
Es fundamental ajustar nuestras expectativas para la IA. Pero, por supuesto, aún tenemos que hacer todo lo posible para reducir la probabilidad de que generen información errónea.
Cómo hacer frente a la desinformación
Existen numerosas estrategias que pueden ayudarnos a reducir la información incorrecta que generan los modelos de IA. En conjunto, estas estrategias nos permitirán minimizar los errores de inferencia, incluso si moderamos nuestras expectativas. A medida que los gobiernos promulguen nuevas normativas para el uso de la IA (como la Ley de IA de la UE y la Operación AI Comply de la FTC en EE. UU.), la aplicación de estrategias para hacer frente a la desinformación será esencial para evitar multas u otras medidas normativas.
Recopila más datos: los desarrolladores de modelos de IA con más datos estarán en mejor posición para generar respuestas precisas. Sin embargo, la recopilación de datos es solo el primer paso. Los creadores de modelos y aplicaciones tendrán que convertir esos datos en funciones que puedan abordar problemas específicos.
Implementa medidas de calidad e integridad de los datos: la desinformación puede ser el resultado de una gobernanza de datos deficiente. Cuando los modelos de IA se basan en datos incompletos, inexactos, incoherentes, corruptos o erróneos/atípicos, ofrecen respuestas incorrectas. Necesitamos realizar comprobaciones y auditorías periódicas para verificar que las fuentes de datos sean legítimas y no hayan sido manipuladas.
Valida los resultados: además de validar los datos de entrada, debemos filtrar lo que producen los LLM mientras supervisamos los patrones de uso y las indicaciones. La validación de los resultados nos permite detectar información errónea, intencionada o no, antes de utilizarla para la toma de decisiones. De hecho, podríamos utilizar modelos de IA para validar la salida (y la entrada) de otros modelos de IA. Esto nos ayudaría a asegurarnos de que las respuestas están en el rango de lo que es realmente exacto.
Controla el acceso a los modelos de código abierto: laIA paralela, en particular, el uso no autorizado de modelos de IA públicos y de código abierto, puede amplificar el impacto de la información errónea en una empresa. Supervisar el uso de estos modelos dentro de una empresa puede ayudar a proteger la información confidencial para que no quede expuesta y minimizar el riesgo de que los empleados tomen decisiones mal informadas basadas en información errónea.
Refuerza la seguridad de los modelos internos: bloquear los modelos internos de IA con controles de acceso estrictos, seguimiento de versiones, encriptación y certificados digitales puede ayudar a prevenir el envenenamiento intencionado y no intencionado. Debemos vigilar de cerca cómo se utilizan e implementan los modelos para detectar cualquier intento de manipulación o robo.
Prepárate para los ataques de desinformación: todas las organizaciones deben prepararse para los ataques de desinformación. Al igual que la preparación para un ataque DDoS o de ransomware, debemos tener un plan para detectar el ataque, informar de los eventos, contener el daño y comunicar el problema a los clientes, socios y al público. La mayor parte de esta planificación debe alinearse con las estrategias típicas de comunicación de crisis.
Usa el criterio humano: tenemos que discernir lo que es real de lo que no lo es, y eso es cada vez más difícil con la IA. Los "deepfakes", por ejemplo, son cada vez más realistas, y seguirán mejorando con el tiempo. Mientras tanto, particulares y organizaciones están creando numerosos artículos falsos, publicaciones en redes sociales y comentarios en publicaciones generados por IA. Por desgracia, cuanto más nos encontremos con una idea o un supuesto hecho, más creeremos que es auténtico, aunque no lo sea.
El criterio humano será fundamental para decidir si estamos recibiendo información errónea o desinformación. No necesitamos saber la respuesta correcta a una pregunta (si solo hay una respuesta correcta), solo necesitamos determinar si una respuesta está en un rango de posibilidades, dadas nuestras propias experiencias pasadas. Es como cuando alguien exagera o cuenta una historia descabellada, tenemos que determinar qué es verdad y qué es ficción. La creación de un entorno de pensamiento crítico, transparencia y aprendizaje continuo nos permite mitigar los riesgos que plantea la desinformación generada por la IA.
El futuro de la desinformación de la IA
No hay duda de que la IA desempeñará un papel cada vez más importante en nuestra vida y nuestro trabajo diarios. Mientras nos preparamos para el futuro cercano y lejano con la IA, debemos ser conscientes del potencial de información errónea generada por la IA y encontrar formas de minimizar sus consecuencias.
El crecimiento de la inteligencia artificial general podría ayudarnos a identificar mejor los posibles problemas de los modelos. Este campo, que intenta producir una inteligencia más similar a la humana, podría abrir el sistema cerrado de modelos de IA. Podríamos ser capaces de determinar cómo un modelo llegó a una respuesta concreta, y averiguar si podría ser incorrecta.
Por ahora, sin embargo, algunas de las herramientas más importantes son nuestras potentes capacidades de razonamiento humano. Tenemos que ser escépticos de la información. El hecho de que leamos algo o veamos un vídeo no significa que sea cierto. La mejor manera de combatir la desinformación es utilizar el sentido común a la antigua.
Este artículo forma parte de un conjunto de publicaciones sobre las últimas tendencias y temas que afectan a los responsables de la toma de decisiones sobre tecnología en la actualidad.
Más información sobre este tema
Descubre cómo desarrollar, utilizar y proteger la IA generativa a escala en la guía para los CISO: Cómo garantizar prácticas seguras de IA .
Autor
Grant Bourzikas — @grantbourzikas
Director de seguridad, Cloudflare
CONCLUSIONES CLAVE
Después de leer este artículo podrás entender:
¿Qué causa la desinformación de la IA?
Las consecuencias de tomar decisiones basadas en inferencias erróneas a partir de modelos de IA
Cómo hacer frente a la desinformación