Enfrentar a desinformação gerada pela IA
Minimizar os riscos e consequências de inferências falhas de modelos de IA
A desinformação gerada pela IA está em ascensão e é uma preocupação crescente. De acordo com pesquisadores do Google e várias organizações de verificação de fatos, a quantidade de conteúdo enganoso produzido por modelos de IA aumentou drasticamente desde meados de 2023.
A maioria de nós está ansiosa para usar a IA para melhorar a eficiência, impulsionar a inovação, aumentar a segurança cibernética e muito mais. Mas precisamos estar cientes de que a IA também tem o poder de produzir informações erradas, o que pode ter sérias consequências para os indivíduos, as empresas e a sociedade.
Que tipos de desinformação os modelos de IA podem produzir? Por que eles geram informações imprecisas? E o que devemos fazer como líderes de segurança para proteger os interesses organizacionais e públicos?
Algumas limitações dos modelos de IA
O problema da desinformação gerada por IA decorre, em parte, das limitações atuais dos modelos de IA. Ouvimos muito sobre inferência de IA, que é a capacidade dos modelos de IA de raciocinar ou tirar conclusões a partir de dados novos e ao vivo. Como escrevi anteriormente, os modelos de IA ainda não podem realmente raciocinar e sua capacidade de gerar insights significativos a partir de dados ao vivo está longe de ser perfeita.
O que os modelos de IA podem fazer muito bem é fornecer respostas baseadas em fatos. Se você pedir a um modelo de linguagem grande (LLM) para lhe dizer o ano em que Colombo desembarcou nas Américas, ele deve lhe dar a resposta correta, a menos que tenha havido um problema com a forma como o modelo foi construído ou treinado.
No entanto, um modelo de IA também pode emitir uma opinião como se fosse um fato. Então, se você perguntar se os europeus tiveram o direito de povoar as Américas, um modelo de IA poderia fornecer uma opinião sem lhe dizer que é uma opinião. Em um contexto empresarial, o chatbot baseado em IA de uma empresa pode fornecer aos clientes informações sobre produtos derivadas mais do conteúdo de marketing do que de fatos.
Um modelo de IA também pode apresentar várias opiniões concorrentes, que podem ser inúteis de uma maneira diferente. Se você perguntar a um LLM, como o ChatGPT, sobre quem é o maior jogador de beisebol que já existiu, ele apresentará várias opiniões, fornecendo argumentos gerais para cada uma. É possível que nenhum dessas opiniões ou argumentos esteja realmente "errado", mas o modelo pode não distinguir adequadamente os melhores pontos de vista dos piores.
O que causa a desinformação gerada pela IA?
Respostas incorretas, opiniões apresentadas como fatos e várias opiniões apresentadas como tendo o mesmo valor podem ser consideradas formas de desinformação. Essa desinformação pode ser produzida intencionalmente ou não.
Os modelos de IA intencionais podem ser manipulados, ou "envenenados", para produzir respostas específicas. Por exemplo, um invasor cibernético pode envenenar os dados usados por uma determinada empresa para treinar um LLM. O invasor pode querer embaraçar a empresa e prejudicar sua reputação manipulando o LLM para produzir respostas ruins em um chatbot de IA ou aplicativo baseado em IA.
É claro que o envenenamento de modelos não é obra exclusivamente de invasores cibernéticos. Os candidatos políticos ou os governos também podem ter a intenção de espalhar a desinformação introduzindo intencionalmente dados em modelos de IA ou usando outras técnicas de manipulação para disseminar informações falsas.
Outro cenário é que indivíduos ou uma organização poderiam manipular intencionalmente dados ou informações de seu modelo para reforçar seu ponto de vista específico. Uma rede de notícias de televisão pode retratar um político de forma boa e excluir intencionalmente certos dados de um modelo eleitoral para sugerir que o político tem uma boa chance de vencer.
Por exemplo, a rede poderia escolher seletivamente pontos de dados que favorecem um político, ignorando dados menos favoráveis. A rede poderia construir narrativas de forma semelhante, destacando sucessos factuais ou propostas de políticas positivas, ignorando quaisquer controvérsias ou falhas de um político.
A desinformação não intencional também pode ser não intencional. Uma organização pode, inconscientemente, alimentar um modelo com dados tendenciosos, levando a conclusões distorcidas. Veja o mesmo exemplo de rede de notícias de televisão: a rede pode inadvertidamente desconsiderar algumas informações ou adicionar peso a outras informações sem qualquer intenção maliciosa. O resultado ainda seria um modelo produzindo previsões enganosas. Em muitos casos, os modelos fornecem informações incorretas simplesmente porque têm dados insuficientes. Você pode não ter coletado dados suficientes para fornecer respostas precisas. Além disso, o tempo da entrada de dados no modelo também pode levar a problemas se a sequência de informações for importante para a tomada de decisões.
Encontrar a fonte da desinformação, e determinar se foi o resultado de um ato proposital, pode ser muito difícil, especialmente porque os modelos de IA geralmente existem em um sistema fechado e opaco. Com o aprendizado de máquina (ML) tradicional, você pode ver e entender as decisões por trás do modelo. Mas com os LLMs, que são construídos com base em redes neurais, a lógica da decisão é mascarada dentro de camadas ocultas. Os LLMs resumem os dados e, da perspectiva do usuário, fazem alguma mágica para fornecer respostas. Os usuários não têm acesso ao processo de tomada de decisões. Como resultado, eles não conseguem encontrar facilmente a fonte de uma possível desinformação.
Implicações da desinformação da IA
Os indivíduos podem tomar decisões mal informadas com base nos resultados gerados pela IA. Por exemplo, respostas incorretas de um chatbot baseado em IA podem levar a decisões ruins sobre investimento, saúde, legais ou de trabalho.
Da mesma forma, os líderes corporativos podem tomar decisões ruins com base na desinformação gerada pela IA. Os modelos de IA podem enfatizar os tipos errados de ameaças à segurança cibernética, fazendo com que os líderes de segurança ajustem suas estratégias da maneira errada ou implementem soluções abaixo do ideal. Ou, de modo mais geral, os líderes podem confiar em insights gerados por IA sem supervisão humana suficiente. Os modelos de IA podem não levar em conta fatores humanos diferenciados ou considerações éticas.
Pior ainda, eles podem perder completamente uma ameaça. Digamos que sua equipe envie oito chaves de registro como parte de uma amostra de malware. Seu modelo pode determinar erroneamente que isso não é malware, mas software. Por quê? Porque nenhum malware que você enviou anteriormente tinha mais de oito chaves de registro. Consequentemente, sua organização estaria vulnerável a qualquer malware que não se enquadrasse neste modelo anterior.
A desinformação não para em um único indivíduo ou empresa, ela pode ter consequências generalizadas. Por exemplo, informações falsas espalhadas sobre grandes corporações de capital aberto podem desestabilizar os mercados financeiros. Da mesma forma, a desinformação sobre um país pode afetar as relações geopolíticas ou a política externa, com os modelos de IA potencialmente exacerbando esses problemas.
Ajustar nossas expectativas
O problema não é apenas que os modelos de IA produzem informações erradas, mas também que assumimos que essas respostas geradas por IA estão sempre corretas. Em minhas interações com as equipes de segurança de outras empresas, notei que algumas pessoas acreditam que a IA lhes fornecerá as respostas corretas e simplesmente resolverá seus problemas. Isso é preocupante.
Os modelos de IA não são absolutos. Eles não fornecem necessariamente uma resposta única e definitiva. Veja o software de mapeamento, por exemplo. Se eu pedir a um aplicativo de mapeamento para traçar uma rota de carro para um destino específico a alguns estados de distância, ele pode fornecer várias opções. O software pode não ter dados suficientes para calcular o caminho mais rápido. Ou pode recomendar uma rota rápida que não é segura.
O aplicativo também pode sugerir algumas opções que têm vantagens e desvantagens distintas. Por exemplo, pode apresentar uma rota direta, mas chata, pela rodovia. E também pode sugerir uma rota mais ampla e que leve um pouco mais de tempo. Qual é melhor? Não existe uma única resposta "certa".
Também esperamos que os modelos de IA antecipem com precisão o que irá acontecer no futuro. Os modelos podem prever resultados, mas essas previsões são baseadas em eventos e dados anteriores. À medida que dados novos e mais relevantes surgem, eles devem ser incorporados aos modelos existentes. Mesmo assim, os modelos não sabem ao certo o que vai acontecer. Eles não podem intuir o que vai acontecer a seguir com 100% de precisão.
Ajustar nossas expectativas para a IA é fundamental. Mas é claro, ainda precisamos fazer todo o possível para reduzir a probabilidade de que elas gerem informações incorretas.
Combater a desinformação
Existem várias estratégias que podem nos ajudar a reduzir as informações incorretas geradas pelos modelos de IA. Juntas, essas estratégias nos permitirão minimizar erros de inferência, mesmo quando controlamos nossas expectativas. À medida que os governos promulgam novos regulamentos para o uso de IA (como a Lei de IA da UE e a Operation AI Comply da FTC nos EUA), a implementação de estratégias para combater a desinformação será essencial para evitar multas ou outras ações regulatórias.
Coletar mais dados: geralmente, os desenvolvedores de modelos de IA com mais dados estarão em melhor posição para produzir respostas precisas. No entanto, coletar os dados é apenas o primeiro passo. Os desenvolvedores de modelos e aplicativos precisarão transformar esses dados em recursos que possam abordar problemas específicos.
Implementar medidas de qualidade e integridade de dados: a informação errônea pode resultar de uma governança de dados deficiente. Quando os modelos de IA são criados com base em dados incompletos, imprecisos, inconsistentes, corrompidos ou errôneos/fora dos limites, eles fornecem respostas incorretas. Precisamos realizar verificações e auditorias regulares para verificar se as fontes de dados são legítimas e não foram adulteradas.
Validar os resultados: além de validar os dados de entrada, devemos filtrar o que os LLMs produzem enquanto monitoramos os padrões de uso e os prompts. A validação dos resultados nos permite detectar informações incorretas, intencionais ou não, antes de usarmos essas informações incorretas para a tomada de decisões. Poderíamos, na verdade, usar modelos de IA para validar os resultados (e entradas) de outros modelos de IA. Isso nos ajudaria a garantir que as respostas estejam na faixa do que é realmente preciso.
Controlar o acesso a modelos de código aberto: a IA oculta, em particular, o uso não autorizado de modelos de IA públicos e de código aberto, pode amplificar o impacto da desinformação em uma empresa. Monitorar o uso desses modelos em uma empresa pode ajudar a proteger informações confidenciais contra a exposição e minimizar o risco de funcionários tomarem decisões mal informadas com base em informações incorretas.
Aumentar a segurança dos modelos internos: bloquear modelos internos de IA com controles de acesso rigorosos, rastreamento de versões, criptografia e certificados digitais pode ajudar a evitar envenenamento intencional e não intencional. Devemos ficar de olho em como os modelos estão sendo usados e implantados para detectar qualquer tentativa de adulteração ou roubo.
Preparar-se para ataques de desinformação: todas as organizações devem se preparar para ataques de desinformação. Assim como nos preparamos para um ataque DDoS ou de ransomware, devemos ter um plano para detectar o ataque, relatar eventos, conter os danos e comunicar o problema aos clientes, parceiros e ao público. A maior parte desse planejamento deve se alinhar às estratégias normais de comunicação em crises.
Usar o julgamento humano: precisamos discernir o que é real do que não é, e isso está se tornando mais difícil com a IA. Os "Deepfakes", por exemplo, estão se tornando muito mais realistas e continuarão a melhorar com o tempo. Enquanto isso, indivíduos e organizações estão produzindo vários artigos falsos gerados por IA, postagens em redes sociais e comentários em postagens. Infelizmente, quanto mais nos deparamos com uma ideia ou um suposto fato, mais acreditamos que é autêntico, mesmo que não seja.
O julgamento humano será fundamental para decidir se estamos recebendo informação errônea ou desinformação. Não precisamos saber a resposta correta a uma pergunta (se houver apenas uma resposta correta), só precisamos determinar se uma resposta está dentro de uma gama de possibilidades, baseadas em nossas próprias experiências anteriores. É como quando alguém exagera ou conta uma história maluca: temos que determinar o que é verdade e o que é mentira. Ao criar um ambiente de pensamento crítico, transparência e aprendizado contínuo, podemos mitigar os riscos representados pela desinformação gerada pela IA.
O futuro da desinformação da IA
Não há dúvida de que a IA desempenhará um papel cada vez mais importante em nossas vidas diárias e no trabalho. À medida que nos preparamos para um futuro próximo e distante com a IA, precisamos estar cientes do potencial de desinformação gerada pela IA e encontrar maneiras de minimizar suas consequências.
O crescimento da inteligência geral artificial (AGI) poderia nos ajudar a identificar melhor possíveis problemas com os modelos. Esse campo, que tenta produzir uma inteligência mais semelhante à humana, poderia abrir o sistema fechado de modelos de IA. Podemos ser capazes de determinar como um modelo chegou a uma resposta específica e descobrir se ela pode estar incorreta.
Por enquanto, no entanto, algumas das ferramentas mais importantes são nossas próprias capacidades poderosas de raciocínio humano. Precisamos ser céticos em relação à informação. Só porque lemos algo ou assistimos a um vídeo, isso não significa que seja verdade. A melhor maneira de combater a desinformação é usar o bom e antiquado bom senso.
Este artigo é parte de uma série sobre as tendências e os assuntos mais recentes que influenciam os tomadores de decisões de tecnologia hoje em dia.
Saiba mais sobre esse assunto
Saiba como criar, usar e proteger a IA generativa em escala no guia Garantir práticas seguras de IA para CISOs.
Autoria
Grant Bourzikas — @grantbourzikas
Chief Security Officer, Cloudflare
Principais conclusões
Após ler este artigo, você entenderá:
O que causa a desinformação da IA
Consequências de tomar decisões com base em inferências falhas de modelos de IA
Como combater a desinformação