Combater a IA oculta
Implementar controles para o uso de IA pelo governo
A legislação de IA está em ascensão
Os regulamentos e a legislação de IA estão aumentando. Em 2024, o Escritório de Gestão e Orçamento da Casa Branca emitiu o memorando 24-10 a todas as agências e departamentos federais dos Estados Unidos sobre o uso de IA no governo. O foco do memorando em três partes é:
Fortalecer a governança da IA
Promover a inovação responsável da IA
Gerenciar os riscos do uso da IA
Tem havido esforços semelhantes a nível estadual para responder às preocupações sobre o uso e uso indevido de IA. Em 2023, 25 estados introduziram legislações focadas em alguns aspectos da IA. A legislação foi promulgada com sucesso em 18 estados e em Porto Rico. Enquanto algumas leis se concentram no estudo ou avaliação inicial do uso da IA, outras buscam decidir o uso da IA pelos funcionários ou implementar controles para mitigar o uso malicioso ou consequências não intencionais.
A legislação recente destaca alguns dos perigos do uso da IA no governo e apresenta alguns desafios para agências governamentais e outras organizações do setor público. Essas organizações precisarão implementar controles para proteger os ativos voltados para o público contra ameaças e ajudar a garantir o consumo apropriado de IA.
Desafio nº 1: proteger ativos da internet públicos contra bots de IA
Os crawlers baseados em IA podem ter usos legítimos, benéficos, para agências governamentais e outras organizações do setor público. Em alguns contextos, crawlers e indexadores responsáveis podem usar dados acessíveis publicamente para aumentar a capacidade dos cidadãos de encontrar serviços e informações on-line relevantes.
Por outro lado, crawlers de IA mal desenvolvidos ou maliciosos podem raspar conteúdo para treinar plataformas públicas de IA sem levar em conta a privacidade desse conteúdo. Pode haver vários problemas de propriedade intelectual e privacidade se esses dados acabarem sendo modelos de treinamento. Quando não são verificados, esses bots também podem prejudicar o desempenho de sites públicos para todos os usuários, consumindo recursos de interações legítimas.
Controle 1: implantar proteções do lado do aplicativo
As agências podem implementar várias proteções do lado do servidor ou do aplicativo para ajudar a controlar como os bots interagem com os servidores. Por exemplo, elas podem implantar um arquivo robots.txt. Este arquivo pode informar e definir como o tráfego do crawler interage com várias seções de um site e seus dados. O arquivo é implantado na raiz do site e define quais agentes (bots) podem rastrear o site e quais recursos eles podem acessar.
No entanto, existem alguns desafios com esta abordagem. Primeiro, o crawler precisa respeitar o arquivo robots.txt. Embora essa seja uma prática recomendada geral para bots "respeitáveis", nem todos seguem as regras. Também existem bots não maliciosos que podem apenas interpretar mal a sintaxe e, consequentemente, interagir com elementos que as agências desejam manter ocultos.
Resumindo, embora essa seja uma abordagem comum, aproveitar estratégias robots.txt ou .htaccess (Apache) semelhantes não é uma proteção infalível. No entanto, ela pode fazer parte de uma abordagem holística para determinar como os bots legítimos interagem com o conteúdo do aplicativo.
Controle 2: implantar a mitigação de bots em um firewall de aplicativos web
Firewalls de aplicativos web (WAFs) e soluções de mitigação de bots são essenciais no mundo de hoje para proteger aplicativos web públicos. Esses controles ajudam as organizações a proteger suas propriedades digitais públicas contra ameaças de negação de serviço distribuída (DDoS), APIs ocultas e inseguras, juntamente com várias outras ameaças relacionadas a bots.
Qualquer solução de mitigação de bots atual deve incluir a capacidade de identificar e classificar programaticamente bots que estão raspando conteúdo a serviço do treinamento de dados de IA. Esse mecanismo de classificação é uma capacidade crítica. Ele pode permitir crawlers de IA legítimos e verificados ou pode bloqueá-los completamente até que uma agência determine como esses bots devem ter permissão para interagir com um site.
Selecionar soluções escaláveis também é fundamental. Em 2023, o Secretário-Geral das Nações Unidas, António Guterres, observou que, embora tenha demorado mais de 50 anos para que os livros impressos se tornassem amplamente disponíveis em toda a Europa," o ChatGPT atingiu 100 milhões de usuários em apenas dois meses". A escala e o crescimento sem precedentes nas plataformas de IA estão diretamente correlacionados com o número crescente de bots de IA que procuram quaisquer conjuntos de dados expostos publicamente para treinamento. A arquitetura dessas plataformas deve ser capaz de se expandir em um ambiente global distribuído.
Desafio nº 2: IA oculta: consumo não sancionado de modelos públicos de IA
As plataformas públicas de IA permitiram que os usuários acelerassem tarefas que vão desde escrever um memorando até a criação de códigos complexos. Dentro do governo, as agências estaduais e federais veem o potencial do uso da IA para resolver problemas sociais complexos, como desafios de saúde, acesso a serviços para os cidadãos, segurança alimentar e hídrica, entre outros. No entanto, sem governança, as organizações podem ser cúmplices do vazamento de conjuntos de dados regulamentados para dados de treinamento de modelo de linguagem pública inseguros.
Da mesma forma que as organizações utilizaram ferramentas para controlar o consumo de aplicativos em nuvem não sancionados ou "TI invisível ", elas agora precisam entender o escopo do consumo da "IA oculta" dentro de suas organizações. O aumento da IA oculta está nas manchetes. Um estudo da 3Gem com mais de 11.500 funcionários em todo o mundo mostrou que 57% dos funcionários usavam ferramentas públicas de IA generativa no escritório pelo menos uma vez por semana. No mesmo estudo, 39% dos entrevistados concordaram que há risco de vazamento de dados confidenciais por meio dessas interações.
Esses dados confidenciais também podem ser compartilhados sem conhecimento entre modelos de IA. Os modelos de IA são cada vez mais treinados com dados produzidos por outros modelos, em vez do conteúdo de origem tradicional.
Controle 1: determinar o uso apropriado
Para obter uma abordagem abrangente da IA oculta, as organizações precisam primeiro definir o uso aceitável de modelos de IA públicos. Além disso, devem determinar quais funções precisam de acesso a esses modelos. Estabelecer essas proteções é um primeiro passo essencial. As novas leis sobre IA no governo e, de forma mais generalista, a IA no setor público, frequentemente destacam a importância de analisar o uso apropriado da IA dentro das agências e decidir quais modelos devem ser permitidos.
Controle 2: implantar acesso controlado
Uma vez feitas as determinações do uso apropriado, as agências devem desenvolver controles para a aplicação das políticas. Os princípios de acesso à rede Zero Trust (ZTNA) permitem o desenvolvimento e a aplicação dessas políticas para restringir o acesso não autorizado.
Por exemplo, uma agência pode permitir que apenas usuários autorizados de grupos administrativos específicos acessem modelos públicos de IA. Antes de permitir o acesso a esses modelos, uma solução ZTNA também pode realizar verificações de postura adicionais, como garantir que os dispositivos corporativos estejam atualizados com correções ou que os dispositivos tenham agentes de gerenciamento de endpoints aprovados pelo governo em execução. Com o ZTNA, a agência pode impor e restringir quem pode acessar esses modelos públicos de IA enquanto opera em ativos do governo.
Controle 3: determinar quais dados são apropriados para divulgação em plataformas de IA
O uso aceitável vai além da definição de quais usuários podem acessar as plataformas de IA. As agências também precisam entender e controlar os dados que são postados ou enviados nas plataformas de IA. Mesmo algo tão inócuo como um memorando de um departamento pode incluir pontos de dados não públicos ou confidenciais. Depois que esses pontos de dados são enviados a um modelo de linguagem grande (LLM), existe o risco de esses dados serem expostos.
Os controles de prevenção contra perda de dados (DLP) podem ajudar a impedir o uso inadequado de dados confidenciais. Os controles corretos ajudarão a garantir que informações proprietárias, tais como códigos de aplicativos confidenciais ou mesmo dados de cidadãos, não se tornem parte de um conjunto de dados de treinamento inseguro para uma plataforma de IA.
Veja o exemplo de um grupo de desenvolvedores de IA que precisa interagir com plataformas de IA públicas e privadas (internas). Uma agência poderia permitir o consumo de plataformas de IA públicas (por exemplo, ChatGPT) e privadas (por exemplo, AWS BedRock). Apenas usuários aprovados no grupo de desenvolvimento de IA teriam permissão de acesso a essas plataformas. Os usuários em geral seriam bloqueados em ambas as plataformas.
Mesmo quando há um grupo de usuários de desenvolvimento de IA aprovado, a implementação de uma regra de DLP pode ser benéfica. A regra de DLP pode examinar os dados postados em plataformas de IA e pode garantir que os dados confidenciais não públicos sejam postados apenas na plataforma de IA interna e privada.
Proteger os constituintes
A governança deve começar com uma política ou missão, não com a tecnologia. Para avaliar os benefícios e riscos da IA, os líderes de uma agência devem nomear equipes focadas que possam avaliar as possíveis interseções entre a IA e a missão da agência.
À medida que o público continua a aumentar o envolvimento com o governo por meio da tecnologia, haverá conjuntos de dados maiores e mais ricos que poderão ser usados para treinar modelos de IA. As organizações do setor público podem escolher uma abordagem conservadora bloqueando todos os crawlers de IA, por exemplo, até que o impacto de permitir essas interações seja compreendido. Para as organizações que veem um possível benefício no rastreamento legítimo de propriedades públicas, as equipes devem ser capazes de controlar o acesso por crawlers de IA verificados e proteger contra ações maliciosas.
Para se antecipar ao aumento da regulamentação de IA, as equipes também devem estabelecer quais funções e tarefas exigem acesso às plataformas de IA. Determinar quem tem acesso e quando, e controlar os tipos de dados postados em modelos de IA, pode abordar a IA oculta sem sacrificar os benefícios tangíveis dessa tecnologia.
O gerenciamento de bots e os recursos de segurança Zero Trust são essenciais para ajudar as entidades governamentais a reduzir o risco diante da proliferação do uso da IA. A proteção das propriedades públicas da web e a manutenção do consumo responsável de IA devem ser as principais preocupações do desenvolvimento de estratégias de mitigação.
A IA é uma enorme promessa para ajudar a resolver muitos problemas sociais complexos. No entanto, existem várias desvantagens em potencial no uso da IA no governo e no setor público. Para agências governamentais e outras organizações do setor público, a proteção dos seus constituintes deve sempre ter precedência ao explorar esta nova tecnologia.
Este artigo é parte de uma série sobre as tendências e os assuntos mais recentes que influenciam os tomadores de decisões de tecnologia hoje em dia.
Saiba mais sobre esse assunto.
Saiba mais sobre como o Zero Trust pode reduzir o risco diante da proliferação do uso de IA no guia completo, "Um roteiro para a arquitetura Zero Trust ".
Autoria
Scottie Ray — @H20nly
Principal Solutions Architect, Cloudflare
Principais conclusões
Após ler este artigo, você entenderá:
O estado emergente da legislação focada em IA
Os dois principais desafios que a IA apresenta
Controles que ajudam as agências a alcançar a conformidade com a legislação