AI가 생성한 잘못된 정보 해결하기
AI 모델에서 얻은 결함이 있는 추론의 위험과 결과 최소화
AI가 생성한 잘못된 정보가 증가하고 있으며, 그 우려도 커지고 있습니다. Google 및 여러 사실 확인 기관의 연구자에 따르면, 2023년 중반 이후 AI 모델로 인해 생성되는 오해의 소지가 있는 콘텐츠의 양이 극적으로 증가했습니다.
우리는 대부분 효율성을 높이고, 혁신을 추진하며, 사이버 보안을 강화하는 등의 목적으로 AI를 사용하고 싶어합니다. 하지만 AI는 잘못된 정보를 생성할 수도 있으며, 이는 개인, 기업, 사회에 심각한 결과를 초래할 수 있음을 인식해야 합니다.
AI 모델이 생성할 수 있는 잘못된 정보에는 어떤 종류가 있을까요? 부정확한 정보가 생성되는 이유는 무엇일까요? 조직과 공익을 모두 보호하려면 보안 리더는 무엇을 해야 할까요?
AI 모델의 몇 가지 한계
AI가 생성하는 잘못된 정보의 문제는 부분적으로는 현재의 AI 모델의 한계에서 비롯됩니다. 우리는 AI 모델이 새로운 라이브 데이터에서 추론하거나 결론을 도출하는 능력인 AI 추론에 대해 많이 듣곤 합니다. 앞서 언급했듯이 AI 모델은 아직 진정으로 추론하지는 못하며 AI가 라이브 데이터로부터 의미 있는 인사이트를 생성하는 능력은 완벽하지 않습니다.
AI 모델이 아주 잘할 수 있는 것은 사실에 기반한 답변을 제공하는 것입니다. 대규모 언어 모델(LLM)에게 콜럼버스가 아메리카 대륙에 상륙한 연도를 물어보면 모델을 구축하거나 학습하는 방법에 문제가 있지 않은 한 정답을 알려 줄 것입니다.
그러나 AI 모델은 어떤 의견이 마치 사실인 것처럼 그 의견을 전달할 수도 있습니다. 따라서 유럽인이 아메리카 대륙에 정착할 권리가 있는지 묻는다면, AI 모델은 의견이라고 말하지 않으면서 의견을 제시할 수도 있습니다. 비즈니스 맥락에서, 기업의 AI 기반 챗봇은 사실보다 마케팅 콘텐츠에서 더 많이 도출된 제품 정보를 고객에게 제공할 수 있습니다.
AI 모델은 여러 상충되는 의견을 제시할 수도 있는데, 이는 다른 방식으로 도움이 되지 않을 수 있습니다. ChatGPT와 같은 LLM에 역대 가장 위대한 야구 선수가 누구인지 물어보면 여러 의견을 제시하며 각각에 대한 일반적인 논거를 제공합니다. 이러한 의견이나 주장이 실제로 '옳지 않은' 것은 아닐 수도 있지만, 해당 모델이 더 나은 관점과 더 나쁜 관점을 적절하게 구분하지 못할 수도 있습니다.
AI가 생성하는 잘못된 정보의 원인은?
오답, 사실인 것처럼 제시된 의견, 동등한 가치를 지닌 것처럼 제시된 여러 의견은 모두 잘못된 정보의 한 형태로 간주될 수 있습니다. 이러한 잘못된 정보는 의도적으로 또는 실수로 생성된 것일 수 있습니다.
의도적인
AI 모델은 조작되거나 '포이즈닝'되어 특정 답변을 생성할 수 있습니다. 예를 들어, 사이버 공격자는 특정 기업에서 LLM을 학습시키는 데 사용하는 데이터를 포이즈닝 할 수 있습니다. 공격자는 AI 챗봇이나 AI 기반 애플리케이션에서 잘못된 답변을 생성하도록 LLM을 조작하여 비즈니스를 난처하게 만들고 평판을 손상시키려고 할 수 있습니다.
물론 모델 포이즈닝이 사이버 공격자의 전유물은 아닙니다. 정치 후보자나 정부가 의도적으로 AI 모델에 데이터를 도입하거나 기타 조작 기법을 사용하여 허위 정보를 유포하는 방식으로 허위 정보를 유포하려고 할 수도 있습니다.
또 다른 시나리오는 개인이나 조직이 특정 관점을 강화하기 위해 자신의 모델에 있는 데이터나 정보를 의도적으로 조작할 수 있다는 것입니다. 텔레비전 뉴스 네트워크에서는 정치인을 좋은 시각에서 묘사하고 선거 모델에서 특정 데이터를 의도적으로 제외하여 해당 정치인의 승리 가능성이 높다고 암시할 수 있습니다.
예를 들어, 네트워크에서는 한 정치인에게 유리한 데이터 포인트를 선택적으로 채택하고 덜 유리한 데이터는 무시할 수 있습니다. 이 네트워크에서는 정치인의 논란이나 실패를 무시하고 사실에 입각한 성공이나 긍정적인 정책 제안을 강조하여 비슷한 방식으로 내러티브를 구성할 수 있습니다.
의도하지 않음
잘못된 정보가 의도하지 않은 것일 수도 있습니다. 조직에서 모르는 가운데 편향된 데이터를 모델에 입력하면 왜곡된 결론으로 이어질 수 있습니다. 동일한 텔레비전 뉴스 네트워크를 예로 들어 보겠습니다. 그 네트워크는 악의적인 의도 없이 실수로 일부 정보를 평가 절하하거나 다른 정보에 가중치를 부여할 수 있습니다. 그 결과 여전히 오해의 소지가 있는 예측을 생성하는 모델이 될 수 있습니다. 많은 경우 모델에서는 단순히 데이터가 부족하다는 이유로 잘못된 정보를 전달합니다. 관리자가 정확한 답변을 제공하기에 충분한 데이터를 수집하지 않았을 수도 있습니다. 또한 정보의 시퀀스가 의사 결정에 중요한 경우 모델에 데이터를 입력하는 타이밍 때문에 문제가 발생할 수도 있습니다.
특히 AI 모델은 종종 폐쇄적이고 불투명한 시스템에 존재하기 때문에 잘못된 정보의 출처를 찾아내고 그것이 의도적인 행위의 결과인지 여부를 판단하는 일은 매우 어려울 수 있습니다. 기존의 머신 러닝(ML)을 사용하면 모델 이면의 의사 결정을 확인하고 이해할 수 있습니다. 그러나 신경망을 기반으로 하는 LLM을 사용하면 결정 로직이 은닉층 내에서 마스킹됩니다. LLM은 데이터를 요약하고, 사용자의 관점에서 보면 몇 가지 마법을 수행하여 답을 제공합니다. 사용자에게는 의사 결정 프로세스에 대한 액세스 권한이 없습니다. 그 결과, 잠재적인 잘못된 정보의 출처를 쉽게 찾을 수 없습니다.
AI의 잘못된 정보가 미치는 영향
개인은 AI가 생성한 결과에 근거하여 잘못된 결정을 내릴 수도 있습니다. 예를 들어, AI 기반 챗봇의 오답은 투자, 의료, 법무, 직무 결정에 있어 잘못된 결정으로 이어질 수 있습니다.
기업 리더도 AI가 생성한 잘못된 정보를 바탕으로 잘못된 결정을 내릴 수 있습니다. AI 모델이 잘못된 유형의 사이버 보안 위협을 강조하여 보안 리더가 잘못된 방식으로 전략을 조정하거나 차선의 솔루션을 구현하게 될 수 있습니다. 더 일반적으로, 리더가 사람의 충분한 감독 없이 AI가 생성한 인사이트를 신뢰할 수 있습니다. AI 모델은 미묘한 인적 요인이나 윤리적 고려 사항을 고려하지 않을 수 있습니다.
더 나쁜 것은 위협을 완전히 놓칠 수 있다는 것입니다. 팀에서 맬웨어 샘플의 일부로 8개의 레지스트리 키를 제출했다고 가정해 보겠습니다. 모델은 그것이 맬웨어가 아니라 소프트웨어라고 잘못 판단할 수 있습니다. 그 이유는 무엇일까요? 이전에 제출한 맬웨어 중 레지스트리 키가 8개를 초과하는 맬웨어가 없었기 때문입니다. 따라서 조직은 이전 템플릿에 들어맞지 않는 맬웨어에 취약할 수 있습니다.
잘못된 정보는 개인이나 회사에 국한되지 않으며 광범위한 결과를 초래할 수 있습니다. 예를 들어, 주요 상장 기업에 대한 허위 정보가 확산되면 증권 시장이 불안정해질 수 있습니다. 마찬가지로 국가에 대한 허위 정보는 지정학적 관계나 외교 정책에 영향을 미칠 수 있으며, AI 모델 때문에 이러한 문제가 악화될 가능성이 있습니다.
기대치 조정
문제는 AI 모델이 잘못된 정보를 생성할 뿐만 아니라, AI가 생성한 답변이 항상 옳다고 우리가 가정한다는 것입니다. 다른 회사의 보안팀과 대화를 하면서, 저는 AI가 올바른 답을 주고 문제를 해결할 수 있다고 믿는 사람이 있다는 것을 알게 되었는데, 이는 문제가 됩니다.
AI 모델은 절대적이지 않습니다. AI 모델은 반드시 하나의 결정적인 답을 제공하지는 않습니다. 매핑 소프트웨어를 예로 들어 보겠습니다. 지도 애플리케이션에 몇 개 주를 지나야 하는 특정 목적지까지 자동차로 가는 경로를 안내해 달라고 요청하면, 여러 가지 옵션이 제공될 수 있습니다. 가장 빠른 경로를 계산하기에는 소프트웨어에 데이터가 제공되지 않았을 수 있습니다. 또는 빠르지만 안전하지 않은 경로를 추천할 수도 있습니다.
애플리케이션에서 뚜렷한 장단점이 있는 몇 가지 옵션을 제안할 수도 있습니다. 예를 들어, 직선이지만, 지루한 고속도로 경로를 제시할 수 있습니다. 또한 조금 더 오래 걸리지만, 더 경치가 좋은 경로를 제안할 수도 있습니다. 어느 것이 더 나을까요? 하나의 '정답'은 없습니다.
또한 우리는 AI 모델이 미래에 무슨 일이 일어날지 정확하게 예측할 것으로 기대합니다. 모델에서 결과를 예측할 수는 있지만, 이러한 예측은 과거 이벤트와 데이터를 기반으로 합니다. 새롭고 더 관련성이 높은 데이터가 나타나면 기존 모델에 통합해야 합니다. 그렇더라도 모델은 어떤 일이 일어날지 확실히 알지 못합니다. 모델은 다음에 일어날 일을 100% 정확하게 직감할 수는 없습니다.
AI에 대한 기대치를 조정하는 것이 핵심입니다. 물론 우리는 이러한 정보가 잘못된 정보를 생성할 가능성을 줄이기 위해 할 수 있는 모든 일을 해야 합니다.
잘못된 정보 방지
AI 모델에서 생성되는 잘못된 정보를 줄이는 데 도움이 되는 여러 전략이 있습니다. 이러한 전략들을 종합하면 추론 오류를 최소화할 수 있습니다. 기대치는 낮아질 수 있지만요. 여러 정부에서 AI 사용에 대한 새로운 규정을 제정함에 따라(EU의 AI 법 및 미국 FTC의 Operation AI Comply 등), 잘못된 정보를 근절하기 위한 전략을 구현하는 것은 벌금 또는 기타 규제 조치를 피하는 데 필수적입니다.
더 많은 데이터 수집: 일반적으로 가장 많은 데이터를 보유한 AI 모델 개발자가 정확한 응답을 제공하는 데 가장 좋은 위치에 있습니다. 하지만 데이터 수집은 첫 번째 단계에 불과합니다. 모델 및 애플리케이션 빌더는 해당 데이터를 특정 문제를 해결할 수 있는 기능으로 전환해야 합니다.
데이터 품질 및 무결성 조치 시행: 잘못된 데이터 거버넌스로 인해 잘못된 정보가 발생할 수 있습니다. 불완전하거나, 부정확하거나, 일관성이 없거나, 손상되거나, 오류가 있거나, 이상치인 데이터를 기반으로 구축된 AI 모델에서는 잘못된 답이 제시됩니다. 정기적인 확인과 감사를 실행하여 데이터 출처가 합법적이고 변조되지 않았는지 확인해야 합니다.
출력 유효성 검사: 입력 데이터의 유효성을 검사하는 것 외에도 LLM에서 생성되는 것을 필터링하면서 사용 패턴과 프롬프트를 모니터링해야 합니다. 결과를 검증하면 의도적이든 아니든 잘못된 정보를 찾아내어 의사 결정에 잘못된 정보를 사용하지 않을 수 있습니다. 실제로 AI 모델을 사용하여 다른 AI 모델의 출력(및 입력)을 검증할 수 있습니다. 이렇게 하면 답변이 사실에 근거한 정확한 범위 내에 있는지 확인하는 데 도움이 됩니다.
오픈 소스 모델에 대한 액세스 제어: 섀도우 AI, 특히 오픈 소스인 공개 AI 모델을 무단 사용하면 기업에서 잘못된 정보의 영향이 증폭될 수 있습니다. 기업 내에서 이러한 모델의 사용을 모니터링하면 중요한 정보가 노출되는 것을 방지하고 직원이 잘못된 정보를 바탕으로 잘못된 결정을 내릴 위험을 최소화할 수 있습니다.
내부 모델에 대한 보안 강화: 엄격한 접근 제어, 버전 추적, 암호화, 디지털 인증서 등으로 내부 AI 모델을 잠그면 의도되거나 의도되지 않은 포이즈닝을 방지하는 데 도움이 될 수 있습니다. 변조 시도나 절도 시도를 포착하려면 모델이 어떻게 사용되고 배포되는지 예의 주시해야 합니다.
잘못된 정보 공격에 대비: 모든 조직에서는 잘못된 정보 공격에 대비해야 합니다. DDoS 또는 랜섬웨어 공격에 대비할 때와 마찬가지로 공격을 감지하고, 이벤트를 보고하며, 피해를 억제하고, 고객, 파트너, 대중에게 문제를 알리는 계획을 마련해야 합니다. 이러한 계획은 일반적인 위기 커뮤니케이션 전략과 거의 일치해야 합니다.
인간의 판단력 사용: 진짜와 가짜를 판별할 수 있어야 하는데, 이는 AI가 등장하면서 더욱 어려워지고 있습니다. 예를 들어, '딥페이크'는 훨씬 더 현실적이 되고 있으며, 시간이 지남에 따라 계속 개선될 것입니다. 한편, 개인과 조직은 AI로 생성된 수많은 가짜 기사, 소셜 미디어 게시물, 게시물 댓글을 제작하고 있습니다. 안타깝게도 우리는 어떤 아이디어나 주장된 사실을 더 많이 접할수록 그것이 사실이 아니더라도 진짜인 것으로 믿게 됩니다.
잘못된 정보나 허위 정보인지 판단하는 데는 사람의 판단이 중요합니다. 우리는 질문에 대한 정답을 알 필요가 없습니다(정답이 하나뿐이라면). 그저 우리의 과거 경험을 바탕으로 답이 여러 가능성 가운데 있는지만 판단하면 됩니다. 이는 마치 누군가가 과장하거나 터무니없는 이야기를 할 때와 같습니다. 우리는 무엇이 진실이고 무엇이 허구인지 판단해야 합니다. 비판적 사고, 투명성, 지속적인 학습 등의 환경을 조성함으로써 우리는 AI가 생성한 잘못된 정보로 인한 위험을 완화할 수 있습니다.
AI의 잘못된 정보의 미래
AI가 우리의 일상 생활과 업무에서 점점 더 중요한 역할을 할 것이라는 데는 의심의 여지가 없습니다. AI와 함께하는 가까운 미래와 먼 미래를 준비하면서, 우리는 AI가 생성하는 잘못된 정보의 가능성을 인식하고 그 결과를 최소화할 방법을 찾아야 합니다.
인공 일반 지능(AGI)의 성장은 모델의 잠재적 문제를 더 잘 파악하는 데 도움이 될 수 있습니다. 인간과 더 유사한 지능을 생산하려고 시도하는 이 분야에서는 AI 모델의 폐쇄된 시스템을 개방할 수 있습니다. 우리는 모델이 특정 답변에 도달한 방법을 결정하고 그 답변이 틀릴 수 있는지 여부를 파악할 수 있습니다.
그러나 현재로서는 가장 중요한 도구는 인간의 강력한 추론 능력입니다. 우리는 정보에 대해 회의론자가 되어야 합니다. 우리가 무언가를 읽거나 동영상을 본다고 해서 그것이 사실이라는 의미는 아닙니다. 잘못된 정보에 대처하는 가장 좋은 방법은 오래된 상식을 활용하는 것입니다.
이 글은 오늘날의 기술 의사 결정자에게 영향을 주는 최신 동향 및 주제에 대한 시리즈 중 일부입니다.
이 주제에 관해 자세히 알아보세요.
CISO를 위한 안전한 AI 관행 보장 가이드에서 대규모 생성 AI를 구축, 사용, 보호하는 방법을 알아보세요.
작성자
Grant Bourzikas — @grantbourzikas
Cloudflare 최고 보안 책임자
핵심 사항
이 글을 읽고 나면 다음을 이해할 수 있습니다.
AI의 잘못된 정보를 초래하는 원인
AI 모델의 결함이 있는 추론을 기반으로 한 의사 결정의 결과
잘못된 정보에 대처하는 방법