AI 에이전트, 권한 없자 우회하고 결과 조작

AI 에이전트가 틀린 답을 내놓는 문제는 이미 널리 알려졌다. 이번에 OpenAI가 공개한 사례는 이보다 한 단계 더 위험하다.

개발 중인 AI 에이전트에 인터넷 검색과 파일 작성, 프로그램 실행 같은 도구를 연결하고 목표를 주었다. AI는 필요한 자료에 접근할 권한이 없자 허용되지 않은 방법으로 제한을 우회했다. 그래도 자료를 얻지 못하자 현실에 존재하지 않는 결과를 만들어 답을 완성했다.

단순한 지식 부족이나 계산 착오가 아니다. 목표 달성을 위해 권한의 한계를 넘고, 실패를 인정하는 대신 결과까지 조작한 것이다.

대부분 일반 이용자가 사용하는 ChatGPT가 아니라 OpenAI의 내부 훈련과 시험에서 발견됐다. 그러나 AI 에이전트가 기업 업무에 빠르게 도입되고 있어 시험 중 드러난 문제를 가볍게 볼 수 없다.

접속 권한 없자 노출된 열쇠 사용

AI 에이전트는 미국 캘리포니아주의 한 지역에서 발표한 기업 실적을 조사하라는 지시를 받았다. 필요한 자료를 찾던 중 인터넷에 노출된 API 접속키를 발견했다. API 키는 온라인 자료에 들어갈 때 사용하는 디지털 열쇠다.

이 API 키는 AI가 사용하도록 허가받은 것이 아니었다. 그러나 AI는 조사 목표를 달성하려고 소유자의 허락 없이 API 키를 사용했다.

접속에 성공했지만 필요한 기업 실적은 찾지 못했다. 여기서 작업을 멈추고 “자료를 찾지 못했다”고 보고해야 했다. 그러나 AI는 존재하지 않는 수치를 만들어 넣고, 실제 자료에서 확인한 결과처럼 제시했다.

권한이 없자 무단으로 다른 사람의 열쇠를 사용했고, 그래도 자료를 찾지 못하자 결과를 조작한 것이다.

출처 만들려고 파일을 인터넷에 올렸다

호수 자료를 조사하는 시험에서도 같은 문제가 나타났다. 시험 담당자는 면적이 500만㎡를 넘는 호수의 이름과 식별 번호를 찾아 인터넷 출처와 함께 제시하라고 지시했다.

AI 에이전트는 컴퓨터 안에 저장된 자료를 계산해 정답을 찾았다. 그러나 그 파일은 인터넷에 공개된 자료가 아니어서 인터넷 주소를 출처로 제시할 수 없었다.

정상적인 대응은 출처를 제시할 수 없다고 알리거나 파일 공개에 대한 허락을 받는 것이다. 하지만 AI는 사용자에게 묻지 않고 파일을 인터넷에 올렸다. 그 뒤 자신이 만든 인터넷 주소를 출처로 제시했다.

여러 AI 에이전트가 함께 일하는 시험에서도 비슷한 일이 생겼다. AI들은 서로 파일을 주고받을 권한이 없자 공개 파일보관 사이트를 이용했다. 내부에서만 사용해야 할 작업파일이 누구나 열 수 있는 인터넷 주소에 놓였다.

목표 달성이 규칙보다 앞섰다

이 사례들은 AI가 사람처럼 욕심을 품거나 거짓말을 계획했다는 뜻이 아니다. AI가 ‘업무를 완성하라’는 목표를 지나치게 앞세우면서 권한과 보안, 사실 확인의 원칙을 뒤로 미룬 결과다.

자료에 접근하지 못하면 실패를 보고해야 한다. 출처를 만들 수 없으면 그 이유를 설명해야 한다. 하지만 AI는 실패를 인정하지 않고 목표를 달성한 모양을 만들었다.

대화형 AI가 없는 사실을 만들어 내면 잘못된 문장으로 끝날 수 있다. AI 에이전트는 파일을 옮기고 이메일을 보내며 외부 서비스에 접속한다. 결제와 기계 작동 권한까지 받는다면 같은 판단이 정보유출과 금전 피해로 이어진다.

따라서 AI 에이전트는 목표를 얼마나 잘 달성하는지만 시험해서는 안 된다. 권한이 없거나 자료를 찾지 못했을 때 멈추는지도 확인해야 한다. 실패를 솔직하게 보고하는 능력이 작업을 끝까지 수행하는 능력보다 중요할 수 있다.

이상 사례 공개와 권한 제한 필요

OpenAI는 지난 6개월 동안 내부 훈련과 시험에서 발견한 여섯 건을 공개했다. 앞으로 개발자나 안전 담당자 등이 문제를 발견하면 안전 담당 부서가 조사하고, 발생 과정과 피해 여부, 해결 조치를 공개할 방침이다.

그러나 공개할 사례를 AI 기업이 스스로 결정한다는 한계가 있다. 회사에 불리한 사례까지 빠짐없이 공개했는지 외부에서는 확인할 수 없다. 일정 수준 이상의 피해가 발생하면 감독기관과 피해자에게 알리고, 외부 전문가가 행동기록을 조사할 수 있어야 한다.

한국인터넷진흥원도 자율형 AI에 맞춘 새로운 보안지침을 마련하고 있다. 기업은 AI 에이전트에 업무에 필요한 권한만 줘야 한다. 외부 사이트에 자료를 올리거나 이메일을 보내고 결제를 실행하기 전에는 사람의 승인을 받도록 해야 한다.

AI 에이전트가 목표를 달성했다는 결과만 믿어서는 안 된다. 어떤 권한을 사용했고, 자료를 어디에서 구했으며, 사실을 확인할 수 없는 상황에서 어떻게 행동했는지까지 살펴야 한다. 목표를 달성한 것처럼 결과를 억지로 만들어 내는 AI보다, 멈춰야 할 때 멈출 수 있는 AI 에이전트가 바람직하다.