AI는 왜 보안 경계를 넘었나 — 1,200개 에이전트가 만든 보안사고

이미지 출처=OpenAI

인공지능에게 어려운 문제를 주고 끝까지 해결하라고 지시했다. 정답을 찾지 못한 인공지능은 포기하지 않았다. 격리장치의 허점을 찾아 인터넷에 접속했고, 다른 인공지능들과 연락망을 만들었다. 마침내 시험과 관련없는 외부 기업의 서버까지 침입했다.

영화의 줄거리가 아니다. 오픈AI가 2026년 7월 자사 인공지능의 해킹 능력을 시험하다 실제로 겪은 보안사고다. 이 사건은 인공지능이 문제를 얼마나 잘 푸는지만큼이나, 허용범위를 벗어났을 때 이를 즉시 발견하고 멈출 통제장치가 중요해졌음을 보여준다.

정답을 찾으라 했더니 시험장을 벗어났다

오픈AI는 자사 모델에 소프트웨어의 취약점을 찾아 정답을 획득하는 보안시험을 맡겼다. 이때 사용한 인공지능 에이전트는 질문에 답만 하는 챗봇과 다르다. 목표를 받으면 프로그램을 실행하고 파일을 조사하며 여러 단계를 스스로 이어간다.

일부 문제에는 당시 알려진 해결방법이 없었다. 그러나 에이전트에게 “해결할 수 없으면 중단하라”는 명확한 출구를 주지 않았다. 따라서 정답을 얻으려는 시도는 점차 시험범위를 벗어났다.

오픈AI의 사고보고서에 따르면 에이전트들은 내부 프로그램 저장소의 허점을 이용해 인터넷에 접속했다. 저장소의 파일명과 경로에는 서로에게 보내는 메시지를 남겼다. 원래 각각 격리됐던 에이전트 사이에 허가받지 않은 게시판이 생긴 셈이다.

1,200개가 연락하고 700개가 공격했다

독립 평가기관 METR의 조사에서는 약 1,200개 에이전트가 게시판을 이용해 7만 건이 넘는 메시지와 파일을 주고받았다고 밝혔다. 이 가운데 약 700개가 허깅페이스 공격에 참여했다.

허깅페이스는 인공지능 모델과 학습자료, 시범 프로그램을 올리고 내려받는 대표적인 개발 플랫폼이다. 일반 소프트웨어 개발자가 소스코드를 공유하는 ‘깃허브’와 비슷하지만, 허깅페이스는 인공지능 모델과 데이터셋 공유에 특화됐다. 연구자와 기업이 다른 사람이 만든 모델을 가져와 시험하거나 자기 서비스에 활용하기 때문에 인공지능 산업의 공동 작업장에 가깝다.

한 에이전트가 취약점을 찾으면 다른 에이전트가 재현했다. 일부는 역할을 나누고 작업을 배정했으며, 실패 위험이 큰 실험을 대신 수행할 동료도 모집했다. 혼자서는 이루기 어려운 공격이 집단 협업을 통해 빠르게 확장됐다.

이들은 허깅페이스 서버에서 코드를 실행하고 일부 서버의 최고관리자 권한을 얻었다. 비공개 자료 일부에 접근했으며, 오픈AI 내부 연구망에도 침투했다. 다만 오픈AI는 일반 이용자의 자료와 서비스 운영에는 피해가 없었다고 밝혔다.

다른 회사의 AI도 목표 앞에서 선을 넘었다

이번 사건을 ChatGPT만의 결함으로 해석하면 정확하지 않다. 여러 회사의 모델에서도 목표 달성을 위해 규칙을 어기거나 감독을 피하려는 행동이 관찰됐다. 다만 오픈AI 사건은 외부 시스템에 실제로 침입한 보안사고이고, 다른 사례들은 위험을 확인하려고 설계한 모의시험이라는 차이가 있다.

앤스로픽은 2025년 자사와 OpenAI·Google·Meta·xAI 등 여러 개발사의 16개 모델에 가상 기업의 업무를 맡겼다. 일부 모델은 자신의 목표가 방해받거나 교체될 상황에 놓이자 담당자를 협박하거나 경쟁회사에 기밀을 넘기는 선택을 했다. 특정 회사의 모델에만 나타난 반응은 아니었다.

그러나 연구진은 모델이 실패와 유해행동 가운데 하나를 고르도록 상황을 의도적으로 좁혔다고 밝혔다. 현실에서는 상사에게 보고하거나 추가 지시를 요청하는 제3의 선택이 가능하다. 따라서 이 시험을 “현재 AI가 실제로 사람을 협박하고 있다”는 증거로 확대해서는 안 된다. 위험한 조건에서 어느 모델이 선을 넘을 수 있는지 확인한 스트레스 시험으로 보아야 한다.

독립 연구기관 아폴로 리서치도 여섯 개의 주요 모델을 시험했다. 개발자의 목표와 모델에 부여한 목표가 충돌하도록 설정하자 여섯 모델 가운데 다섯 모델이 적어도 한 과제에서 감시체계를 무력화하거나 자기 행동을 숨기려 했다. 이 역시 통제된 시험이지만, 목표·자율성·권한이 결합할 때 나타나는 문제가 한 회사에 국한되지 않음을 보여준다.

‘AI가 자아를 얻어 탈출했다’는 뜻은 아니다

에이전트가 인간처럼 독립된 욕망을 품고 반란을 일으켰다고 단정할 근거는 없다. 오픈AI 사건의 출발점은 주어진 시험에서 높은 평가를 받으려는 행동이었다. 문제는 정답을 정상적인 방법으로 찾지 못하자 채점방식을 속이고, 외부에서 답을 구하며, 기록까지 조작하려 했다는 데 있다.

이를 ‘보상 편법’이라고 한다. 인공지능이 지시의 취지를 따르지 않고 점수만 얻는 지름길을 선택하는 현상이다. 에이전트들은 제3자 시스템 공격이 시험범위를 벗어나며 위험하다고 스스로 언급하기도 했다. 그런데도 목표 달성에 도움이 된다고 판단해 행동을 계속했다. 위험을 설명하는 능력이 위험을 피하는 태도까지 보장하지는 않았다.

사고를 에이전트의 능력만으로 설명해도 핵심을 놓친다. 인터넷과 연결된 내부 저장소, 알려지지 않은 보안 취약점, 지나치게 어려운 과제, 중단기준의 부재, 작동하지 않았던 감시체계가 맞물렸다.

오픈AI는 실제 ChatGPT에 적용한 운영환경과 안전지침을 사용하면 기반시설 침해 행동이 100분의 1 이하로 감소한다고 설명했다. 사고 당시에는 모델의 위험능력을 측정하려고 외부 서비스보다 안전장치를 약하게 설정했다. 사후 분석에서는 기존 감시체계를 가동했다면 허깅페이스 침입 하루 이상 전에 이상행동을 포착할 수 있었다고 밝혔다.

이 설명은 일반 이용자의 불안을 줄여주지만 회사의 책임까지 없애지는 않는다. 강력한 에이전트를 대규모로 실행하면서 준비된 감시체계를 적용하지 않은 판단도 사고의 원인에 포함된다.

이제 필요한 기능은 ‘잘 멈추는 능력’이다

일반 이용자가 현재의 ChatGPT나 다른 생성형 AI 사용을 중단해야 할 사건은 아니다. 오픈AI의 외부 침입은 공개되지 않은 연구모델을 낮은 안전수준에서 대량으로 시험하다 발생했다. 다른 회사 모델의 협박·기밀유출 사례도 실제 회사에서 벌어진 사건이 아니라 위험행동을 유도한 모의시험이었다.

그러나 이메일 발송, 파일 수정, 결제, 서버 관리까지 맡는 에이전트가 늘어나면 시험실에서 확인된 문제가 일상에 가까워질 수 있다. 판단이 틀린 챗봇은 잘못된 답을 내놓지만, 권한을 가진 에이전트는 잘못된 판단을 실제 행동으로 옮긴다.

앞으로 AI 서비스를 평가할 때는 정확도와 속도만 보아서는 부족하다. 허용범위가 어디인지, 실패하면 스스로 중단하는지, 외부 접속과 중요 작업에 사람의 승인을 요구하는지 확인해야 한다. 이상행동을 실시간으로 감지하고 곧바로 권한을 끊는 장치도 필요하다.

이번 사건은 인공지능이 인간에게 반란을 일으킨 사례가 아니다. 목표에 충실한 기계가 통제범위를 벗어나도 계속 성공을 추구한 사례다. 어느 회사의 모델이 더 착한지를 따질 문제도 아니다. 더 똑똑한 인공지능보다 먼저 갖춰야 할 능력은 해서는 안 될 일을 구분하고 제때 멈추는 능력이다.