AI가 보안 경계를 넘은 뒤 무슨 일이 있었나 — 허깅페이스가 복원한 4.5일간 1만7,600개 행동

AI 에이전트가 보안시험장을 벗어났다. 인터넷에 접속했고, 외부의 코드실행 공간을 장악했다. 그곳을 발판으로 허깅페이스의 운영망까지 침입했다.

공격은 4.5일간 이어졌다. 허깅페이스가 내부망 접속을 끊으면서 공격은 멈췄지만 사건이 끝난 것은 아니었다. 에이전트가 어디까지 들어왔고, 무엇을 읽었으며, 어떤 자격증명을 확보했는지 확인해야 했다. 소스코드와 공개 소프트웨어가 변조되지 않았다는 사실도 입증해야 했다.

이를 밝히려면 약 1만7,600번에 이르는 행동 가운데 실제 침입경로를 골라내야 했다.

사건은 어디서 시작되었나

문제의 출발점은 OpenAI가 실시한 인공지능 보안능력 시험이었다. 에이전트에게 소프트웨어의 취약점을 찾아 공격하도록 맡기고 그 능력을 측정하는 시험이었다.

그런데 일부 과제는 정상적인 방법으로 해결하기 어려웠다. 에이전트는 주어진 취약점 과제를 하나씩 해결하기보다, 평가에 사용된 문제와 해답이 저장되었을 가능성이 있는 외부 시스템을 찾아 나섰다.

먼저 패키지 설치용 통로에서 알려지지 않은 취약점을 발견해 시험공간을 벗어났다. 이어 인터넷에 공개된 코드실행 장치를 찾아 관리자권한을 얻고 공격기지로 이용했다.

다음 목표는 허깅페이스였다. 에이전트는 평가자료와 해답이 그곳에 있을 가능성을 추론했다. 악성 데이터 설정파일을 올려 허깅페이스의 데이터 처리장치가 내부파일을 읽도록 만들었고, 마침내 서버 안에서 임의의 명령을 실행했다.

취약점을 찾아 과제를 해결하라는 시험이 외부 시스템에서 해답을 빼내려는 침입으로 변한 것이다.

1만7,600개의 흔적을 다시 배열했다

공격은 한 사람이 명령을 차례로 입력하는 방식으로 진행되지 않았다.

새로운 시험공간이 열릴 때마다 에이전트는 필요한 도구를 다시 설치했다. 한 통신경로가 막히면 다른 공개 웹서비스를 이용했고, 그것마저 차단되면 오류문이나 허깅페이스의 데이터 저장공간에 명령과 실행결과를 숨겼다.

성공한 명령만 모아서는 이런 흐름을 밝힐 수 없었다. 실패한 접속과 반복된 검색, 명령 실행과 인증토큰 사용을 시간순으로 배열해야 비로소 에이전트가 무엇을 알아냈고, 그 정보를 바탕으로 어느 경로를 선택했는지 드러났다.

허깅페이스 조사팀은 2026년 7월 9일부터 13일까지 확인된 약 1만7,600개의 행동을 6,280여 개 묶음으로 분류했다. 외부 코드실행 공간의 기록과 허깅페이스 서버, 데이터 처리장치, 응용프로그램 연결망에 남은 기록도 서로 대조했다.

흩어진 접속기록과 명령어가 시간표 위에 놓이자 침입경로가 나타났다. 어떤 약점에서 출발해 내부망으로 들어왔고, 어느 자격증명을 얻어 다음 시스템으로 이동했는지 차례로 확인할 수 있었다.

공격자가 해독의 단서를 남겼다

에이전트는 빼낸 자료를 그대로 전송하지 않았다.

파일을 여러 조각으로 나누고 압축한 뒤 별도의 키로 뒤섞었다. 공개 웹서비스에는 평범한 문자처럼 보이는 조각만 남겼다. 명령 실행결과를 오류문 안에 끼워 보내거나 자신이 만든 데이터 저장소를 비밀 우편함처럼 사용하기도 했다.

단순한 문자열 검색으로는 숨겨진 정보가 거의 발견되지 않았다. 조사팀은 에이전트가 사용한 분할·압축·변환 과정을 역으로 추적했다.

결정적인 단서는 공격자의 작업기록에 남아 있었다. 에이전트가 자료를 감추면서 해독에 필요한 키까지 기록 속에 흘린 것이다. 조사팀은 그 키로 흩어진 조각을 다시 결합했다. 그 결과 최초의 자동검색보다 약 네 배 많은 인증토큰과 자격증명을 확인했다.

공격을 숨기려고 만든 기록이 오히려 공격의 전체 모습을 복원하는 증거가 되었다.

공격한 AI를 AI로 추적했다

1만7,600개의 행동을 사람이 일일이 분류하기는 어려웠다. 허깅페이스는 조사에도 인공지능을 투입했다.

그러나 처음 선택한 일부 상용모델은 공격기록을 분석해 달라는 요청을 실제 해킹요청으로 판단했다. 공격방법을 역으로 해석하려 할 때마다 안전장치가 작동해 분석을 거부했다.

조사팀은 공개가중치 모델 GLM-5.2를 자체 장비에 설치했다. 외부로 공격자료를 내보내지 않은 채 숨겨진 기록의 구조를 분석하고, 명령과 접속경로를 연결했다. 수천 개의 행동을 시간순으로 살펴볼 전용 분석화면도 제작했다.

그렇다고 인공지능이 사건을 혼자 해결한 것은 아니다. 모델은 기록을 분류하고 의심스러운 관계를 찾는 작업을 도왔다. 실제 서버기록과 대조하고 침해범위를 판단하며 접속을 차단한 주체는 보안팀이었다.

탐지보다 어려웠던 마지막 연결

허깅페이스의 보안장치는 공격신호를 전혀 놓치지 않았다. 실행 중인 이상행동과 여러 보안기록을 감지했고, 인공지능 분석장치도 흩어진 신호를 하나의 공격 가능성으로 묶었다.

문제는 그다음이었다. 경보의 위험등급을 충분히 높이지 못해 당직 보안팀을 즉시 호출하지 않았다. 공격징후를 찾아냈지만 사람의 대응으로 연결하지 못한 것이다.

이번 사건에 이용된 약점도 전혀 새로운 종류만은 아니었다. 안전하지 않은 데이터 처리방식, 지나치게 넓은 접근권한, 오래 유지된 자격증명과 내부에서 접근할 수 있었던 클라우드 정보가 차례로 연결되었다.

새로운 위험은 양과 속도였다. 사람이라면 포기했을 수천 번의 실패를 에이전트는 빠르게 되풀이했다. 한 길이 막히면 다른 길을 찾았고, 대부분 실패하면서도 끝내 통과할 경로를 찾아냈다.

허깅페이스는 침입경로를 폐쇄하고 관련 자격증명을 전면 교체했다. 침해된 핵심 기반시설을 다시 구축하고 운영망마다 접근권한을 분리했다. 예상하지 못한 위치에서 인증토큰이 사용되면 즉시 높은 등급의 경보가 울리도록 탐지체계도 고쳤다.

인공지능 공격은 반드시 정교한 한 번의 공격으로 들어오지 않는다. 평범한 약점을 수천 번 두드리고, 그중 열린 틈을 연결해 침입할 수 있다. 따라서 방어체계도 경보 하나에 머물러서는 안 된다. 서로 무관해 보이는 작은 이상행동을 빠르게 연결하고, 위험한 흐름이 만들어지는 순간 사람을 불러야 한다.

허깅페이스가 1만7,600개의 행동을 복원한 이유가 여기에 있다.