AI를 만드는 연구자가 회사를 떠났다 — 스스로 발전하는 AI가 두려운 이유

AI는 아직 자주 틀린다. 질문을 잘못 이해하고 존재하지 않는 자료를 사실처럼 말하기도 한다. 그런 AI가 인류를 위협한다는 주장은 지나친 상상처럼 들린다.

그런데 AI를 밖에서 비판하던 사람이 아니라 세계적인 AI 기업에서 모델을 개발하던 연구자가 회사를 그만두며 경고를 내놓았다. 오픈AI와 앤스로픽에서 3년 동안 AI의 사전학습을 연구한 제이컵 콕슨이다.

콕슨은 2026년 9월 앤스로픽을 떠나며 두 회사가 ‘스스로 발전하는 초지능’을 향해 무책임하게 경쟁하고 있다고 비판했다. 지금의 속도가 이어지면 2030년 이전에 돌이킬 수 없는 위험이 생길 수 있다는 주장이다(Ars Technica 기사).

스스로 발전하는 AI란 무엇인가

현재도 AI는 새로운 AI를 만드는 데 쓰인다. 연구자료를 읽고 프로그램을 작성하며 오류와 시험결과를 분석한다. 그러나 중요한 결정은 사람이 내리고, 학습에 필요한 반도체와 자료도 사람이 제공한다.

‘스스로 발전하는 AI’는 한 단계 더 나아간다. AI가 자신보다 뛰어난 다음 모델을 설계하고 시험하며, 그 모델이 다시 더 강한 모델을 만드는 과정이다. 첫 번째 AI의 결과가 두 번째 AI의 출발점이 되는 이런 순환을 ‘재귀적 자기개선’이라고 한다.

그렇다고 지금의 대화형 AI가 혼자 프로그램을 뜯어고쳐 어느 날 초지능으로 변한다는 뜻은 아니다. 모델을 학습하려면 막대한 컴퓨터와 전력, 자료와 실험환경이 필요하다. AI가 여기에 접근하도록 사람이 권한을 주어야 한다. 위험의 핵심은 AI의 감정보다 사람이 얼마나 넓은 권한을 맡기느냐에 있다.

악의가 없어도 위험할 수 있다

초지능 AI의 위험을 이해하려고 사람을 미워하는 로봇을 상상할 필요는 없다. 더 현실적인 문제는 사람이 지시한 목표와 실제로 바라는 결과가 어긋나는 것이다.

가령 전염병을 가장 빨리 막을 방법을 찾으라고 지시하면서 사람의 권리와 사회적 피해를 제한조건에 충분히 넣지 않았다면, AI는 극단적인 방법을 제안할 수 있다. 지금은 사람이 이를 거부할 수 있지만, AI가 서버와 실험실, 금융망과 중요시설을 직접 조작한다면 잘못된 판단의 피해가 커진다. 악의가 아니라 불완전한 목표를 지나치게 능숙하게 수행하는 것이 문제가 된다.

AI가 인간의 의도에 맞게 움직이는지를 연구하는 앤스로픽의 정렬연구 책임자 에번 허빙거도 향후 10년 안에 AI가 인류의 생존을 위협할 가능성을 10%보다 높게 본다고 밝혔다. 그러나 이는 반복된 사례로 계산한 확률이 아니라 불확실한 미래에 대한 전문가의 추정이다.

경고는 예측이지 확정된 미래가 아니다

현재까지 AI가 사람의 도움 없이 자신의 성능을 계속 높였다는 확실한 증거는 없다. 중요시설을 장악하거나 독자적으로 무기와 자원을 확보한 일도 확인되지 않았다.

콕슨 자신도 현재의 AI가 인류를 멸망시킬 수준은 아니라고 인정했다. 그가 지금 현실적인 위험으로 든 것은 해킹과 기반시설 장애 등이다. 인류 생존에 관한 경고는 지금과 같은 발전속도가 계속될 경우를 전제로 한다(관련 보도).

그렇다고 가능성이 불확실하다는 이유로 무시하는 것도 합리적이지 않다. 발생 가능성이 낮아도 피해를 되돌릴 수 없다면 미리 안전장치를 마련해야 한다. 항공기 사고가 드물어도 여러 겹으로 점검하는 것과 같다.

한국이 물어야 할 것은 속도보다 통제다

한국에서도 학교와 기업, 행정기관에 AI가 빠르게 들어오고 있다. 성능과 투자액 못지않게 사고가 났을 때 누가 멈출 수 있는지를 물어야 한다.

중요한 결정에는 사람이 최종 승인하는가. 외부기관이 안전성을 독립적으로 시험할 수 있는가. 예상하지 못한 행동을 기업이 공개하는가. 국가와 기업이 지켜야 할 최소한의 안전기준은 무엇인가.

안전성 점검을 개발회사의 자체 판단에만 맡겨도 되는지도 따져야 한다. 개발 경쟁의 당사자와 안전을 판정하는 심판이 같은 조직이라면, 출시를 늦춰야 할 때도 매출과 경쟁 압력이 판단에 영향을 줄 수 있다.

AI가 정말 인류를 파멸시킬지는 아무도 모른다. 두려움만 키우는 것도, 기술을 막연히 믿는 것도 답이 아니다. 무엇을 할 수 있는지에 앞서 무엇을 하도록 허용할 것인지를 사회가 결정해야 한다.