외부 AI 의존 줄이고 자체 AI 구축

기업의 자체 AI 구축이 확산되고 있다. 지금까지 기업은 주로 외부 AI 서비스에 접속해 인공지능을 사용했다. 문서를 올리고 질문을 보내면 외부에 있는 컴퓨터가 답을 만들어 돌려준다. 편리하고 별도의 장비도 필요하지 않지만, 회사 자료가 외부로 전달되는 문제가 생긴다.

직원이 입력한 계약서와 연구자료, 고객정보가 어디에 얼마나 오래 보관되는지 기업은 완전히 통제할 수 없다. AI 업체가 자료 보관정책이나 이용조건을 바꾸면 이용 기업은 이를 받아들이거나 서비스를 떠나야 한다.

이 때문에 일부 기업은 AI를 빌려 쓰는 데서 벗어나 회사 안에 자체 AI를 구축하기 시작했다.

대형 로펌도 자체 AI 구축

미국 대형 로펌 레이섬앤드왓킨스는 엔비디아의 고성능 장비를 구입해 자체 AI 체계를 구축하고 있다. 고객의 소송자료와 계약서가 외부로 유출되면 피해가 크기 때문에, 공개된 AI 모델을 회사 서버에서 직접 운영한다.

방산·정보기술 기업들도 비슷하게 대응하고 있다. 로이터 보도에 따르면 팔란티어는 Anthropic에 고객 자료를 보관하지 않는다는 확실한 보장을 요구했다. 엔비디아는 민감도가 낮은 업무에만 Anthropic의 AI를 사용하고, 중요한 내부 업무에는 자체 모델을 이용한다. 부즈앨런도 회사 기밀이 포함된 사이버보안 업무에는 상용 Claude를 사용하지 못하게 했다.

이 기업들이 외부 AI를 모두 거부한 것은 아니다. 자료의 중요도에 따라 외부 AI와 내부 AI를 구분해 사용하기 시작한 것이다.

편리하지만 운영권은 AI 업체에 있다

외부 AI는 성능이 좋고 사용하기도 쉽다. 새 모델이 나오면 이용자가 직접 장비를 바꾸지 않아도 향상된 기능을 곧바로 사용할 수 있다. 초기 투자비도 적다.

그러나 가격과 사용한도, 자료 보관기간, 서비스 중단 여부는 AI 업체가 결정한다. 특정 기능이 사라지거나 이용조건이 바뀌어도 고객 기업은 이를 막을 수 없다. 회사 업무가 하나의 외부 AI에 깊이 의존할수록 AI 업체의 결정이 회사 운영에 미치는 영향도 커진다.

특히 계약서·설계도·연구자료는 한번 유출되면 되돌릴 수 없다. “AI 업체가 안전하다고 했으니 괜찮다”는 말만 믿고 맡겨서는 안 된다. 자료가 어디에서 처리되고 누가 관리하는지 기업이 직접 확인해야 한다.

내부 AI도 관리가 필요하다

그렇다고 모든 기업이 고가의 서버를 구입해 AI를 직접 운영할 필요는 없다. 내부 AI를 구축하려면 장비 구입비와 전력비가 들고, 모델을 설치하고 갱신할 전문인력도 필요하다.

외부와 연결하지 않았다고 저절로 안전해지는 것도 아니다. 보안 설정이 허술하면 회사 직원이나 외부 침입자에게 자료가 노출될 수 있다. 내부 AI도 사용자 권한과 접속기록을 철저히 관리해야 한다.

자체 서버에서 실행할 수 있는 AI 모델이 빠르게 발전하고 있지만, 복잡한 분석과 정교한 글쓰기에서는 대형 외부 AI보다 성능이 떨어질 수 있다. 업무의 종류와 자료의 민감도를 따지지 않고 내부 AI부터 도입하면 비싼 장비만 남을 수도 있다.

자료에 따라 AI를 구분해야 한다

기업은 자료를 중요도에 따라 분류해야 한다. 공개된 홍보자료나 일반적인 문서 작성에는 외부 AI를 이용할 수 있다. 반면 고객의 개인정보, 공개되지 않은 기술자료, 계약서와 경영전략은 회사 내부의 AI나 외부와 격리된 전용 환경에서 처리해야 안전하다.

직원이 어떤 자료를 외부 AI에 입력할 수 있는지도 분명히 정해야 한다. “기밀자료를 올리지 말라”는 막연한 지침만으로는 부족하다. 입력할 수 있는 자료와 금지된 자료를 실제 사례로 구분하고, 중요한 문서를 올릴 때는 책임자의 확인을 받아야 한다.

앞으로 기업이 외부 AI를 모두 버리지는 않을 것이다. 그렇다고 모든 업무를 외부 AI에 맡겨서도 안 된다. 일반 업무에는 성능이 좋은 외부 AI를 이용하고, 중요한 자료는 회사 안에서 처리하는 혼합형 방식이 현실적인 해법이다.

자체 AI 구축을 결정하기 전에는 회사가 다루는 자료의 종류와 외부 유출 때의 피해를 먼저 따져야 한다. 장비 가격만 비교해서는 안 된다. 운영인력과 전력비, 보안관리비, 모델 갱신비까지 계산해야 실제 비용을 알 수 있다.

기업의 AI 경쟁력은 뛰어난 모델을 사용하는 것만으로 결정되지 않는다. 회사의 지식과 자료를 어디에 맡기고, 그 운영권을 누가 쥐고 있는지까지 관리해야 한다. AI가 업무 깊숙이 들어올수록 자료를 지키는 능력도 AI를 사용하는 능력만큼 중요해진다.