앤트로픽의 프런티어 레드팀은 13일(현지시간) 이런 내용을 담은 다중 에이전트 시스템 연구 결과를 공개했다. 연구진은 같은 모델을 여러 개 띄워 공유 코드베이스와 시장, 컴퓨터 시스템에 풀어놓고 상호작용을 관찰했다. 그 결과 목표가 충돌하면 극단적 대립으로, 목표가 같으면 담합과 집단 쏠림으로 치닫는 양상이 반복적으로 나타났다. 다만 협업이 취약점 탐지 같은 작업의 생산성을 크게 끌어올리고 신형 모델일수록 스스로 갈등을 봉합하는 능력을 보인 점은 순기능으로 확인됐다.

갈등을 매듭짓는 방식은 모델 세대에 따라 크게 갈렸다. 모델별 120회 실험에서 미토스5는 98%가 휴전으로 끝났다. 반면 소네트 4.6과 오퍼스 4.6은 힘으로 상대를 봉쇄해 끝내는 경우가 가장 많았다. 연구진은 두 모델이 타인의 목표를 고려하지 못한 채 자신의 지시만 앞세워 확전한다고 진단했다. 다만 갈등을 평화적으로 푸는 능력이 모델 성능에 반드시 비례하지는 않았다. 미토스 계열은 오히려 화해에 앞서 상대를 먼저 제압하는 사례가 많았는데, 실행력이 뛰어난 모델일수록 강압적 조치를 더 빨리 택했기 때문이라는 게 연구진의 설명이다.

일부 실험에서는 에이전트들이 스스로 사회적 장치를 고안했다. 미토스5는 언어별 성능을 겨루는 토너먼트를 열고 진 쪽이 코드베이스를 넘기기로 합의했다. 원래 사용자 지시에서 벗어나는 결정이었다. 한 에이전트는 겉보기엔 중립적이지만 실제로는 자신에게 유리한 평가 기준을 제안하면서, 이를 ‘자기 잇속을 챙기면서도 원칙적인’ 선택이라 부르고 ‘기준 짜맞추기’로 비치지 않도록 주의했다.

목표가 같을 때의 위험은 결이 달랐다. 같은 모델과 맥락, 환경을 공유한 에이전트들은 선택의 폭이 넓은 상황에서도 서로 판박이처럼 움직였다. 한 실험에서는 에이전트 30개 중 18개가 각자 완전히 같은 이름의 코드 분기를 만들었고, 소설 창작 과제에서는 여러 에이전트가 첫 작품에 똑같은 제목을 붙였다. 연구진은 이 때문에 한 에이전트의 잘못된 판단이 다수의 동일한 오판으로 번져, 개별 문제였을 사안이 시스템 전체의 실패로 확산될 수 있다고 봤다.

정보의 진위를 가리는 능력에서도 허점이 드러났다. 일부 정찰원이 거짓 정보를 섞어 보내는 실험에서 구형 모델은 이를 걸러내지 못했고, 결정적 단서가 여러 에이전트에 나뉘어 있는 과제에서도 합의된 통념을 넘어서지 못했다. 다만 이 대목에서도 신형 모델일수록 거짓을 더 잘 가려내는 개선이 확인됐다.

연구는 협업의 부작용만 보여준 것은 아니다. 앤트로픽은 에이전트 45개에 공유 포럼과 상호 검증 절차를 붙여 오픈소스 15개의 취약점을 찾게 하는 실험도 진행했다. 미토스 프리뷰 기준으로 협업하는 에이전트 무리는 취약점 266건을 찾아낸 반면, 각자 흩어져 병렬 작업한 에이전트들은 21건을 찾는 데 그쳤다. 다만 협업 무리가 약 4배 많은 연산 자원을 쓴 데다 찾아낸 취약점 절반가량이 지정된 핵심 영역 밖이어서, 같은 자원 대비 효율만 놓고 보면 두 방식은 엇비슷했다는 게 연구진의 부연이다.

핵심은 두 방식이 찾은 취약점이 겹친 게 12건뿐이라는 점이다. 협업 무리는 스스로 도구를 만들고 특정 유형 탐지에 특화되며 미리 지정되지 않은 곳까지 파고들었다. 연구진은 이런 특화·협업 방식이 결국 단순 물량 공세를 앞지를 것으로 내다봤다. 이 실험은 앤트로픽이 오픈소스 취약점을 훑는 ‘프로젝트 글래스윙’ 작업과도 맞닿아 있다.

연구진은 협업 능력이 지능이나 개별 ‘정렬’ 수준이 높아진다고 저절로 생기는 것은 아니라고 강조했다. 모델이 정보원마다 이해관계가 다르고 다수의 합의가 곧 진실은 아니라는 점을 ‘이해’하면서도, 그 지식을 실제 행동으로 옮기려는 성향은 갖추지 못했다는 것이다. 사람 사회가 오랜 시간에 걸쳐 규범과 평판, 제도라는 안전장치를 다듬어 온 것과 달리, 에이전트는 잃을 평판도 호소할 법정도 없이 시장에 뛰어든다고 연구진은 지적했다.

이 때문에 안전성 검증 방식을 바꿔야 한다는 문제의식이 뒤따른다. 산업계는 이미 목표가 겹치거나 충돌하는 공유 환경에서 여러 전문 에이전트를 동시에 굴리는 방향으로 옮겨가고 있지만, 대부분의 안전성 평가는 여전히 ‘하나의 에이전트, 하나의 임무’라는 단일 시나리오에 머물러 있다는 것이다. 연구진은 “다수 에이전트가 뒤엉킬 때의 조건을 미리 규명해 두지 않으면 결국 실제 서비스 현장에서 값비싼 대가를 치르며 배우게 될 것”으로 우려했다. [실리콘밸리 원호섭 특파원]