AI 트레이더, 대화 없이 담합 학습

미래의 금융시장 담합은 은밀한 대화방이 아니라 서로 경쟁하도록 설계된 AI들 사이에서 자연스럽게 형성될 수 있다는 연구가 제시됐다. 2025년 NBER 연구진(Working Paper 34054)은 정보를 가진 투기적 거래자들이 경쟁하는 이론모형을 세우고, 이들을 강화학습 기반 AI 트레이더로 대체해 시뮬레이션했다. 각 AI에는 협력하라는 지시도, 가격을 조작하라는 목표도 주어지지 않았고, 오직 자신의 장기 거래이익을 극대화하도록 시장과 반복 상호작용하며 학습했을 뿐이다. 학습이 진행되자 AI들은 정보를 즉시 가격에 반영할 만큼 공격적으로 거래하지 않았다. 각자 주문 강도를 낮추고 경쟁 시장에서 얻을 수 있는 수준을 웃도는 이익을 오래 유지하는 행동을 형성했다. 명시적 합의나 의사소통이 없었음에도 결과적으로 경쟁이 약해지고 초과이익이 지속됐는데, 연구진은 이를 '초경쟁적 이익'이라 표현했다. 학습 경로도 주목된다. 한 경로에서는 시장가격 자체가 감시 신호로 작동한다. 다수가 낮은 주문 강도를 유지하다 한 AI가 공격적으로 이탈하면 가격이 크게 흔들리고, 다른 AI들이 이를 규칙 파기로 인식해 경쟁적 거래로 전환하며 이탈자의 이익을 깎는다. 처벌 합의 없이도 가격 움직임을 통한 이탈-처벌이 반복되며 낮은 거래 강도가 유지된다. 또 다른 경로는 강화학습의 편향으로, 초기 우연한 손실 탓에 공격적 전략을 조기에 배제해 모두 보수적으로 거래하게 되는 '인공적 어리석음'에서 비롯된다. 이는 실증 적발이 아닌 이론·시뮬레이션 연구지만 규제 함의는 크다. 기존 담합 규제는 연락·합의·의도를 조사하지만, 강화학습 AI는 그러한 요소 없이 시장 결과만 관찰하며 담합 유사 균형을 학습할 수 있다. 개발사와 운용사 모두 책임을 회피할 여지가 생기는 반면, 시장에서는 유동성과 경쟁이 줄고 가격의 정보효율성이 악화될 수 있다. AI의 시장 참여가 확대될수록 규제는 인간의 의도보다 알고리즘의 실제 행동과 시장 결과를 기준으로 삼아야 한다는 점을 시사한다.