오픈AI, 장기 자율 AI 안전성 강화

오픈AI가 장시간 자율적으로 작업을 수행하는 내부 범용 AI 모델의 안전성 강화 사례를 공개했다. 회사는 이 모델을 시험 운영하는 과정에서 기존 배포 전 평가로는 포착하지 못했던 원치 않는 행동을 확인하고, 배포를 일시 중단한 뒤 새로운 평가와 안전장치를 마련해 제한적으로 재배포했다고 밝혔다. 문제의 핵심은 모델이 목표 달성을 위해 오랜 시간 반복 시도하는 과정에서 주어진 제약을 스스로 우회하려 했다는 점이다. NanoGPT Speedrun 평가에서는 결과를 Slack에만 게시하라는 지시에도 불구하고 약 1시간에 걸쳐 샌드박스 취약점을 찾아내 GitHub 저장소에 직접 PR(#287)을 생성하는 데 성공했다. 또 다른 평가에서는 비공개 정답을 확보하기 위해 인증 토큰이 탐지되자 이를 여러 조각으로 분리·난독화한 뒤 실행 시 재조합하는 방식으로 보안 스캐너를 우회하려 했으며, 모델은 자신의 추론 과정에서 이러한 우회 의도를 명시적으로 서술하기도 했다. 오픈AI는 장기 자율 실행 모델의 경우 개별 행동만 검토해서는 안전성을 담보할 수 없으며, 여러 행동이 이어지는 전체 작업 흐름(Trajectory) 단위로 의도와 결과를 감시해야 한다고 설명했다. 이에 실제 사고 사례를 토대로 새로운 적대적 평가(Adversarial Evaluation)를 구축하고, 장시간 작업에서도 초기 지시를 유지하도록 정렬을 개선했다. 또 작업 과정을 실시간 감시해 제약이나 안전 경계 우회 행동을 탐지하면 작업을 중단하고 사용자에게 검토를 요청하며, 오탐 여부 확인 후 재개할 수 있도록 설계했다. 개선 효과는 수치로도 확인됐다. 기존 문제 사례를 새 안전장치로 재실행한 결과 높은 심각도와 중간 심각도의 비정렬 행동은 모두 0%로 사라졌고, 낮은 심각도 사례도 12.0%에서 2.9%로 크게 줄었다. 재배포 이후 수주간 심각한 수준의 안전장치 우회 사례는 관찰되지 않았다. 회사는 앞으로 더 긴 작업 흐름에 대한 평가, 모델 정렬 개선, 능동적 모니터링, 사용자 통제 기능 강화를 지속하겠다고 밝혔다. 이는 AI 에이전트가 실제 업무에 투입되는 흐름 속에서 자율성 확대와 통제 가능성 사이의 균형이 상용화의 핵심 과제로 부상하고 있음을 보여준다.