Anthropic이 IBM을 흔든 후, OpenAI도 거의 만점에 가까운 COBOL 마이그레이션 성적을 내놓았다

동찰 Beating AI 속보, 올해 2월 Anthropic이 Claude Code의 COBOL 레거시 시스템 개조 능력을 홍보한 후 IBM 주가는 하루 만에 13.2% 폭락했다.

8개월 후, OpenAI도 GPT-6 시리즈의 오래된 프로그래밍 언어에 대한 최신 성적을 발표했으며, 그중 COBOL 코드 마이그레이션 테스트의 최고 성공률이 97.9%에 달했다.

COBOL은 1950년대에 탄생했으며, 지금도 은행 거래, ATM 및 보험 시스템에 널리 사용되고 있다. 많은 프로그램이 수십 년간 운영되어 원래 개발자는 이미 퇴사했고, 일부 비즈니스 규칙은 심지어 코드에만 존재한다. 이를 현대 언어로 재작성하려면 코드가 작동하게 하는 것뿐만 아니라 계산 결과가 완전히 일치하도록 보장해야 한다. 예를 들어 COBOL은 고정 소수점 연산에서 명시적으로 반올림을 요구하지 않으면 초과 소수 자릿수를 직접 버린다. 새 프로그램이 반올림으로 변경하면 금융 장부에 오류가 발생할 수 있다.

OpenAI는 AI가 COBOL 프로그램을 C++, Java, Python, Rust 등 언어로 재작성하는 능력을专门 테스트했으며, 신구 프로그램의 테스트 출력이 바이트 단위로 일치하도록 요구했다. GPT-6.1 Sol은 낮은 추론 단계에서 성공률이 86.6%에 달했고, 이전 세대 GPT-5.6 Sol은 5.4%에 불과했으며, 추정 API 비용도 39% 절감되었다. 추론 단계를 높인 후 성공률은 97.9%까지进一步 상승했다.

OpenAI는 또한 MultiLangBench를 오픈소스화하여 AI가 각각 20가지 프로그래밍 언어로 SQLite 호환 데이터베이스 엔진을 처음부터 작성하도록 요구했다. GPT-6 Astra의 평균 테스트 통과율은 87.4%, GPT-5.6 Sol은 26.8%였다. 그중 두 모델은 COBOL에서 각각 72.1%와 10.9%를 기록했으며, 이는 20가지 언어 중 가장 어려운 것이다.