監査で見えた数字
自動パイプラインが検出した286件の疑わしいタスクのうち200件(27.4%)が「壊れている」と判定され、人手による注釈作業ではさらに厳しい249件(34.1%)という結果になった。約3割から3分の1という幅はあるが、いずれにしても「ベンチマークの得点の相当部分が、問題自体の欠陥によって歪められていた」ことを意味する。
なぜベンチマークは壊れるのか
問題は「過度に厳格なテスト」「説明不足のプロンプト」「カバレッジの低いテスト」「誤解を招くプロンプト」の4種類に整理されている。GitHubのIssueやPRを機械的に集めてタスク化する手法は、人間同士のやり取りに含まれる暗黙の前提や文脈をそぎ落としてしまいがちで、今回の結果はその副作用が想像以上に大きかったことを裏付けている。
過去の教訓との接続
機械学習の世界では、著名なベンチマークが後になってラベル誤りや汚染(訓練データへの混入)を指摘される例が繰り返されてきた。画像認識分野の定番データセットで数年後に大量のラベル誤りが見つかった一件や、自然言語理解のベンチマークがモデルの進歩で天井に達し新しい指標に置き換えられていった経緯もその一例だ。今回OpenAIが指摘したのは、コーディング評価という比較的新しい領域でも同じ構造の問題が起きていたという話であり、目新しい失敗ではなく分野を問わず繰り返されてきたパターンの再来と見た方が正確だろう。
評価する側に求められること
注目したいのは、OpenAIが以前SWE-bench Verifiedの後継として自ら推奨していたSWE-Bench Proについて、その推奨を撤回したという点だ。一度出した推奨を自己点検の結果で覆すのは、短期的にはブランドの傷になりかねない判断だが、コーディングエージェントの性能競争が激しくなるほど、物差し自体の信頼性を検証する作業の価値は増していく。詳しい監査手法はOpenAIの発表(https://openai.com/index/separating-signal-from-noise-coding-evaluations/)で公開されている。今後モデル比較の記事を読む際は、使われているベンチマークがどの程度検証されたものかも合わせて見ておきたい。