129問——OpenAIが2026年6月30日に公開した研究ベンチマーク「GeneBench-Pro」の問題数は、一般的なベンチマークと比べるとかなり少ない。だが、この少なさこそが狙いだという。

何を測ろうとしているか

GeneBench-Proが測るのは、知識の暗記量ではない。計算生物学の現実に近い、曖昧なデータをどう解釈し、途中で仮説を修正し、分析方針をどう選び直すかという「研究の進め方」そのものだ。OpenAIはこれを「research taste」と呼び、厳密に採点しようとしている。合成データ生成によって正解を統制しつつ専門家レビューも組み込むことで、ありがちな「答えを丸暗記すれば解ける」抜け道を減らす設計になっている。

なぜ問題数を絞ったのか

数学の答え合わせのように正誤がはっきりした問題であれば、数千問規模のベンチマークを作ることは難しくない。しかし現実の研究現場に近い、途中の判断過程まで含めて評価しようとすると、1問あたりの設計・レビューコストが跳ね上がる。129問という規模は、量より質を優先した結果と見るのが妥当だろう。

研究以外への波及

エージェント評価は地味な設計の積み重ねがものを言う分野だ。こうしたベンチマークが増えるほど、AIの進歩を「デモでできそうに見える」ではなく「どこまで実務として任せられるか」で議論しやすくなる。生命科学の研究支援という直接の用途を超えて、専門職向けAIエージェントの評価手法という文脈でも参考になりそうだ。対象タスクや採点方法の詳細はOpenAIの記事と論文にあたってほしい。