重要ポイント
- GeneBench-Proは、現実の計算生物学に近い曖昧さや反復を含む129問で構成されています。
- OpenAIは、分析経路の選び方や途中判断を「research taste」として扱い、そこを厳密に測ろうとしています。
- 合成データ生成で正解を統制しつつ、専門家レビューも入れて、ありがちなベンチマークの抜け道を減らしています。
初心者向け補足
最近のAI評価は、数学の答え合わせのような明快な問題だけでは足りなくなっています。研究や業務では、何を調べるか、どの手法に切り替えるか、どこで結論を出すかといった判断が重要だからです。GeneBench-Proは、そうした「途中の考え方」を測ろうとする点で、実務寄りのベンチマークです。
自分のコメント
エージェント評価は派手なデモより地味な設計がものを言います。この手のベンチマークが増えるほど、AIの進歩を「できそう」ではなく「どこまで任せてよいか」で議論しやすくなるので、研究用途以外にも波及効果が大きそうです。