19,020件——OpenAIが2026年6月17日に公開した生命科学向けベンチマーク「LifeSciBench」の採点基準の総数だ。750件のタスクで割ると、1タスクあたり平均25個程度の採点基準が用意されている計算になり、単純な正誤判定とは一線を画す評価密度であることがうかがえる。

構成

対象は証拠整理、分析、実験設計、検証、翻訳、科学コミュニケーションなど幅広いワークフローにまたがり、7つのワークフローと7つの生物学領域を組み合わせた構成になっている。タスクはPh.D.レベルの科学者が作成し、複数回の見直しと専門家レビューを経て整備されたとされる。付属アーティファクトは1,062個にのぼり、単なる一問一答ではなく、根拠となる資料を伴う実務寄りの課題が並ぶ。

何を測ろうとしているか

一般的なベンチマークは正解が一意に決まる問題が中心になりがちだが、研究の現場では情報が不完全だったり、複数の結果が矛盾していたりすることが日常的にある。LifeSciBenchは、そうした不完全な証拠をどう整理し、実験をどう設計し、翻訳リスクをどう判断するかという、答えだけでなく考え方も問われる課題を扱う。自由記述の回答を詳細なルーブリックで採点する設計は、その分だけ評価コストが高いが、実務に近い判断力を測るには必要な手間だろう。

意義

生命科学は誤りの許容度が低い領域であり、AIの科学利用は派手な発見例よりも先に評価設計の質が問われる。1タスクあたり平均25個の採点基準という密度は、AIの回答を大まかに合否判定するのではなく、どの観点で優れ、どの観点で危ういかを細かく切り分けようとする姿勢の表れと言える。専門領域向けAI評価の基準作りとして注目しておきたい。性能の解釈や活用判断は、OpenAIの発表と論文を踏まえて慎重に進めるべき話だ。