性能とコストがどう動いたか

Fable 5.1で目を引くのはベンチマークの伸び幅だ。エージェントとして自律的に科学研究を進めるタスクでは24.7%から52.6%へ、エージェント型コーディングでは42.0%から55.8%へと上がった。Humanity’s Last Examはツールなしで60.9%、ツールありで65.0%。長時間にわたって手順を組み立て続ける種類の作業で、途中の近道に逃げず根本原因にたどり着けるようになった、というのがAnthropic側の説明だ。

料金面では、入力100万トークンあたり10ドル・出力50ドルという基本単価は変わらない。代わりにプロンプトキャッシュの読み取りが100万トークンあたり0.25ドルへと75%下がった。典型的な使い方で25%、エージェント的に何度も同じ文脈を読み直す使い方では最大45%のコスト減になるとされる。長い仕様書やコードベースを毎ターン参照するエージェントほど効く値下げで、単価表の見出し(入出力価格)だけを見ると変化を見落としやすい。

脆弱性の「発見」は許可、「悪用」は不可という線引き

今回のリリースで方針として注目すべきは、Fable 5.1がソフトウェアの脆弱性を発見する用途に使えるようになった点だ。一方で、その脆弱性を突く攻撃コードの生成は引き続き制限される。防御目的のセキュリティ調査を後押ししつつ、攻撃転用は避けたいという狙いは理解できる。

ただ、この境界は技術的に安定して引けるものではない。脆弱性の特定と、それを再現する最小限のコード、実際に刺さるエクスプロイトの間は連続的で、「発見の説明」を細かく求めていくと事実上の攻撃手順に近づく。プロンプトの言い換えでどこまで押し切れるかは、公開後の第三者検証を待つ必要がある。安全策を緩めたMythos 5.1を、審査を通ったセキュリティ専門家と生命科学者だけに限定して配っているのも、この線引きの難しさを織り込んだ運用だろう。

FableとMythos、同じモデルで安全策だけ変える

Fable 5.1とMythos 5.1は中身が同じモデルで、かかっている安全策の強度が違う。Fableが一般提供、Mythosは信頼済みアクセスプログラム経由のみ。モデルの能力そのものと、それを誰にどこまで開放するかを分離して管理する設計で、Anthropicはこの数世代この形を続けている。

利用者にとって実務的に効いてくるのは誤検知の減少のほうだ。サイバーセキュリティ関連の安全策は誤って発火する頻度が約60%減り、良性の医療・初等生物学の質問に対する拒否は85%減ったとされる。過剰な拒否は、正規の業務でモデルを使うチームから繰り返し出ていた不満で、能力の数字よりもこの使い勝手の改善のほうが日常的な体感に近いはずだ。

評価にあたって

ベンチマークの数値はAnthropicの計測条件によるもので、自社のワークロードでの改善幅は別途測る必要がある。特にエージェント型のスコアは評価用のタスク設計に左右されやすい。キャッシュ値下げの恩恵も、キャッシュヒット率が高い構成でないと出ないため、まず自分たちの利用ログでキャッシュがどれだけ効いているかを見てから移行判断をするのが順当だ。詳細な数値と対象は発表ページ(https://www.anthropic.com/claude-fable-and-mythos-5-1)にまとまっている。