英語中心のAI学習データに一石

2026年6月15日、GitHubはREADME、Issue、Pull Requestに含まれる非英語コンテンツを見つけやすくする公開データセットを発表した。CC0-1.0のライセンスでリポジトリ単位のメタデータとして提供され、多言語AIの学習や評価セットづくりに使いやすい形を意識している。

言語の分布はドキュメントと会話で異なる

記事で紹介されている観察は地味だが示唆に富む。例えば韓国語は、Issueでの利用頻度は高い一方、README上では順位が下がるという。つまり「プロジェクトの説明文は英語で書くが、実際のやり取りは母語で行う」という開発現場の実態が、言語ごとに違う形で表れている。これまでの多言語AIの学習データは、README等の整った文章に偏りがちだったとすれば、Issueのような生の会話データを含めることで、実際の開発コミュニケーションに近いモデルが作れる可能性がある。

「多言語対応」を名乗るAIの実力を測る材料にも

AIコーディングツールの多くが多言語対応をうたっているが、学習データが英語のドキュメントに偏っていれば、非英語圏の実務会話では精度が落ちる場合がある。今回のデータセットは、そうしたギャップを埋める学習材料としてだけでなく、既存のAIツールがどの言語のIssueやPRをどれだけ正確に扱えるかを検証するための評価用データとしても使えそうだ。公開先の詳細はGitHub Blog(https://github.blog/ai-and-ml/llms/accelerating-researchers-and-developers-building-multilingual-ai-with-a-new-open-dataset/)が載っている。