SWE-Explore評価でAIコーディングエージェントはファイルは発見できるが肝心な行を見落とすと判明
SWE-Explore評価でAIコーディングエージェントはファイルは発見できるが肝心な行を見落とすと判明
| 項目 | 内容 |
|---|---|
| ジャンル | AI |
| 日付 | 2026-06-15 |
| 元記事 | The Decoder |
要約
上海交通大学らが提案した「SWE-Explore」は、AIコーディングエージェントのコード探索フェーズのみを単独評価する初のベンチマーク（848問・203プロジェクト・10言語）。汎用エージェント（Claude Code、Codex、OpenHandsなど5種）はファイルレベルでは正確に特定できる一方、修正に必要な正確な行のカバレッジはわずか14〜19%にとどまる。キーワード検索はランダム選択とほぼ同等で、モデル規模拡大でも改善しない。修正成功には関連コードを50〜75%以上カバーする必要があり、この閾値未満ではほぼ失敗する。無関係なコードの追加より必要コードの欠落の方が修正精度への悪影響が大きく、より広範な読み込みを優先するアーキテクチャ改善が必要と結論づけている。