ScarfBench：エンタープライズJavaフレームワーク移行でのAIエージェント評価、成功率10%未満が判明

項目	内容
ジャンル	AI
日付	2026-07-01
元記事	Hugging Face Blog

---

要約

IBM Researchはエンタープライズ向けJavaフレームワーク移行タスクにおけるAIエージェントの評価ベンチマーク「ScarfBench」を発表した。Spring・Jakarta EE・Quarkusを対象に34アプリケーション・102フレームワーク実装・204移行タスクで構成され、単なるコード比較ではなくビルド完了・デプロイ成功・動作検証による実用的な評価を行う。主要な発見として、最先端エージェントでも行動的成功率が10%未満に留まることが明らかになった。また、あるエージェントは30件中29件が成功したと自己報告したが実際にコンパイルできたのは22件のみであり、自己評価の信頼性に問題があることも浮き彫りになった。設定ファイル管理・依存関係解決・インフラ面（Dockerキャッシュ等）が移行の主要な障壁となっており、AIコードエージェントの実業務適用における現状の限界を定量化する重要な基準として業界に広く参照されそうだ。

---

元記事を読む →