Real-SWE：非公開エンタープライズコードベースでAIのソフトウェアエンジニアリング能力を評価
Real-SWE：非公開エンタープライズコードベースでAIのソフトウェアエンジニアリング能力を評価
| 項目 | 内容 |
|---|---|
| ジャンル | その他IT |
| 日付 | 2026-09-13 |
| 元記事 | Hacker News |
要約
AI開発会社のWithSpecificが、プライベートな実世界エンタープライズコードベースを用いてAIモデルのソフトウェアエンジニアリング能力を評価する新ベンチマーク「Real-SWE」を公開した。SWE-benchなどの既存ベンチマークがオープンソースリポジトリのみを対象とするのに対し、Real-SWEは企業が実際に使用する非公開コードでの問題解決能力を測る点が特徴だ。公開コードで訓練されたモデルの能力が、非公開の企業コードに汎化されるかどうかを実証的に評価することで、AIコーディングツールの実業務適性をより正確に判断できる。エンタープライズAIソフトウェア開発ツールの選定に活用できる評価基準として注目される。