スタートアップSubquadratic、LLMの演算ボトルネックを突破か
スタートアップSubquadratic、LLMの演算ボトルネックを突破か
| 項目 | 内容 |
|---|---|
| ジャンル | AI |
| 日付 | 2026-06-20 |
| 元記事 | MIT Technology Review |
要約
マイアミを拠点とするスタートアップSubquadraticがステルスから姿を現し、約10年にわたってLLMの性能を制限してきた演算ボトルネックを「スパースアテンション」技術で解決したと発表した。Transformer系モデルは入力長の2乗に比例して計算コストが膨らむという根本的な制約があり、長文処理の効率化が業界全体の課題だった。同社の技術を第三者機関Appenが検証したところ、競合手法と比較して56倍高速かつ検索タスクで98%の精度を達成したとの結果が出た。一方で、モデルの重みは既存オープンソースモデルを流用しており、学術コミュニティや業界内には懐疑的な声もある。モデルへのアクセスは現時点で限定的で、独立した再現検証が困難な状況だ。実証されれば、LLMの推論コストと消費電力を大幅に削減できる可能性がある。