トランスフォーマーを超えるLLMアーキテクチャを狙う4つのスタートアップ
トランスフォーマーを超えるLLMアーキテクチャを狙う4つのスタートアップ
| 項目 | 内容 |
|---|---|
| ジャンル | AI |
| 日付 | 2026-08-11 |
| 元記事 | MIT Technology Review |
要約
MITテクノロジーレビューが、トランスフォーマーアーキテクチャを超える次世代LLMを開発する4つのスタートアップを特集した。取り上げられたアプローチは①スパースアテンション機構、②ハイブリッドリキッドニューラルネットワーク、③拡散ベースのテキスト生成、④言語以外の推論も可能な状態空間モデルの4種。各社はいずれも計算コスト削減と性能向上の両立を主張している。大手AI企業が既存アーキテクチャを磨く中、スタートアップが基盤技術の刷新を狙う構図は、GPTやBERT誕生以降で最も競争が激しいアーキテクチャ探索フェーズに入ったことを示している。実用化には課題も多いが、研究者の注目を集めつつある。