ByteDanceが拡散型言語モデル「iLLaDA」を公開、Qwen2.5と同等性能
ByteDanceが拡散型言語モデル「iLLaDA」を公開、Qwen2.5と同等性能
| 項目 | 内容 |
|---|---|
| ジャンル | AI |
| 日付 | 2026-06-28 |
| 元記事 | The Decoder |
要約
ByteDanceの研究チームが、従来のトークン逐次生成ではなく拡散プロセス（diffusion）を用いてテキストを生成する新しいアーキテクチャの言語モデル「iLLaDA」を公開した。80億パラメータのモデルでAlibaba CloudのQwen2.5と同等のベースライン性能を達成しており、拡散型テキスト生成の実用可能性を示す重要な成果とされる。Transformerを基盤とした既存の自己回帰型モデルとは根本的に異なるアーキテクチャであり、並列デコードによる推論高速化や双方向文脈の活用といった潜在的優位性が期待される。実用化に向けてはロングコンテキスト処理や指示追従能力の更なる向上が課題として残されているが、次世代LLMのアーキテクチャ多様化に向けた重要な研究成果として注目されている。