推論– tag –

Mistral Large 4の重みが公開されました。約1兆パラメータの一部を選んで計算するMoE、3段階の推論モード、出力トークン削減の意味を解説。自社運用で確認すべきGPUメモリ、評価方法、ライセンス条件も整理します。

LLM推論を「プリフィル」と「デコード」に分け、別のチップに担当させる構成が2026年後半に実機投入段階へ。256基のLPUで128GBのSRAMを積むNVIDIAのGroq 3 LPXラック、AWSとCerebrasの分業、HBM4搭載Vera Rubinまで、仕組みと実務への影響を整理する。

OpenAI初の独自推論チップ「Jalapeño」が実測段階へ。公開ベンチマークの数値と推論専用設計の仕組み、API開発者や企業が今後確認すべき点を整理します。