vLLM– tag –

llm-d 1.0が、AIエージェントの推論を支える本番運用機能を強化。文脈を再利用するキャッシュ対応ルーティング、混雑時の優先制御、更新を連携させる仕組みと、自社運用で測るべき指標を解説します。

Google CloudがvLLMのCloud TPU対応を拡張。15,000トークン超のマルチモーダル埋め込みを支えるStepPool、精度検証、GKE運用の要点を解説します。