Kubernetes– tag –

llm-d 1.0が、AIエージェントの推論を支える本番運用機能を強化。文脈を再利用するキャッシュ対応ルーティング、混雑時の優先制御、更新を連携させる仕組みと、自社運用で測るべき指標を解説します。

llm-d 1.0が強化したのは、AI推論が集中したときの交通整理です。入口での待ち行列、利用者ごとの優先度、KVキャッシュの再利用、分離した推論処理の更新を解説。自社でLLMを配信する現場が確認すべき点を整理します。

OpenClaw FoundationがMITライセンスのOpenClaw Enterpriseを公開しました。常駐エージェントを名前空間で隔離し、権限と監査を一か所で管理する仕組みです。一方で1.0前のため、認証まわりは未完成の部分が残っています。

MicrosoftのOrchardは、AIエージェントの学習と評価に共通の隔離実行環境を提供します。Kubernetes上の仕組み、小型モデルへの効果、企業導入時の安全性を解説します。