量子化– tag –

長い会話やエージェントでGPUメモリを食い潰す正体がKVキャッシュだ。GoogleとNYUがICLR 2026で示したTurboQuantは、これを約3ビットまで量子化し、メモリ6分の1・アテンション最大8倍速を精度劣化ほぼなしで実現する。その仕組みと実務インパクトを整理する。