Transformer– tag –

LLMにトークンの出現統計を渡すCOUNTが公開された。ホストRAM上の表を使い、学習済みモデルの重みを変えずに専門分野へ適応する仕組みを解説。約797GBの表を使った実験と、公開実装を試す際の注意点も整理する。