LoopVQ: Unter 1-Bit-KV-Cache-Quantisierung für geschleifte Transformer
LoopVQ stellt eine unter 1-Bit-Key-Value-Cache-Quantisierung für geschleifte Transformer vor, um den Speichbedarf zu reduzieren.
LoopVQ stellt eine unter 1-Bit-Key-Value-Cache-Quantisierung für geschleifte Transformer vor, um den Speichbedarf zu reduzieren.