会员服务
G-KV: Decoding-Time KV Cache Eviction with Global Attention
Arxiv
0+阅读 · 11月29日
SWAN: Sparse Winnowed Attention for Reduced Inference Memory via Decompression-Free KV-Cache Compression
Arxiv
0+阅读 · 11月24日
参考链接
微信扫码咨询专知VIP会员
Top