会员服务
MagicDec: Breaking the Latency-Throughput Tradeoff for Long Context Generation with Speculative Decoding
Arxiv
0+阅读 · 4月2日
Batch List-Decodable Linear Regression via Higher Moments
Arxiv
0+阅读 · 3月12日
BatchGEMBA: Token-Efficient Machine Translation Evaluation with Batched Prompting and Prompt Compression
Arxiv
0+阅读 · 3月4日
Updating Graph-based Index with Fine-grained Blocks for Large-scale Streaming High-dimensional Vectors
Arxiv
0+阅读 · 3月1日
Adaptive Batch Size for Privately Finding Second-Order Stationary Points
Arxiv
0+阅读 · 2月26日
Accelerated Training on Low-Power Edge Devices
Arxiv
0+阅读 · 2月25日
RadiK: Scalable and Optimized GPU-Parallel Radix Top-K Selection
Arxiv
0+阅读 · 1月24日
Faster Convergence of Riemannian Stochastic Gradient Descent with Increasing Batch Size
Arxiv
0+阅读 · 1月30日
RotateKV: Accurate and Robust 2-Bit KV Cache Quantization for LLMs via Outlier-Aware Adaptive Rotations
Arxiv
0+阅读 · 2月2日
vAttention: Dynamic Memory Management for Serving LLMs without PagedAttention
Arxiv
0+阅读 · 1月29日
Time Transfer: On Optimal Learning Rate and Batch Size In The Infinite Data Limit
Arxiv
0+阅读 · 1月9日
SMDP-Based Dynamic Batching for Improving Responsiveness and Energy Efficiency of Batch Services
Arxiv
0+阅读 · 1月4日
Increasing Batch Size Improves Convergence of Stochastic Gradient Descent with Momentum
Arxiv
0+阅读 · 1月15日
Scale-up Unlearnable Examples Learning with High-Performance Computing
Arxiv
0+阅读 · 1月10日
Adaptive Batch Size Schedules for Distributed Training of Language Models with Data and Model Parallelism
Arxiv
0+阅读 · 2024年12月30日
参考链接
微信扫码咨询专知VIP会员
Top