会员服务
从目前的研究总结发现，模型规模的扩展是LLM能力提升的一个关键因素。从GPT-3的175B参数量到PaLM的540B记录，都验证了模型规模的扩展，导致能力的提升。 当然，大的模型尺寸是必不可少的，但是扩展定律并不仅限于此，它一共包括三个方面： 模型尺寸（Model size） 数据规模（Data size） 总计算量（Total compute） 此外，预训练数据的质量在保证模型性能方面有着关键作用，因此在扩展语料库时，要注意数据收集和清理的策略。
Can Language Models Discover Scaling Laws?
Arxiv
0+阅读 · 12月15日
The Data Efficiency Frontier of Financial Foundation Models: Scaling Laws from Continued Pretraining
Arxiv
0+阅读 · 12月13日
Superposition Yields Robust Neural Scaling
Arxiv
0+阅读 · 11月29日
Neural Scaling Laws for Deep Regression
Arxiv
0+阅读 · 11月24日
Fast Escape, Slow Convergence: Learning Dynamics of Phase Retrieval under Power-Law Data
Arxiv
0+阅读 · 11月24日
OnePiece: The Great Route to Generative Recommendation -- A Case Study from Tencent Algorithm Competition
Arxiv
0+阅读 · 12月8日
Why Less is More (Sometimes): A Theory of Data Curation
Arxiv
0+阅读 · 11月5日
Seek in the Dark: Reasoning via Test-Time Instance-Level Policy Gradient in Latent Space
Arxiv
0+阅读 · 10月30日
L$^2$M: Mutual Information Scaling Law for Long-Context Language Modeling
Arxiv
0+阅读 · 10月24日
Relative-Based Scaling Law for Neural Language Models
Arxiv
0+阅读 · 10月23日
DriveVLA-W0: World Models Amplify Data Scaling Law in Autonomous Driving
Arxiv
0+阅读 · 10月14日
Scaling Law in LLM Simulated Personality: More Detailed and Realistic Persona Profile Is All You Need
Arxiv
0+阅读 · 10月10日
Parallel Scaling Law: Unveiling Reasoning Generalization through A Cross-Linguistic Perspective
Arxiv
0+阅读 · 10月2日
Can Language Models Discover Scaling Laws?
Arxiv
0+阅读 · 9月29日
Parallel Scaling Law for Language Models
Arxiv
0+阅读 · 5月15日
参考链接
微信扫码咨询专知VIP会员
Top