Large language models (LLMs) have achieved remarkable progress across domains and applications but face challenges such as high fine-tuning costs, inference latency, limited edge deployability, and reliability concerns. Small language models (SLMs), with compact, efficient, and adaptable features, offer promising solutions. Building on this potential, recent research explores collaborative frameworks that integrate their complementary strengths, leveraging SLMs' specialization and efficiency with LLMs' generalization and reasoning to address diverse objectives across tasks and deployment scenarios. Motivated by these developments, this paper presents a systematic survey of SLM-LLM collaboration from the perspective of collaboration objectives. We propose a taxonomy covering four goals: performance enhancement, cost-effectiveness, cloud-edge privacy, and trustworthiness. Under this framework, we review representative methods, summarize design paradigms, and outline open challenges and future directions toward efficient and secure SLM-LLM collaboration. The collected papers are available at https://github.com/FairyFali/SLMs-Survey.


翻译:大型语言模型(LLMs)在各领域和应用中取得了显著进展,但仍面临微调成本高、推理延迟、边缘部署能力有限以及可靠性担忧等挑战。小型语言模型(SLMs)凭借其紧凑、高效和可适配的特性,提供了有前景的解决方案。基于这一潜力,近期研究探索了整合两者互补优势的协同框架,利用SLMs的专业化与效率以及LLMs的泛化与推理能力,以应对不同任务和部署场景下的多样化目标。受这些进展的启发,本文从协作目标的角度,对SLM-LLM协同进行了系统性综述。我们提出了一个涵盖四个目标的分类体系:性能提升、成本效益、云边隐私与可信性。在此框架下,我们回顾了代表性方法,总结了设计范式,并概述了实现高效安全SLM-LLM协同的开放挑战与未来方向。相关论文收集于https://github.com/FairyFali/SLMs-Survey。

0
下载
关闭预览

相关内容

多模态大语言模型的自我改进:综述
专知会员服务
25+阅读 · 10月8日
边缘大型语言模型综述:设计、执行与应用
专知会员服务
41+阅读 · 2024年10月21日
大型语言模型图表示学习:技术的全面综述
专知会员服务
53+阅读 · 2024年2月14日
DeepMind:用PopArt进行多任务深度强化学习
论智
29+阅读 · 2018年9月14日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
相关VIP内容
多模态大语言模型的自我改进:综述
专知会员服务
25+阅读 · 10月8日
边缘大型语言模型综述:设计、执行与应用
专知会员服务
41+阅读 · 2024年10月21日
大型语言模型图表示学习:技术的全面综述
专知会员服务
53+阅读 · 2024年2月14日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员