Generative AI (GenAI) models, particularly large language models (LLMs), have transformed multiple domains, including natural language processing, software analysis, and code understanding. Their ability to analyze and generate code has enabled applications such as source code summarization, behavior analysis, and malware detection. In this study, we systematically evaluate the capabilities of both small and large GenAI language models in understanding application behavior, with a particular focus on malware detection as a representative task. While larger models generally achieve higher overall accuracy, our experiments show that small GenAI models maintain competitive precision and recall, offering substantial advantages in computational efficiency, faster inference, and deployment in resource-constrained environments. We provide a detailed comparison across metrics such as accuracy, precision, recall, and F1-score, highlighting each model's strengths, limitations, and operational feasibility. Our findings demonstrate that small GenAI models can effectively complement large ones, providing a practical balance between performance and resource efficiency in real-world application behavior analysis.


翻译:生成式人工智能(GenAI)模型,尤其是大型语言模型(LLMs),已彻底改变了包括自然语言处理、软件分析和代码理解在内的多个领域。它们分析和生成代码的能力使得诸如源代码摘要、行为分析和恶意软件检测等应用成为可能。在本研究中,我们系统评估了小型和大型生成式人工智能语言模型在理解应用行为方面的能力,特别以恶意软件检测作为代表性任务进行重点探讨。虽然大型模型通常能获得更高的整体准确率,但我们的实验表明,小型生成式人工智能模型在精确率和召回率方面仍保持竞争力,并在计算效率、更快的推理速度以及资源受限环境中的部署方面具有显著优势。我们通过准确率、精确率、召回率和F1分数等指标进行了详细比较,突出了每种模型的优势、局限性和操作可行性。我们的研究结果表明,小型生成式人工智能模型能够有效补充大型模型,在实际应用行为分析中实现性能与资源效率之间的实用平衡。

0
下载
关闭预览

相关内容

从语言模型到语言智能体,普林斯顿Shunyu Yao
专知会员服务
62+阅读 · 2023年9月18日
【CVPR 2020 Oral】小样本类增量学习
专知
20+阅读 · 2020年6月26日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Arxiv
0+阅读 · 12月15日
VIP会员
相关基金
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员