Timely identification of issue reports reflecting software vulnerabilities is crucial, particularly for Internet-of-Things (IoT) where analysis is slower than non-IoT systems. While Machine Learning (ML) and Large Language Models (LLMs) detect vulnerability-indicating issues in non-IoT systems, their IoT use remains unexplored. We are the first to tackle this problem by proposing two approaches: (1) combining ML and LLMs with Natural Language Processing (NLP) techniques to detect vulnerability-indicating issues of 21 Eclipse IoT projects and (2) fine-tuning a pre-trained BERT Masked Language Model (MLM) on 11,000 GitHub issues for classifying \vul. Our best performance belongs to a Support Vector Machine (SVM) trained on BERT NLP features, achieving an Area Under the receiver operator characteristic Curve (AUC) of 0.65. The fine-tuned BERT achieves 0.26 accuracy, emphasizing the importance of exposing all data during training. Our contributions set the stage for accurately detecting IoT vulnerabilities from issue reports, similar to non-IoT systems.


翻译:及时识别反映软件漏洞的问题报告至关重要,尤其对于物联网系统而言,其分析速度通常慢于非物联网系统。尽管机器学习和大型语言模型已用于检测非物联网系统中的漏洞指示性问题,但它们在物联网领域的应用仍未被探索。我们首次通过提出两种方法来解决这一问题:(1)结合机器学习、大型语言模型与自然语言处理技术,以检测21个Eclipse物联网项目中的漏洞指示性问题;(2)在11,000个GitHub问题上微调预训练的BERT掩码语言模型,用于分类漏洞。我们的最佳性能来自基于BERT自然语言处理特征训练的支持向量机,其接收者操作特征曲线下面积达到0.65。微调后的BERT模型准确率为0.26,突显了训练过程中暴露全部数据的重要性。我们的贡献为从问题报告中准确检测物联网漏洞奠定了基础,类似于非物联网系统。

0
下载
关闭预览

相关内容

物联网,英文名为Internet of Things,可以简单地理解为物物相连的互联网。物联网主要通过各种设备(比如RFID,传感器,二维码等)的接口将现实世界的物体连接到互联网上,或者使它们互相连接,以实现信息的传递和处理。互联网在现实的物理世界之外新建了一个虚拟世界,物联网将会把两个世界融为一体。
【CVPR2023】基于多标签证据学习的开放集行为识别
专知会员服务
27+阅读 · 2023年3月24日
专知会员服务
22+阅读 · 2021年8月20日
CVPR2020接收论文开源代码
专知
30+阅读 · 2020年2月29日
ACL 2019 | 面向远程监督关系抽取的模式诊断技术
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
CVPR2020接收论文开源代码
专知
30+阅读 · 2020年2月29日
ACL 2019 | 面向远程监督关系抽取的模式诊断技术
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员