会员服务
近年来，预训练模型（例如ELMo、GPT、BERT和XLNet等）的快速发展大幅提升了诸多NLP任务的整体水平，同时也使得很多应用场景进入到实际落地阶段。预训练语言模型本身就是神经网络语言模型，它的特点包括：第一，可以使用大规模无标注纯文本语料进行训练；第二，可以用于各类下游NLP任务，不是针对某项定制的，但以后可用在下游NIP任务上，你不需要为下游任务专门设计一种神经网络，或者提供一种结构，直接在几种给定的固定框架中选择一种进行 fine-tune，就可以从而得到很好的结果。
Revisiting Pre-trained Language Models for Vulnerability Detection
Arxiv
0+阅读 · 11月22日
B-cos LM: Efficiently Transforming Pre-trained Language Models for Improved Explainability
Arxiv
0+阅读 · 12月9日
Patronus: Identifying and Mitigating Transferable Backdoors in Pre-trained Language Models
Arxiv
0+阅读 · 12月7日
On The Role of Pretrained Language Models in General-Purpose Text Embeddings: A Survey
Arxiv
0+阅读 · 11月26日
Huatuo-26M, a Large-scale Chinese Medical QA Dataset
Arxiv
1+阅读 · 2023年5月2日
FreeLM: Fine-Tuning-Free Language Model
Arxiv
0+阅读 · 2023年5月2日
How does GPT-2 compute greater-than?: Interpreting mathematical abilities in a pre-trained language model
Arxiv
0+阅读 · 2023年4月30日
A Survey on Biomedical Text Summarization with Pre-trained Language Model
Arxiv
0+阅读 · 2023年4月18日
Revisiting k-NN for Pre-trained Language Models
Arxiv
1+阅读 · 2023年4月18日
Evaluation of Social Biases in Recent Large Pre-Trained Models
Arxiv
0+阅读 · 2023年4月13日
G2T: A Simple but Effective Framework for Topic Modeling based on Pretrained Language Model and Community Detection
Arxiv
0+阅读 · 2023年4月14日
G2T: A simple but versatile framework for topic modeling based on pretrained language model and community detection
G2T: A simple but versatile framework for topic modeling based on pretrained language model and community detection
Arxiv
0+阅读 · 2023年4月13日
Measuring Gender Bias in West Slavic Language Models
Arxiv
0+阅读 · 2023年4月13日
Measuring Gender Bias in West Slavic Language Models
Arxiv
0+阅读 · 2023年4月12日
Continual Pre-training of Language Models
Arxiv
0+阅读 · 2023年4月12日
参考链接
微信扫码咨询专知VIP会员
Top