一种基于轻量化预训练模型的实体识别方法和装置


专利名称

一种基于轻量化预训练模型的实体识别方法和装置

所属单位

智能科学与技术学院

通讯地址

北京市西城区展览路1号

联系人

科学技术发展研究院

电话

010-68322482

专利发明人

李壮举

专利号

CN202410243608.0

专利类型

发明授权

专利状态

授权且有效

专利简介

本申请提供一种基于轻量化预训练模型的实体识别方法和装置,包括:获取待识别文本;基于搜索引擎检索所述待识别文本的第一文本集;基于所述轻量化预训练模型生成分别与所述待识别文本和所述第一文本集对应的多个特征图谱,一个特征图谱与一个文本对应,所述多个特征图谱的表征方式相同;所述轻量化预训练模型融合所述多个特征图谱,生成所述待识别文本的实体识别结果;其中,所述轻量化预训练模型采用继承生成式预训练BERT的模型结构,并基于所述待识别文本的同领域样本调整模型的参数和权重的训练方式。本申请提供的基于轻量化预训练模型的实体识别方法和装置,可以实现在标注数据十分有限的情况下的命名实体识别任务。
Baidu
map