|
|
|
题名
|
作者
|
年代
|
出处
|
被引量
|
| 1 | 基于BERT的中文命名实体识别方法显示文摘针对传统的机器学习算法对中文实体识别准确率低、高度依赖特征设计以及领域自适应能力差的问题,提出了基于BERT的神经网络方法进行命名实体识别。首先,利用大规模未标注语料对BERT进行训练,获取文本抽象特征;然后,利用BiLSTM神经网络获取序列化文本的上下文抽象特征;最后,通过CRF进行序列解码标注,提取出相应的实体。该方法结合BERT和BiLSTM-CRF模型对中文实体进行识别,以无需添加任何特征的方式在1998上半年人民日报数据集上取得了94.86%的F1值。实验表明,该方法提升了实体识别的准确率、召回率及F1值,验证了该方法的有效性。 | 王子牛 姜猛 高建瓴 陈娅先 | 2019 | 计算机科学2019，46，S11： | 83 |
| 2 | 基于BERT嵌入BiLSTM-CRF模型的中文专业术语抽取研究显示文摘专业术语的识别与自动抽取对于提升专业信息检索精度,构建领域知识图谱发挥着重要基础性作用。为进一步提升中文专业术语识别的精确率和召回率,提出一种端到端的不依赖人工特征选择和领域知识,基于谷歌BERT预训练语言模型及中文预训练字嵌入向量,融合BiLSTM和CRF的中文专业术语抽取模型。以自建的1278条深度学习语料数据为实验对象,该模型对术语提取的F1值为92.96%,相对于传统的浅层机器学习模型(如左右熵与互信息算法、word2vec相似词算法等)和BiLSTM-CRF深度神经网络模型的性能有较为显著的提升。本文也给出了模型应用的具体流程,能够为中文专业术语库的构建提供实践指南。 | 吴俊 程垚 郝瀚 艾力亚尔·艾则孜 刘菲雪 苏亦坡 | 2020 | 情报学报2020，39，4： | 42 |
| 3 | 基于BERT和双向LSTM的微博评论倾向性分析研究显示文摘[目的/意义]微博是一种重要的社会媒体,微博评论反映了网民对公共事件的态度和意见,对微博评论进行即时的倾向性分析对于网络舆情管控具有重要意义。[方法/过程]针对传统语言模型在词向量表示中无法解决词语多义性的问题,提出采用BERT模型来提取微博评论文本的语义特征表示,然后将获取的词语语义特征输入到双向LSTM模型中进行倾向性分类。[结果/结论]选取新浪微博评论数据进行了对比实验。实验结果表明,提出的基于BERT和双向LSTM的微博评论倾向性分类模型的F1值达到91.45%,优于其他主流的倾向性分析模型,证明了方法的有效性。[局限]双向LSTM模型训练的计算复杂度较高,BERT模型只能依赖于谷歌发布的预训练模型。 | 谌志群 鞠婷 | 2020 | 情报理论与实践2020，43，8： | 34 |
| 4 | 基于BERT模型的中文医学文献分类研究显示文摘【目的】探究BERT中文基础模型(BERT-Base-Chinese)和BERT中文医学预训练模型(BERT-RePretraining-Med-Chi)在中文医学文献分类上的分类效果及差异原因。【方法】以34万篇中文医学文献摘要为医学文本预训练语料,分别以16 000和32 000条中文医学文献摘要为分类的训练样本,并以另外的3 200条摘要作为测试样本,利用BERT的两个模型进行中文医学文献分类研究,以SVM模型作为对比基准。【结果】BERT的两种模型在分类效果上均优于SVM模型,两种模型的F1值均比SVM模型高出0.05左右;BERT-RePretraining-Med-Chi模型在两种样本量下的F1值分别达到0.839 0和0.860 7,均为三者中最好的分类效果。【局限】仅对中图分类号R下的16个类别进行分类研究,其余4个类别因数据量过少等原因而未纳入分类体系中。【结论】BERT-Re-Pretraining-Med-Chi模型能够显著提升医学文献的分类效果;基于BERT的深度学习方法在多类别大规模训练集下更能体现其分类的优越性。 | 赵旸 张智雄 刘欢 丁良萍 | 2020 | 数据分析与知识发现2020，4，8： | 25 |
| 5 | 基于BERT的文本情感分析显示文摘现有情感分类模型大都采用Word2Vec,GloVe(global vectors)等获取文本的词向量表示,忽略了词的上下文关系,针对此问题,提出基于BERT(bidirectional encoder representations from transformers)预训练语言模型与双向长短时记忆网络(bidirectional long short-term memory network,BLSTM)及注意力机制相结合的神经网络模型进行文本情感分析.首先通过BERT预训练模型获取包含上下文语义信息的词向量,然后利用双向长短时记忆网络提取上下文相关特征进行深度学习,最后引入注意力机制对提取出的信息分配权重,突出重点信息,进行文本情感分类.在SST(stanford sentiment treebank)数据集上测试准确率可达到88.91%,表明该方法较其他方法在分类准确率上有一定程度的提高. | 刘思琴 冯胥睿瑞 | 2020 | 信息安全研究2020，6，3： | 22 |
| 6 | 基于BERT与Bi-LSTM融合注意力机制的中医病历文本的提取与自动分类显示文摘中医逐渐成为热点,中医病历文本中包含着巨大而宝贵的医疗信息。而在中医病历文本挖掘和利用方面,一直面临中医病历文本利用率低、抽取有效信息并对信息文本进行分类的难度大的问题。针对这一问题,研究一种对中医病历文本的提取与自动分类的方法具有很大的临床价值。文中尝试提出一种基于BERT+Bi-LSTM+Attention融合的病历短文本分类模型。使用BERT预处理获取短文本向量作为模型输入,对比BERT与word2vec模型的预训练效果,对比Bi-LSTM+Attention和LSTM模型的效果。实验结果表明,BERT+Bi-LSTM+Attention融合模型在中医病历文本的提取和分类方面达到了最高的AverageF1值(即89.52%)。通过对比发现,BERT较word2vec模型的预训练效果有显著的提升,且Bi-LSTM+Attention模型较LSTM模型的效果有显著的提升,因此提出的BERT+Bi-LSTM+Attention融合模型在病历文本抽取与分类上有一定的医学价值。 | 杜琳 曹东 林树元 瞿溢谦 叶辉 | 2020 | 计算机科学2020，47，S02： | 23 |
| 7 | 加入自注意力机制的BERT命名实体识别模型显示文摘命名实体识别属于自然语言处理领域词法分析中的一部分,是计算机正确理解自然语言的基础。为了加强模型对命名实体的识别效果,本文使用预训练模型BERT(bidirectional encoder representation from transformers)作为模型的嵌入层,并针对BERT微调训练对计算机性能要求较高的问题,采用了固定参数嵌入的方式对BERT进行应用,搭建了BERT-BiLSTM-CRF模型。并在该模型的基础上进行了两种改进实验。方法一,继续增加自注意力(self-attention)层,实验结果显示,自注意力层的加入对模型的识别效果提升不明显。方法二,减小BERT模型嵌入层数。实验结果显示,适度减少BERT嵌入层数能够提升模型的命名实体识别准确性,同时又节约了模型的整体训练时间。采用9层嵌入时,在MSRA中文数据集上F1值提升至94.79%,在Weibo中文数据集上F1值达到了68.82%。 | 毛明毅 吴晨 钟义信 陈志成 | 2020 | 智能系统学报2020，15，4： | 22 |
| 8 | 微博情感分析综述显示文摘随着微博用户数量的快速增长,微博中所携带的一些情感和观点对社会的影响越来越大,尤其是一些涉及到公众人身安全的负面情绪,可能会影响到社会的稳定,因此进行微博情感分析意义重大。微博情感分析的内容包括微博语料的获取、微博语料的预处理和情感分析方法等,常用的情感分析方法有基于情感词典的方法、基于机器学习的方法和基于深度学习的方法。随着注意力机制在NLP领域的广泛使用,很多研究者开始将注意力机制融合到深度学习模型中进行情感分析,这使得情感分析的准确率得到了很大的提升。谷歌提出的BERT模型本质上也是基于注意力机制实现的,BERT模型在情感分析领域取得了突破性的进展。 | 王春东 张卉 莫秀良 杨文军 | 2022 | 计算机工程与科学2022，44，1： | 22 |
| 9 | 基于Bert-BiLSTM-CRF的中医文本命名实体识别显示文摘命名实体识别是中医智能化发展的基石。针对中医文本数据挖掘中实体识别困难的问题,构建了基于Bert-BiLSTM-CRF的命名实体识别模型。通过Bert模型在字向量的构建过程中融入注意力机制,利用BiLSTM进行特征提取,并将特征输入CRF模型之中完成最终的训练。实验选取《伤寒论》作为训练集以及测试集,划分症状、疾病名称、方剂、中药名、时间5类实体。测试集上的结果表明,该模型的准确率为96.94%,召回率为93.14%,F值为95%,命名实体识别精度较高,可以将该模型用于实际问题中。 | 屈倩倩 阚红星 | 2021 | 电子设计工程2021，29，19： | 20 |
| 10 | 基于BERT的古文断句研究与应用显示文摘古汉语与现代汉语在句法、用词等方面存在巨大的差异。古文句与句之间通常缺少分隔和标点符号,现代读者难以理解。人工断句有助于缓解上述困境,但需要丰富的专业知识,耗时耗力。计算机自动断句有助于加速对古文的准确理解,从而促进古籍研究以及中华文化的弘扬。除自动断句,该文还尝试了自动标点任务。该方案自行预训练古汉语BERT(Bidirectional Encoder Representations from Transformers)模型,并针对具体任务进行微调适配。实验表明,该方案优于目前深度学习中的主流序列切割BiLSTM+CRF模型,在单一文本类别和复合文本类别测试集上的F1值分别达到89.97%和91.67%。更重要的是,模型表现出了很强的泛化能力,未参与任何训练的《道藏》测试集上的F1值依然可达到88.76%。自动标点任务仅使用少量较为粗糙的带标点文本训练集时F1值为70.40%,较BiLSTM+CRF模型提升12.15%。两任务结果均达到当前最佳,相关代码和模型已经开源发布。 | 俞敬松 魏一 张永伟 | 2019 | 中文信息学报2019，33，11： | 18 |
| 11 | BERT-TECNN模型的文本分类方法研究显示文摘由于Bert-base,Chinese预训练模型参数巨大,在做分类任务微调时内部参数变化较小,易产生过拟合现象,泛化能力弱,且该模型是以字为单位进行的预训练,包含词信息量较少。针对这些问题,提出了BERT-TECNN模型,模型使用Bert-base,Chinese模型作为动态字向量模型,输出包含深度特征信息的字向量,Transformerencoder层再次对数据进行多头自注意力计算,提取特征信息,以提高模型的泛化能力,CNN层利用不同大小卷积核,捕捉每条数据中不同长度词的信息,最后应用softmax进行分类。该模型与Word2Vec+CNN、Word2Vec+BiLSTM、Elmo+CNN、BERT+CNN、BERT+BiLSTM、BERT+Transformer等深度学习文本分类模型在三种数据集上进行对比实验,得到的准确率、精确率、召回率、F1测度值均为最高。实验表明该模型有效地提取了文本中字词的特征信息,优化了过拟合问题,提高了泛化能力。 | 李铁飞 生龙 吴迪 | 2021 | 计算机工程与应用2021，57，18： | 18 |
| 12 | 基于BERT-CNN的电商评论情感分析显示文摘在对电商评论进行情感分析中,为了使提取的情感特征能够更多地捕获句子中的情感信息,提出了一种基于预训练的Bidirectional Encoder Representations from Transformers(BERT)网络与卷积神经网络(CNN)相结合的BERT-CNN网络模型。首先利用BERT结构表达句子语义作为文本向量,然后通过卷积神经网络抽取句子的局部特征,通过在有标签的京东某手机评论数据集上的实验,表明该方法在该领域具有良好的性能。 | 史振杰 董兆伟 庞超逸 张百灵 孙立辉 | 2020 | 智能计算机与应用2020，10，2： | 16 |
| 13 | 基于BERT的常见作物病害问答系统问句分类显示文摘问句分类作为问答系统的关键模块,也是制约问答系统检索效率的关键性因素。针对农业问答系统中用户问句语义信息复杂、差异大的问题,为了满足用户快速、准确地获取常见作物病害问句的分类结果的需求,构建了基于BERT的常见作物病害问答系统的问句分类模型。首先,对问句数据集进行预处理;然后,分别构建双向长短期记忆(Bi-LSTM)自注意力网络分类模型、Transformer分类模型和基于BERT的微调分类模型,并利用三种模型提取问句的信息,进行问句分类模型的训练;最后,对基于BERT的微调分类模型进行测试,同时探究数据集规模对分类结果的影响。实验结果表明,基于BERT的微调常见作物病害问句分类模型的分类准确率、精确率、召回率、精确率和召回率的加权调和平均值分别高于双向长短期记忆自注意力网络模型和Transformer分类模型2~5个百分点,在常见作物病害问句数据集(CCDQD)上能获得最高准确率92.46%,精确率92.59%,召回率91.26%,精确率和召回率的加权调和平均值91.92%。基于BERT的微调分类模型具有结构简单、训练参数少、训练速度快等特点,并能够高效地对常见作物病害问句准确分类,可以作为常见作物病害问答系统的问句分类模型。 | 杨国峰 杨勇 | 2020 | 计算机应用2020，40，6： | 16 |
| 14 | 基于BERT的多特征融合农业命名实体识别显示文摘命名实体识别是农业文本信息抽取的重要环节,针对实体识别过程中局部上下文特征缺失、字向量表征单一、罕见实体识别率低等问题,提出一种融合BERT(Bidirectional Encoder Representations from Transformers,转换器的双向编码器表征量)字级特征与外部词典特征的命名实体识别方法。通过BERT预训练模型,融合左右两侧语境信息,增强字的语义表示,缓解一词多义的问题;自建农业领域词典,引入双向最大匹配策略,获取分布式词典特征表示,提高模型对罕见或未知实体的识别准确率;利用双向长短时记忆(Bi-directional Long-short Term Memory,BiLSTM)网络获取序列特征矩阵,并通过条件随机场(Conditional Random Field,CRF)模型生成全局最优序列。结合领域专家知识,构建农业语料集,包含5295条标注语料,5类农业实体。模型在语料集上准确率为94.84%、召回率为95.23%、F_(1)值为95.03%。研究结果表明,该方法能够有效识别农业领域命名实体,识别精准度优于其他模型,具有明显的优势。 | 赵鹏飞 赵春江 吴华瑞 王维 | 2022 | 农业工程学报2022，38，3： | 16 |
| 15 | 融合注意力机制与BERT+BiLSTM+CRF模型的渔业标准定量指标识别显示文摘在渔业标准文本中,定量指标识别对标准内容服务具有重要的意义,针对目前常用的命名实体识别方法对渔业标准定量指标识别准确率不高的问题,该研究提出了融合注意力机制与BERT+BiLSTM+CRF(Bidirectional Encoder Representations from Transformers+Bi-directional Long Short-Term Memory+Conditional Random Field,来自转换器的双向编码器表征量+双向长短时记忆网络+条件随机场)模型的渔业标准定量指标识别方法,该方法将渔业标准中定量指标拆分为指标名、指标值、单位、限制词4类实体,通过分析渔业标准语料的特点发现位置信息对指标名等实体识别效果具有重要影响,首先利用BERT模型中位置向量信息提高指标名等实体的识别效果,其次采用BiLSTM(Bi-directional Long Short-Term Memory,双向长短时记忆网络)模型学习渔业标准文本定量指标中长序列语义特征,然后再将注意力机制与BERT+BiLSTM模型进行融合以解决长序列语义稀释问题,最后利用CRF(Conditional Random Field,条件随机场)层得到预测序列标签。试验结果表明,融合注意力机制与BERT+BiLSTM+CRF模型的渔业标准定量指标识别准确率为94.51%、召回率为96.37%、F1值为95.43%,研究表明,该方法解决了渔业标准定量指标识别准确率不高的问题,可以比较准确地识别由指标名、指标值、单位、限制词组成的渔业标准定量指标,是一种有效的渔业标准定量指标识别方法,可为农业、医学、生物等其他领域定量指标命名实体识别提供新思路。 | 任媛 于红 杨鹤 刘巨升 杨惠宁 孙哲涛 张思佳 刘明剑 孙华 | 2021 | 农业工程学报2021，37，10： | 15 |
| 16 | 自然语言处理技术发展显示文摘基于神经网络和深度学习的预训练语言模型为自然语言处理技术带来了突破性发展。基于自注意力机制的Transformer模型是预训练语言模型的基础。GPT、BERT、XLNet等大规模预训练语言模型均基于Transformer模型进行堆叠和优化。认为目前依赖强大算力和海量数据的大规模预训练语言模型存在实用问题,指出轻量预训练语言模型是未来重要的发展方向。 | 王海宁 | 2022 | 中兴通讯技术2022，28，2： | 15 |
| 17 | 基于BERT的医疗电子病历命名实体识别显示文摘针对中文医疗电子病历命名实体识别中,传统的字或词向量无法很好地表示上下文语义以及传统RNN并行计算能力不足等问题,提出了一个基于BERT的医疗电子病历命名实体识别模型。该模型中的BERT预训练语言模型可以更好地表示电子病历句子中的上下文语义,迭代膨胀卷积神经网络(IDCNN)对局部实体的卷积编码有更好的识别效果,多头注意力(MHA)多次计算每个字和所有字的注意力概率以获取电子病历句子的长距离依赖。实验结果表明,BERT-IDCNN-MHA-CRF模型能够较好地识别电子病历中的医疗实体,模型的精确率、召回率和F1值相比于基线模型分别提高了1.80%,0.41%,1.11%。 | 梁文桐 朱艳辉 詹飞 冀相冰 | 2020 | 湖南工业大学学报2020，34，4： | 15 |
| 18 | 面向数字人文的古诗文本情感术语抽取与应用研究显示文摘在跨学科知识范式下,数字人文的研究范畴随着自身学科体系的拓展而不断泛化,采取关键语义技术解析文化对象中的人文内涵与情感知识对于重拾学科'人文性'与'计算性'特质具有重要意义。本文以古诗文本为例,面向汉语诗文及其鉴赏实现大规模人文情感术语的自动化抽取与分析。首先在无标注集环境下提出一种基于'冷启动'的字序列自动标引方法来获取学习语料,随后在字向量(Char2Vec)指导下将汉字特征(部首、拼音等)和BERT语言学模型分别引入机器学习与深度学习模型,并从知识发现的角度定义新术语识别规则。研究发现,将现代鉴赏融入古诗原文显著优化了情感知识的广度与深度,领域术语能够被有效标引。训练的BERT-BiLSTM-CRFs深度学习模型的效果明显优于CRFs机器学习,最佳F1与F1distinct可分别达到95.63%和85.43%;同时汉字特征的引入也有效提升了传统CRFs效果,以领域特征和基于'竖心旁''心字底'部首约束特征为最优。相较于机器学习抽取出的长篇幅新术语,深度学习能够拓展出更多寄托情感知识的新意象词。源于诗文与鉴赏的情感术语为文学信息资源的情感分析与知识服务提供了参考(人文性),基于汉字语言特征的抽取方案为中文领域自然语言处理技术的深化提供了启迪(计算性)。 | 张卫 王昊 邓三鸿 张宝隆 | 2021 | 中国图书馆学报2021，47，4： | 15 |
| 19 | 融合BERT词嵌入和注意力机制的中文文本分类显示文摘文本分类是自然语言处理的一个重要领域.近年来,深度学习的方法被广泛应用于文本分类任务中.在处理大规模的数据时,为了兼顾分类的精度和处理效率,本文使用BERT训练词向量作为嵌入层,进一步优化输入语句的词向量,然后用双层的GRU网络作为主体网络,充分提取文本的上下文特征,最后使用注意力机制,将目标语句重点突出,进行文本分类.实验证明,BERT作为嵌入层输入时,有效优化了词向量.同时,文本提出的BBGA模型具有高效的处理能力,在处理THUCNews数据集时,达到了94.34%的精确度,比TextCNN高出5.20%,比BERT;NN高出1.01%. | 孙红 陈强越 | 2022 | 小型微型计算机系统2022，43，1： | 15 |
| 20 | Masked Sentence Model Based on BERT for Move Recognition in Medical Scientific Abstracts显示文摘Purpose:Mo ve recognition in scientific abstracts is an NLP task of classifying sentences of the abstracts into different types of language units.To improve the performance of move recognition in scientific abstracts,a novel model of move recognition is proposed that outperforms the BERT-based method.Design/methodology/approach:Prevalent models based on BERT for sentence classification often classify sentences without considering the context of the sentences.In this paper,inspired by the BERT masked language model(MLM),we propose a novel model called the masked sentence model that integrates the content and contextual information of the sentences in move recognition.Experiments are conducted on the benchmark dataset PubMed 20K RCT in three steps.Then,we compare our model with HSLN-RNN,BERT-based and SciBERT using the same dataset.Findings:Compared with the BERT-based and SciBERT models,the F1 score of our model outperforms them by 4.96%and 4.34%,respectively,which shows the feasibility and effectiveness of the novel model and the result of our model comes closest to the state-of-theart results of HSLN-RNN at present.Research limitations:The sequential features of move labels are not considered,which might be one of the reasons why HSLN-RNN has better performance.Our model is restricted to dealing with biomedical English literature because we use a dataset from PubMed,which is a typical biomedical database,to fine-tune our model.Practical implications:The proposed model is better and simpler in identifying move structures in scientific abstracts and is worthy of text classification experiments for capturing contextual features of sentences.Originality/value:T he study proposes a masked sentence model based on BERT that considers the contextual features of the sentences in abstracts in a new way.The performance of this classification model is significantly improved by rebuilding the input layer without changing the structure of neural networks. | Gaihong Yu Zhixiong Zhang Huan Liu Liangping Ding | 2019 | Journal of Data and Information Science2019，4，4： | 14 |
您所在的机构暂未开通此部分的功能，请联系管理员