国产欧美精品一区二区,中文字幕专区在线亚洲,国产精品美女网站在线观看,艾秋果冻传媒2021精品,在线免费一区二区,久久久久久青草大香综合精品,日韩美aaa特级毛片,欧美成人精品午夜免费影视

結合Bert與Bi-LSTM的英文文本分類(lèi)模型
DOI:
CSTR:
作者:
作者單位:

作者簡(jiǎn)介:

通訊作者:

中圖分類(lèi)號:

基金項目:

國家自然科學(xué)(61502290)


English Text Classification Model Combining Bert and Bi-LSTM
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 圖/表
  • |
  • 訪(fǎng)問(wèn)統計
  • |
  • 參考文獻
  • |
  • 相似文獻
  • |
  • 引證文獻
  • |
  • 資源附件
  • |
  • 文章評論
    摘要:

    作為自然語(yǔ)言處理技術(shù)中的底層任務(wù)之一,文本分類(lèi)任務(wù)對于上游任務(wù)有非常重要的輔助價(jià)值。而隨著(zhù)最近幾年深度學(xué)習廣泛應用于NLP中的上下游任務(wù)的趨勢,深度學(xué)習在下游任務(wù)文本分類(lèi)中性能不錯。但是目前的基于深層學(xué)習網(wǎng)絡(luò )的模型在捕捉文本序列的長(cháng)距離型上下文語(yǔ)義信息進(jìn)行建模方面仍有不足,同時(shí)也沒(méi)有引入語(yǔ)言信息來(lái)輔助分類(lèi)器進(jìn)行分類(lèi)。針對這些問(wèn)題,提出了一種新穎的結合Bert與Bi-LSTM的英文文本分類(lèi)模。該模型不僅能夠通過(guò)Bert預訓練語(yǔ)言模型引入語(yǔ)言信息提升分類(lèi)的準確性,還能基于Bi-LSTM網(wǎng)絡(luò )去捕捉雙向的上下文語(yǔ)義依賴(lài)信息對文本進(jìn)行顯示建模。具體而言,該模型主要有輸入層、Bert預訓練語(yǔ)言模型層、Bi-LSTM層以及分類(lèi)器層搭建而成。實(shí)驗結果表明,與現有的分類(lèi)模型相比較,所提出的Bert-Bi-LSTM模型在MR數據集、SST-2數據集以及CoLA數據集測試中達到了最高的分類(lèi)準確率,分別為86.2%、91.5%與83.2%,大大提升了英文文本分類(lèi)模型的性能。

    Abstract:

    As a type of downstream natural language processing tasks, the text classification has very vital auxiliary value for the upstream task. With the trend that deep learning is widely used in the upstream and downstream tasks of NLP in recent years, deep neural networks are also applied to text classification tasks. However, the current model based on convolutional neural network cannot model the context semantic information of the text sequence well, and it also does not introduce language information to assist the classifier to classify. To solve these problems, a novel English text classification model combining Bert and Bi-LSTM is proposed. The proposed model can not only boost the performance of classification by introducing language information into Bert pre training language model, but also capture bi-directional context semantic dependency information based on Bi-LSTM network to display and model text. Specifically, the model is mainly composed of input layer, Bert pre training language model layer, Bi-LSTM layer and classifier layer. Compared with the baseline models, The Extensive experimental results demonstrate that the proposed Bert-Bi-LSTM model achieves the highest classification accuracy in MR dataset, sst-2 dataset and CoLA dataset with 86.2%, 91.5% and 83.2% respectively, which greatly improves the performance of the English text classification model.

    參考文獻
    相似文獻
    引證文獻
引用本文

張衛娜.結合Bert與Bi-LSTM的英文文本分類(lèi)模型計算機測量與控制[J].,2023,31(4):213-218.

復制
分享
文章指標
  • 點(diǎn)擊次數:
  • 下載次數:
  • HTML閱讀次數:
  • 引用次數:
歷史
  • 收稿日期:2022-08-27
  • 最后修改日期:2022-09-27
  • 錄用日期:2022-09-27
  • 在線(xiàn)發(fā)布日期: 2023-04-24
  • 出版日期:
文章二維碼
栾城县| 万全县| 开原市| 夏津县| 沭阳县| 岳阳县| 常州市| 绥宁县| 孝义市| 托克逊县| 陆良县| 宜兰市| 玉树县| 芦溪县| 东乡县| 通辽市| 四会市| 靖安县| 鄢陵县| 理塘县| 班玛县| 象州县| 怀集县| 若尔盖县| 万盛区| 娄底市| 龙州县| 明溪县| 磐安县| 海城市| 敦化市| 塘沽区| 南陵县| 屏山县| 和静县| 左权县| 阿鲁科尔沁旗| 上蔡县| 定日县| 商丘市| 乌苏市|