自然語言表示學(xué)習(xí)――文本語義向量化表示研究與應(yīng)用

第1章 緒論\t1
1．1 研究背景及意義\t1
1．2 基本定義及問題描述\t3
第2章 語義表示學(xué)習(xí)的基礎(chǔ)信息\t6
2．1 發(fā)展歷史\t6
2．2 實(shí)際應(yīng)用\t8
第3章 分布表示方法\t12
3．1 概述\t12
3．2 基于矩陣分解的方法\t15
3．3 基于神經(jīng)網(wǎng)絡(luò)的方法\t19
3．4 方法總結(jié)與對(duì)比\t26
第4章 預(yù)訓(xùn)練語言模型\t27
4．1 ELMo模型\t27
4．2 GPT模型\t28
4．3 BERT模型\t29
4．4 RoBERTa模型\t31
4．5 XLNet模型\t32
4．6 方法總結(jié)與對(duì)比\t33
第5章 增強(qiáng)關(guān)聯(lián)模式的語義表示方法\t35
5．1 引言\t35
5．2 相關(guān)工作\t37
5．3 預(yù)備知識(shí)\t39
5．3．1 基于上下文信息的語義表示模型\t39
5．3．2 關(guān)聯(lián)模式挖掘\t40
5．4 增強(qiáng)關(guān)聯(lián)模式的語義表示模型\t41
5．4．1 基于CBOW的APWE模型\t42
5．4．2 基于Skip-gram的APWE模型\t43
5．5 實(shí)驗(yàn)\t44
5．5．1 對(duì)比方法\t45
5．5．2 實(shí)驗(yàn)I：文本分類\t45
5．5．3 實(shí)驗(yàn)II：查詢?cè)~擴(kuò)展\t48
5．5．4 參數(shù)分析\t51
5．5．5 實(shí)例分析\t52
5．6 本章小結(jié)\t53
第6章 基于知識(shí)的語義向量化表示\t55
6．1 引言\t55
6．2 相關(guān)工作\t57
6．2．1 知識(shí)庫表示\t57
6．2．2 知識(shí)與文本聯(lián)合表示\t59
6．3 基于語義結(jié)構(gòu)的語義表示模型\t60
6．3．1 語義結(jié)構(gòu)定義\t60
6．3．2 SENSE模型\t61
6．4 實(shí)驗(yàn)\t63
6．4．1 對(duì)比方法\t64
6．4．2 參數(shù)設(shè)置\t65
6．4．3 任務(wù)I：詞相似度測(cè)量\t66
6．4．4 任務(wù)II：詞匯類比推理\t67
6．4．5 任務(wù)III：文本分類\t69
6．4．6 任務(wù)IV：查詢?cè)~擴(kuò)展\t71
6．5 本章小結(jié)\t73
第7章 文本分類中任務(wù)導(dǎo)向的語義表示方法\t74
7．1 引言\t74
7．2 相關(guān)工作\t76
7．3 任務(wù)導(dǎo)向的語義表示模型\t78
7．3．1 語義特征表示\t78
7．3．2 任務(wù)特征表示\t78
7．3．3 聯(lián)合表示模型及優(yōu)化\t80
7．4 實(shí)驗(yàn)\t80
7．4．1 數(shù)據(jù)集\t80
7．4．2 對(duì)比方法\t82
7．4．3 實(shí)驗(yàn)參數(shù)設(shè)置\t82
7．4．4 整體評(píng)測(cè)效果\t84
7．5 實(shí)例分析\t87
7．6 本章小結(jié)\t89
第8章 文本語義向量化表示在機(jī)器閱讀理解任務(wù)中的應(yīng)用\t90
8．1 引言\t90
8．2 機(jī)器閱讀理解\t93
8．3 機(jī)器閱讀理解基礎(chǔ)方法\t95
8．4 多粒度語義匹配的MGRC模型\t96
8．4．1 多粒度語義表示\t96
8．4．2 多粒度語義匹配\t99
8．4．3 聯(lián)合模型及其優(yōu)化\t103
8．5 實(shí)驗(yàn)\t103
8．5．1 數(shù)據(jù)集\t104
8．5．2 評(píng)測(cè)指標(biāo)及對(duì)比方法\t105
8．5．3 整體性能評(píng)測(cè)\t106
8．5．4 參數(shù)分析\t109
8．5．5 模塊有效性驗(yàn)證\t109
8．5．6 實(shí)例分析\t113
8．6 本章小結(jié)\t115
第9章 總結(jié)與展望\t116
9．1 本書總結(jié)\t116
9．2 未來研究方向展望\t117
參考文獻(xiàn)\t119