123,123

內(nèi)容簡(jiǎn)介

　　深度學(xué)習(xí)是人工智能領(lǐng)域無(wú)法避開(kāi)的課題之一，也是比較強(qiáng)大的方法之一。很多從事算法工作或相關(guān)工作的人，或多或少都在應(yīng)用深度學(xué)習(xí)方法解決相關(guān)領(lǐng)域的問(wèn)題。本書(shū)針對(duì)深度學(xué)習(xí)知識(shí)做進(jìn)階性探討。通過(guò)11章內(nèi)容，對(duì)卷積網(wǎng)絡(luò)、新型結(jié)構(gòu)、注意力機(jī)制、模型壓縮、自監(jiān)督學(xué)習(xí)、目標(biāo)檢測(cè)中的高級(jí)技巧、無(wú)監(jiān)督學(xué)習(xí)、Transformer高級(jí)篇，以及圖神經(jīng)網(wǎng)絡(luò)和元學(xué)習(xí)進(jìn)行了深入的探討，最后對(duì)深度學(xué)習(xí)的未來(lái)發(fā)展進(jìn)行了展望。

作者簡(jiǎn)介

　　翟中華清華大學(xué)經(jīng)管學(xué)院《創(chuàng)新創(chuàng)業(yè)實(shí)驗(yàn)室》實(shí)踐項(xiàng)目指導(dǎo)老師、北京洪策元?jiǎng)?chuàng)智能科技有限公司CEO、AI火箭營(yíng)首席講師。畢業(yè)于清華大學(xué)，長(zhǎng)期從事機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等方面的工作，先后在互聯(lián)網(wǎng)、互聯(lián)網(wǎng)金融等行業(yè)公司主持技術(shù)工作，曾在互聯(lián)網(wǎng)征信、大數(shù)據(jù)等行業(yè)公司任技術(shù)總監(jiān)。在AI火箭營(yíng)講授的課程《深度學(xué)習(xí)理論與Pytorch實(shí)踐》廣受好評(píng)。自ChatGPT發(fā)布以來(lái)，積極布局GPT技術(shù)與應(yīng)用，已在國(guó)外先進(jìn)開(kāi)源模型基礎(chǔ)上訓(xùn)練中文自研模型，開(kāi)發(fā)了智能客服、智能律師助手、智能問(wèn)診助理等行業(yè)大模型應(yīng)用。孫玉龍科大訊飛工程院高級(jí)算法工程師（算法工程序列），本科畢業(yè)于華東理工大學(xué)統(tǒng)計(jì)專(zhuān)業(yè)，具備超過(guò)10年的專(zhuān)業(yè)領(lǐng)域從業(yè)經(jīng)驗(yàn)。曾參與星火大模型項(xiàng)目的支撐工作，積累了豐富的實(shí)踐經(jīng)驗(yàn)和知識(shí)，致力于為讀者提供高價(jià)值、高質(zhì)量的作品。林宇平畢業(yè)于首都經(jīng)濟(jì)貿(mào)易大學(xué)信息管理與信息系統(tǒng)專(zhuān)業(yè)，現(xiàn)就職于《財(cái)經(jīng)》雜志社，任創(chuàng)新業(yè)務(wù)主管，負(fù)責(zé)全球投資、硬科技和科技投資相關(guān)工作。作為騰訊官方認(rèn)證的AI編程支教講師，承擔(dān)相應(yīng)教學(xué)工作。曾任工業(yè)和信息化部APEC中小企業(yè)信息化促進(jìn)中心副研究員。對(duì)計(jì)算機(jī)科學(xué)、自然語(yǔ)言處理基礎(chǔ)理論與實(shí)踐及教學(xué)方法有獨(dú)到見(jiàn)解。

圖書(shū)目錄

第1章卷積網(wǎng)絡(luò) 1
1.1 轉(zhuǎn)置卷積 2
1.1.1 概念 2
1.1.2 運(yùn)算過(guò)程 2
1.1.3 應(yīng)用場(chǎng)景 5
1.2 空洞卷積 7
1.2.1 概念 7
1.2.2 工作原理 8
1.2.3 應(yīng)用場(chǎng)景 10
1.3 深度可分離卷積 11
1.3.1 概念 11
1.3.2 工作原理 11
1.3.3 應(yīng)用場(chǎng)景 15
1.4 三維卷積 15
1.4.1 概念 15
1.4.2 工作原理 16
1.4.3 應(yīng)用場(chǎng)景 19
第2章新型結(jié)構(gòu) 20
2.1 殘余連接 20
2.2 ResNeXt原理及架構(gòu) 23
2.3 FCN原理及架構(gòu) 28
2.4 U-Net原理及架構(gòu) 32
2.5 FPN原理及架構(gòu) 36
第3章注意力機(jī)制 43
3.1 注意力機(jī)制的生物學(xué)原理及數(shù)學(xué)本質(zhì) 43
3.2 應(yīng)用于RNN的注意力機(jī)制 48
3.3 自注意力的數(shù)學(xué)支撐：像素間的協(xié)方差 53
3.4 自注意力機(jī)制的直觀展示及舉例 58
3.5 Transformer中的注意力機(jī)制 60
3.6 擠壓激勵(lì)網(wǎng)絡(luò) 66
3.7 Transformer編碼器代碼 69
3.8 Transformer詞嵌入中融入位置信息 77
第4章模型壓縮 84
4.1 模型壓縮的必要性及常用方法 84
4.2 修剪深度神經(jīng)網(wǎng)絡(luò) 87
4.3 模型量化 90
4.4 知識(shí)蒸餾 96
4.4.1 知識(shí)蒸餾的實(shí)現(xiàn)步驟 97
4.4.2 軟目標(biāo)的作用 97
4.4.3 蒸餾“溫度” 100
4.4.4 特征蒸餾 102
第5章自監(jiān)督學(xué)習(xí) 105
5.1 什么是自監(jiān)督學(xué)習(xí) 105
5.2 Bert中的自監(jiān)督學(xué)習(xí) 106
第6章目標(biāo)檢測(cè)中的高級(jí)技巧 110
6.1 特征融合 110
6.2 DenseNet與ResNet 111
6.3 晚融合及特征金字塔網(wǎng)絡(luò) 115
6.4 YOLOv3中的三級(jí)特征融合 118
6.5 通過(guò)多尺度特征圖跳過(guò)連接改進(jìn)SSD方法 120
第7章無(wú)監(jiān)督學(xué)習(xí) 123
第8章 Transformer高級(jí)篇 125
8.1 計(jì)算機(jī)視覺(jué)中的Transformer 125
8.1.1 什么是ViT 125
8.1.2 ViT詳解 127
8.2 DeiT：以合理的方式訓(xùn)練ViT 129
8.3 金字塔視覺(jué)Transformer 131
8.3.1 PVT整體架構(gòu) 132
8.3.2 SRA的實(shí)現(xiàn) 133
8.3.3 PVT的改進(jìn) 134
8.4 Swin Transformer：使用“移動(dòng)窗口”的分層ViT 136
8.5 視覺(jué)Transformer的自監(jiān)督訓(xùn)練：DINO 140
8.5.1 DINO架構(gòu) 140
8.5.2 中心化和“教師”網(wǎng)絡(luò)權(quán)重更新 142
8.5.3 DINO代碼實(shí)踐偽碼和效果展示 142
8.6 縮放視覺(jué)Transformer 145
8.7 一些有趣的進(jìn)展 146
8.7.1 替代自注意力機(jī)制 147
8.7.2 多尺度視覺(jué)Transformer（MViT） 149
8.7.3 完全基于Transformer的視頻理解框架 151
8.7.4 語(yǔ)義分割中的ViT（SegFormer） 152
8.7.5 醫(yī)學(xué)成像中的ViT 156
第9章圖神經(jīng)網(wǎng)絡(luò) 160
9.1 圖數(shù)據(jù) 161
9.1.1 圖像作為圖數(shù)據(jù) 162
9.1.2 文本作為圖數(shù)據(jù) 162
9.1.3 天然的圖數(shù)據(jù) 163
9.2 圖上的預(yù)測(cè)任務(wù) 165
9.3 圖神經(jīng)網(wǎng)絡(luò)構(gòu)建應(yīng)用 168
9.3.1 最簡(jiǎn)單的GNN 168
9.3.2 通過(guò)聚合信息進(jìn)行GNN預(yù)測(cè) 169
9.3.3 在圖的各屬性之間傳遞消息 171
9.3.4 學(xué)習(xí)邊緣表示 172
9.3.5 添加全局表示 172
第10章元學(xué)習(xí) 174
10.1 什么是元學(xué)習(xí) 174
10.2 機(jī)器學(xué)習(xí)與元學(xué)習(xí) 175
10.2.1 機(jī)器學(xué)習(xí)簡(jiǎn)介 175
10.2.2 元學(xué)習(xí)簡(jiǎn)介 177
10.2.3 機(jī)器學(xué)習(xí)與元學(xué)習(xí) 181
10.3 模型無(wú)關(guān)的元學(xué)習(xí)：MAML 183
10.3.1 MAML簡(jiǎn)介 183
10.3.2 MAML特點(diǎn) 183
10.3.3 MAML為什么能夠起作用 184
參考文獻(xiàn) 186