裝備仿真人機交互旗語識別技術(shù)

1 概論
1.1 虛擬現(xiàn)實與裝備仿真
1.2 模式識別領(lǐng)域的深度神經(jīng)網(wǎng)絡
1.2.1 深度神經(jīng)網(wǎng)絡
1.2.2 典型的深度卷積神經(jīng)網(wǎng)絡模型
1.2.3 評估標準
1.3 裝備仿真人機交互接口
2 旗語識別技術(shù)
2.1 旗語信號與捕捉
2.2 動作采集與識別
2.2.1 動作采集
2.2.2 信號預處理
2.2.3 特征提取
2.2.4 分類識別
3 基于單目視覺的人體骨架提取
3.1 基于背景建模的人體輪廓檢測
3.1.1 核密度估計背景建模
3.1.2 基于相關(guān)系數(shù)的前景區(qū)域檢測
3.2 基于形態(tài)學的骨骼提取研究
3.2.1 距離變換算法
3.2.2 基于數(shù)學形態(tài)學細化方法
3.3 人體姿態(tài)骨架模型建立
3.3.1 骨架關(guān)節(jié)點模型建立
3.3.2 鏈碼遍歷骨架算法
3.4 結(jié)果分析
3.4.1 算法實現(xiàn)流程
3.4.2 測試實驗與結(jié)果
3.5 小結(jié)
4 基于深度信息的人體姿態(tài)特征提取
4.1 深度圖像原理
4.1.1 深度圖像概念
4.1.2 深度圖像的偽灰度表示
4.2 深度圖像獲取方法研究
4.2.1 深度圖像獲取方法
4.2.2 基于結(jié)構(gòu)光深度獲取優(yōu)化
4.2.3 基于結(jié)構(gòu)光的深度傳感系統(tǒng)環(huán)境分析
4.3 基于深度信息的骨架提取
4.3.1 基于深度信息的人體輪廓分割
4.3.2 基于深度信息的骨架提取
4.3.3 改進的基于深度信息骨架提取方法
4.3.4 基于深度的骨架結(jié)構(gòu)優(yōu)化
4.4 結(jié)果分析
4.4.1 基于深度信息的人體與骨架的提取效果
4.4.2 基于深度信息的骨骼節(jié)點匹配效果分析
4.5 小結(jié)
5 基于神經(jīng)網(wǎng)絡的旗語識別研究
5.1 基于空間位置的旗語識別方法
5.1.1 手臂位置的檢測
5.1.2 基于空間位置旗語的識別方法
5.2 基于深度信息的人體模型建立
5.2.1 旗語手臂運動約束
5.2.29 -DOF人體骨架模型建立
5.3 基于BP神經(jīng)網(wǎng)絡的旗語識別方法
5.3.1 神經(jīng)元
5.3.2 BP網(wǎng)絡算法原理
5.4 基于BP神經(jīng)網(wǎng)絡的旗語識別系統(tǒng)的實現(xiàn)
5.4.1 基于關(guān)鍵幀的旗語動作提取原理與方法
5.4.2 BP神經(jīng)網(wǎng)絡輸入特征的構(gòu)建
5.4.3 旗語樣本庫的建立
5.5 BP網(wǎng)絡的結(jié)構(gòu)設計優(yōu)化
5.5.1 輸入與輸出層設計
5.5.2 隱層設計
5.5.3 激勵函數(shù)選擇優(yōu)化
5.5.4 BP網(wǎng)絡的訓練流程
5.5.5 實驗結(jié)果
5.6 結(jié)果分析
5.6.1 旗語識別實驗環(huán)境設計
5.6.2 旗語動作識別實驗
5.6.3 靜/動態(tài)旗語識別結(jié)果分析
5.6.4 實驗分析
5.7 小結(jié)
6 基于可穿戴傳感器的旗語動作數(shù)據(jù)采集與處理
6.1 基于可穿戴傳感器的旗語動作采集方法
6.2 基于9軸姿態(tài)傳感器的動作信號采集流程
6.3 旗語信號采集平臺搭建
6.3.1 WT901C姿態(tài)傳感器采集設備
6.3.2 旗語信號采集平臺
6.4 旗語動作模型
6.5 一維信號檢測分割技術(shù)
6.6 基于時間序列變化點檢測的旗語信號分割模型
6.7 算法研究及相關(guān)模型建立
6.7.1 旗語動作時間序列三維采樣散點模型建立
6.7.2 基于滑動模型的時間序列類間差異度函數(shù)建立
6.7.3 差異度函數(shù)閾值模型建立
6.7.4 一維旗語信號特征函數(shù)建立
6.8 數(shù)據(jù)導入及差異度函數(shù)閾值確定
6.9 小結(jié)
7 基于融合數(shù)據(jù)的一維及二維CNN旗語識別研究
7.1 基于時間序列的一維CNN網(wǎng)絡
7.2 基于9軸旗語信號的一維CNN結(jié)構(gòu)
7.2.1 基于方位角信息解算的9軸數(shù)據(jù)融合算法
7.2.2 卷積層設置
7.2.3 激活函數(shù)
7.2.4 池化層設置
7.2.5 全連接層設置
7.3 旗語動作識別一維網(wǎng)絡訓練參數(shù)設置
7.3.1 學習率（learning rate)
7.3.2 迭代輪數(shù)（training epoch）
7.3.3 網(wǎng)絡訓練
7.4 Inception-ResNet二維卷積網(wǎng)絡模型
7.5 基于9軸旗語動作數(shù)據(jù)的Inception-ResNet網(wǎng)絡模型構(gòu)建
7.5.1 Block 1（Stem層）設置
7.5.2 基于深度可分離卷積的Block 2（Inception-ResNet層）建立
7.5.3 Block 3 Reduction-A（降維層）建立
7.5.4 Block 4 Reduction-B建立
7.5.5 整體二維CNN網(wǎng)絡結(jié)構(gòu)
7.6 C-L聯(lián)合損失函數(shù)分類模型
7.6.1 損失函數(shù)
7.6.2 常用損失函數(shù)類型及其特性分析
7.6.3 CrossEntropy-Logistic聯(lián)合損失函數(shù)
7.6.4 訓練效果對比
7.7 結(jié)果分析
7.7.1 數(shù)據(jù)集劃分
7.7.2 數(shù)據(jù)導入及實驗結(jié)果
7.7.3 基于融合數(shù)據(jù)處理的一維CNN識別結(jié)果
7.7.4 基于Inception-ResNet雙流網(wǎng)絡框架的識別結(jié)果
7.7.5 結(jié)果分析與探討
7.8 小結(jié)
參考文獻