摘要:近年來(lái)人體行為識別成為計算機視覺(jué)領(lǐng)域的一個(gè)研究熱點(diǎn),而卷積神經(jīng)網(wǎng)絡(luò )(Convolutional Neural Network,CNN)在圖像分類(lèi)和識別領(lǐng)域取得了重要突破,但是人體行為識別是基于視頻分析的,視頻包含空間域和時(shí)間域兩部分的信息。針對基于視頻的人體行為識別問(wèn)題,提出一種改進(jìn)的雙流卷積神經(jīng)網(wǎng)絡(luò )(Two-Stream CNN)模型,對于空間域,將視頻的單幀RGB圖像作為輸入,送入VGGNet_16模型;對于時(shí)間域,將多幀疊加后的光流圖像作為輸入,送入Flow_Net模型;最終將兩個(gè)模型的Softmax輸出加權融合作為輸出結果,得到一個(gè)多模型融合的人體行為識別器。基于JHMDB公開(kāi)數據庫的實(shí)驗,結果證明了改進(jìn)的雙流CNN在人體行為識別任務(wù)上的有效性。