本方向共有研究人員24名，其中江蘇省”333工程”、“六大人才高峰”、“青藍工程”等省級高層次人才5人次，十大靠谱的菠菜网青年學術骨幹2人。針對人工智能、多媒體計算等前沿技術問題，面向智能裝備與公共安全應用領域，開展基礎理論和應用技術研究，主要圍繞大規模音視頻内容理解分析、圖像語義建模與分析、視覺語音情感分析、場景建模與深度圖像處理等方面的理論與方法進行研究。在視頻概念檢測、自然環境下視覺語音内容分析、三維建模等方法上已形成特色。

近年來，承擔國家自然科學重點、面上、青年基金13項，省部級項目10多項。主持研究成果獲江蘇省科技進步三等獎3項、機械工業聯合會科學技術二等獎、三等獎2項。在IEEE/ACM Trans.、CVPR、 AAAI、ICCV、ACM MM等國内外權威雜志和會議上發表論文100餘篇。獲授權發明專利30餘項。

近五年主要承擔的國家級項目：

1） 聯合基金項目/重點➿⚽✨➿項目/NSFC-通用技術基礎研究聯合基金，“複雜環境下語音數據的說話人識别及關鍵詞關聯檢索”，291萬，2019.01-2022.12

2） 國家自然學科學基金（面上項目），“面向複雜環境的視覺語音群體情感感知與推理” ，68萬，2022.01-2025.12

3） 國家自然學科學基金（面上項目），“面向城市視覺感知分析的可解釋深度神經網絡研究”，66萬，2020.01-2023.12

4） 國家自然學科學基金（面上項目），“基于語義概念深度挖掘的視頻複雜事件檢測方法研究（61672268）”, 75萬，2017.01-2020.12

5） 國家自然學科學基金（面上項目），“面向大規模視覺語音信号的複雜情感發現與分析方法研究（61672267）”, 74萬，2017.01-2020.12

6） 國家自然學科學基金（面上項目），“基于稀疏表示和超圖的視頻事件語義分析方法研究（61170126）”, 55萬，2012.01-2015.12

7） 國家自然學科學基金（面上項目），“面向移動視頻點播的内容分析技術研究（61572240）”, 76萬，2016.01-2019.12

8） 國家自然學科學基金（青年項目），“面向領域自适應語義分割的對比式表征學習研究”，30萬，2023.01-2025.12

9） 國家自然學科學基金（青年項目），“基于語義知識遷移的弱監督多輸出學習研究”，28萬，2021.01-2023.12

10） 國家自然學科學基金（青年項目），“面向複雜事件分析的腦機模式協作循環神經網絡研究（61806086）”, 28萬，2019.01-2021.12

11） 國家自然學科學基金（青年項目），“面向大規模人臉标注的弱監督多視角譜聚類研究（61906077）”, 30萬，2020.01-2022.12

12） 國家自然學科學基金（青年項目），“基于全局局部聯合感知和漸進分組量化技術的多描述編碼研究（61601202）”, 24.9萬，2017.01-2019.12

13） 國家自然學科學基金（青年項目），“基于數據驅動和語義建模的多攝像機拓撲推演與行人再識别研究（61602215）”, 25萬，2017.01-2019.12