人類活動(dòng)識(shí)別（HAR）領(lǐng)域在準(zhǔn)確分類和檢測方面仍然面臨關(guān)鍵挑戰(zhàn)。準(zhǔn)確識(shí)別活動(dòng)背后的核心思想是協(xié)助支持物聯(lián)網(wǎng)（IoT）的智能監(jiān)控系統(tǒng)。大數(shù)據(jù)部外籍博士生Fayaz A. Dharejo在導(dǎo)師周園春研究員等的指導(dǎo)下提出了一個(gè)基于Fuzzy的物聯(lián)網(wǎng)應(yīng)用中時(shí)序活動(dòng)識(shí)別框架，成果發(fā)表在國際權(quán)威期刊IEEE Transactions on Fuzzy Systems上。IEEE Transactions on Fuzzy Systems期刊致力于發(fā)表工程技術(shù)領(lǐng)域具有重要理論意義和應(yīng)用價(jià)值的研究成果，是工程控制領(lǐng)域的國際頂級(jí)期刊，2021年中科院JCR分區(qū)為一區(qū)（top期刊）。
這項(xiàng)工作基于聯(lián)合使用離散小波變換（DWT）和遞歸神經(jīng)網(wǎng)絡(luò)（RNN）來準(zhǔn)確分類和檢測人類活動(dòng)。由于關(guān)于HAR利用3D CNN提取空間信息會(huì)增加計(jì)算負(fù)擔(dān)，最終使用3D-DWT方法替換來提取特征，以通過1D-DWT的三個(gè)步驟執(zhí)行，反映人類行為的時(shí)空特征。鑒于這些功能，RNN 為每個(gè)視頻剪輯生成一個(gè)輸出標(biāo)簽，負(fù)責(zé)滿足輸出序列中緊密預(yù)測之間的長期時(shí)間一致性。值得注意的是，通過 3D-DWT 提取特征實(shí)質(zhì)上是恢復(fù)活動(dòng)的多個(gè)角度。許多HAR技術(shù)根據(jù)圖像幀的姿勢來區(qū)分活動(dòng)，而不是學(xué)習(xí)時(shí)間序列中姿勢之間的過渡關(guān)系，從而導(dǎo)致精度下降。為了解決這個(gè)問題，這項(xiàng)工作設(shè)計(jì)了一種新穎的基于排名的模糊方法，該方法通過基于置信度分?jǐn)?shù)對活動(dòng)的概率進(jìn)行排名來精確地分離活動(dòng)，在ActivityNet數(shù)據(jù)集上的平均mAP為0.8012 mAP，并且在benchmark數(shù)據(jù)集上優(yōu)于baseline和其他先進(jìn)的方法。（撰稿：董昊）
相關(guān)成果：Fayaz Ali Dharejo, Muhammad Zawish, Yunchun Zhou, etc. FuzzyAct: A Fuzzy-based Framework for Temporal Activity Recognition in IoT Applications using RNN and 3D-DWT. IEEE Transactions on Fuzzy Systems.2022
圖1. 一個(gè)基于Fuzzy的物聯(lián)網(wǎng)應(yīng)用中時(shí)序活動(dòng)識(shí)別框架--FuzzyAct框架
圖2. 3D-DWT濾波器的分解算法