人工智能部楊小渝研究員博士生鄭巳明于近期取得多項(xiàng)學(xué)術(shù)成果，相關(guān)工作發(fā)表于Cell Press旗下期刊Patterns和Photonics Research。
原位電子顯微技術(shù) (EM) 與超快探測(cè)器的發(fā)展為探索材料的動(dòng)力學(xué)打開(kāi)了一扇新的大門(mén)，然而，這也對(duì)透射電鏡大數(shù)據(jù)壓縮和存儲(chǔ)提出了巨大的挑戰(zhàn)。開(kāi)發(fā)一種高效高保真的大數(shù)據(jù)壓縮策略對(duì)于推動(dòng)透射電子技術(shù)的廣泛應(yīng)用具有重要意義。本項(xiàng)工作發(fā)表于在Cell Press旗下期刊Patterns，題為“Super-compression of large electron microscopy time series by deep compressive sensing learning”的文章。在這一工作中， 作者結(jié)合深度學(xué)習(xí)（deep learning）和時(shí)間壓縮感知（temporal compressive sensing）提出一種新穎的 EM 大數(shù)據(jù)壓縮策略。具體而言，時(shí)間壓縮感知 (TCS) 首先用作編碼器，將多個(gè)幀壓縮為單幀測(cè)量，顯著降低了帶寬和數(shù)據(jù)傳輸、存儲(chǔ)的內(nèi)存要求。然后構(gòu)建端到端的深度學(xué)習(xí)網(wǎng)絡(luò)，以極高的速度從單幀測(cè)量中重建原始圖像系列。由于深度學(xué)習(xí)框架的壓縮效率和內(nèi)置去噪能力比傳統(tǒng)的 JPEG 壓縮顯著提高，因此可以高保真地重建壓縮比高達(dá)30的原位系列圖像或視頻。使用這一策略可以節(jié)省大量的編碼能力、內(nèi)存和傳輸帶寬。這一技術(shù)將有望在電鏡和其他成像技術(shù)的大數(shù)據(jù)存儲(chǔ)中獲得廣泛應(yīng)用。
圖1. 用于大數(shù)據(jù)電子顯微鏡 (EM) 的時(shí)間壓感知-深度學(xué)習(xí)(TCS-DL) 框架結(jié)構(gòu)
真實(shí)場(chǎng)景光譜豐富。自攝影誕生以來(lái)，捕捉顏色以及光譜信息一直是一個(gè)核心問(wèn)題。我們提出了一種即插即用 (PnP) 方法，該方法使用基于深度學(xué)習(xí)的降噪器作為光譜快照壓縮成像 (SCI) 的正則化先驗(yàn)。 我們的方法有效的權(quán)衡了壓縮圖像重建的質(zhì)量和速度，并且可以靈活地用于不同的壓縮編碼機(jī)制。 這為在一個(gè)快照中捕獲和恢復(fù)多光譜或高光譜信息鋪平了道路，這可能會(huì)激發(fā)遙感、生物醫(yī)學(xué)科學(xué)和材料科學(xué)中有趣的應(yīng)用。相關(guān)文章發(fā)表于Photonics Research。
圖2. 典型光譜 SCI 系統(tǒng)的圖像形成過(guò)程，即 SD-CASSI 和使用所提出的深度即插即用 (PnP) 先驗(yàn)算法的重建過(guò)程
參考文獻(xiàn)：
1.Siming Zheng, Yang Liu, Ziyi Meng, Mu Qiao, Zhishen Tong, Xiaoyu Yang, Shensheng Han, and Xin Yuan, "Deep plug-and-play priors for spectral snapshot compressive imaging," Photon. Res. 9, B18-B29 (2021)
2.Zheng S, Wang C, Yuan X, et al. Super-compression of large electron microscopy time series by deep compressive sensing learning[J]. Patterns, 2021: 100292.