|
我們的方案是,構造一個參考資料庫,這個資料庫裡面記錄了各種類型的扭曲場,以及對應的方向場和周期圖;新來的圖像,我們提取出它的方向場和周期圖后,與資料庫中的數據進行比較,如果有匹配的參考扭曲指紋,那麼我們認為這個新的圖像也有類似的變形,然後根據對應的變形場對它做校正。
這裡很關鍵的一步就是,參考的扭曲指紋庫是怎麼構造。我們的方法是,採集一批各種扭曲的指紋視頻,對每一段視頻,我們通過細節點追蹤的方法估計出首尾幀之間的扭曲場。我們採集了十種類型的扭曲指紋,例如向上、向下、向左、向右、各種旋轉等。
圖 45. 收集的 10 種扭曲場類型
然後利用 PCA 獲得扭曲場的統計模型。將這些模型的主成分進行合成(例如上下與左右的合成)來系統地合成大量扭曲場,用這些合成的扭曲場對正常指紋做變形,從而得到扭曲指紋,提取出這些合成扭曲指紋的方向場、周期圖,從而構造出這樣一個資料庫,這個資料庫中包含扭曲的方向場和周期圖,以及相應的合成扭曲場。
對於新輸入的扭曲指紋,提取出其方向場和周期圖后,查找資料庫中最近鄰的方向場和周期圖;再根據對應的扭曲場對輸入指紋進行扭曲較正。下面這是一個較正較為成功的例子:
圖 46. 左邊是資料庫中的指紋,右邊是對應的犯罪現場指紋,面積很小且有扭曲。當直接做識別時,在一個兩萬多人的庫中排名兩千多名;而經過校正,排名提升到第一名。
4.指紋稠密配准
對於指紋識別,過去大家只是做細節點這個層次的對應關係,而沒有考慮稠密配准。
圖 47. 基於細節點的配准效果比較差。
對於只根據細節點來對準兩個指紋(重疊的線用綠色顯示),不管是剛體變換還是薄板樣條(TPS)變換,重疊效果大多並不好。我們希望能夠把指紋上所有區域的所有脊線都對得比較好。上圖右側是我們希望稠密配准能夠達到的效果。
常規的稠密配准方法是首先建立細節點之間的對應關係,然後將細節點所在的脊線建立對應關係。這種方法的缺點是,由於這是採樣點級別的對應,所以運算量非常大,且精度也不是很高。我們想到了一個新的方法,即借鑒通信領域的相位調製解調方法,即通信中用電磁波發送信息時,將信號調製在載波上;到達接收端再進行解調,恢複信號。
圖 48. 通信領域中的相位調製解調機制
指紋圖像在局域上正是一個二維的正弦波圖像。借鑒相位調製解調機制,我們可以先生成一個標準的二維正弦波,對這樣的一個條紋圖像,對它做扭曲實際上就可以等價為對它的相位做偏移;這個偏移不是對圖像做變形,而是對每個點的相位加上一個值,所以是通過加法,而不是通過幾何變形,來得到扭曲圖像。於是我們可以通過相位的方式來得到圖像的變形,反過來也可以通過求解相位的方式來求解圖像的變形。
圖 49. 由相位差求解扭曲場
如上圖所示,當給出原始圖像和扭曲圖像,分別求解得到其相位場后,對應位置相減便可以得到一個相位差的圖像,為了去除相位0到2pi的跳變對相位差圖像做一個去包裹變換后,就可以直接推算出扭曲場。於是我們可以通過圖像加減的方法把圖像的扭曲場求出。
這裡需要解釋一下,我們把原始指紋圖像(灰度圖像)轉成相位的方式,實際上就是把指紋寫成 f (x, y) 的表達式:
表達式中包括有一個偏移量(可以看成是亮度),加一個餘弦波,波有它的幅度,還有相位,最後加一個雜訊項。
相位的提取一般是用復 Gabor 濾波器。這個濾波器實際上就是一個高斯函數乘以一個復指數,復指數裡面有頻率和方向。當我們知道相差之後,就可以按照公式(相差除以頻率,頻率為指紋局部頻率)直接把變形場求解出來,這裡只涉及加、減、除的運算。
相位的解包裹則依照下述公式:
下面這是整個演演算法的完整流程:
圖 50. 依據相位解調原理進行指紋稠密配準的完整流程
給出兩個圖像,首先我們求解特徵(細節點、方向場、周期圖、相點陣圖等)。然後,按照細節點匹配的方式先做一個初始的配准,這個結果往往還存在很大的偏差,接下來就靠相位解調的方式來降低偏差。首先是得到兩個圖像的相位差異,中間可能會出現跳變,所以要做一次相位解包裹使它變成連續的相差。將這個連續的相差除以周期圖,就可以得到每個位置的扭曲場。隨後再做一次平滑,去除某些局部雜訊。最後就可以把兩個指紋的脊線非常準確的配准了。下圖展示一個配准結果:
圖 51. 四種配准方法對於三對例子的配准結果。綠色表示配准成功的脊線。
可以看出用相位解調的方法有非常大的改進。圖中的數字,例如(191,0.01),分別指細節點匹配分數和圖像相關係數,這兩個數字越高越好,能夠客觀地反映出配準的性能。
三、總結
最後總結一下。傳統的指紋特徵提取和匹配方法很難處理低質量指紋,尤其是犯罪現場的指紋。我們分析發現傳統方法的共性缺點是,沒有充分利用指紋的統計特性,很多方法完全不是基於統計學習的方法。我們的研究思路,就是要研究指紋的特徵和皮膚形變的統計學特性,然後在演演算法設計中加以利用,實驗發現在低質量指紋上這對於性能有非常明顯的提升。
參考資料:
[1] A. K. Jain, A. Ross, K. Nandakumar, Introduction to Biometrics, Springer, 2011.
[2] D. Maltoni, D. Maio, A. K. Jain, S. Prabhakar, Handbook of Fingerprint Recognition, Springer Verlag, 2009.
[3] X. Yang, J. Feng, J. Zhou, "Localized Dictionaries Based Orientation Field Estimation for Latent Fingerprints", PAMI 2014.
[4] Y. Su, J. Feng, J. Zhou, 「Fingerprint Indexing with Pose Constraint」, Pattern Recognition 2016.
[5] J. Ouyang, J. Feng, J. Lu, Z. Guo, J. Zhou, 「Fingerprint Pose Estimation Based on Faster R-CNN」, IJCB 2017.
[6] J. Feng, J. Zhou, A. K. Jain, "Orientation field estimation for latent fingerprint enhancement", PAMI 2013.
[7] X. Si, J. Feng, J. Zhou, Y. Luo, 「Detection and Rectification of Distorted Fingerprints」, PAMI 2015.
[8] Z. Cui, J. Feng, S. Li, J. Lu, J. Zhou, 「2D Phase Demodulation for Deformable Fingerprint Registration」, TIFS 2018 (under review).
中科院自動化所赫然:大規模人臉圖像編輯理論、方法及應用
|
|