利用AI技術，黑客能用麥克風聽出你在屏幕上看什麼

據《連線》網站報道，你可能認為只有通過觀看電腦屏幕才能看到屏幕上的東西。但一個研究團隊發現，他們能夠通過監聽和分析顯示器正常發出的超聲波，收集到驚人數量的信息，比如顯示器上面輸入的內容。

這項技術於周二在聖巴巴拉舉行的Crypto 2018年大會上進行了演示。它可以讓攻擊者通過分析在屏幕附近錄到的錄音——比如來自網路電話或者視頻聊天的錄音——來發起各種形式的秘密監視。之後，攻擊者可以根據泄露的聲音提取有關顯示器上的內容的信息。雖然距離越遠信號越弱，特別是使用低質量的麥克風的時候，但研究人員仍然可以從在30英尺遠的地方取得的錄音提取顯示器發出的聲音。

特拉維夫大學和哥倫比亞大學的密碼學和系統安全研究員伊蘭·特羅默（Eran Tromer）參與了這項研究，他說道，「我想，我們可以從中學習該如何去適應我們的物理環境中的意外情況，以及理解我們使用的這些設備背後的物理機制。」聲泄漏是「一種現象，在這個例子中這不是設計師有意而為的，但它確實存在，因此形成了安全漏洞。」

被攻擊是有可能的，原因是所謂的「物理側通道」——數據暴露不是來自軟體錯誤，而是來自於泄露計算機硬體和它處理的數據之間的信息的無意交互。在對顯示器的研究過程中，研究團隊——還包括密歇根大學的丹尼爾·吉恩金（Daniel Genkin），賓夕法尼亞大學的米希爾·帕塔尼（Mihir Pattani），特拉維夫大學和康奈爾科技學院的羅埃·舒斯特爾（Roei Schuster）——發現，在他們調節電流的時候，很多屏幕的電源板發出高音或者聽不見的吱吱聲。這種吱吱聲是根據屏幕的內容渲染處理器的不同功率需求而改變的。用戶數據和物理系統之間的這種連接帶來了意想不到的監聽機會。

「有一天，我碰巧在瀏覽一份特別枯燥乏味的法律協議，上面有很多行小字體。」特羅默說道，「那些字實在太小了，於是我將其放大，然後我意識到房間里的環境噪音發生了變化。於是我將字體縮小回來，聲音也隨之變回來了。過了一會，我意識到是某種圖像周期性的東西在影響聲音的周期性。」

研究人員測試了幾十台不同尺寸的液晶顯示器，從中發現它們發出各種各樣的聲音。他們測試的顯示器在2003年至2017年之間出產，涵蓋了幾乎所有的主流製造商。

所有的電子產品都會發出呼呼聲和吱吱聲，但顯示器會產生一種特定的被證明對攻擊者特別有用的聲音。「這種聲音的特點是頻率很高，因此它可以承載多得多的信息。」舒斯特爾指出，「它確實是受到了某種敏感的東西的調節，在這裡就是屏幕信息。」

在證實了那些超聲波以後，研究人員接著試圖基於它們來提取信息。他們開發了一個程序，生成不同的黑白相間的線條或組塊，然後在循環顯示它們時錄製音頻。有了一定的數據基礎以後，他們就開始在顯示器上展示熱門網站、谷歌Hangouts和人臉，同時進行測量，看看是否能夠透過錄音將它們區分開來。
屏幕上顯示斑馬條紋圖案時的屏幕信號頻譜圖

研究團隊將所有的這些信息作為訓練數據輸入到機器學習演算法當中，並開始根據錄音中捕捉到的聽不見的聲音，對屏幕上的內容進行越來越精確的解讀。對於一些斑馬圖案和網站，研究人員有90%至100%的成功率。他們甚至開始注意到，他們的系統有時可以從他們的機器學習模型從未遇到過的屏幕錄音中提取有意義的數據。

「即使攻擊者不能在特定的顯示器型號上進行演練，他們的攻擊也還是很有可能會成功。」舒斯特爾稱。

隨後，研究團隊擴大了研究範圍，訓練該系統破譯屏幕上的字母和單詞。雖然這是一個更具挑戰性的任務——單詞不像網站布局那樣遵循可靠的視覺模式——但研究人員可以在大字體的單詞上產生靠譜的結果。正如吉恩金所指出的，白色屏幕上的黑字在很多方面與斑馬紋相似，雖然單片語合有無數種，但系統只需要學習羅馬字母表中的26個字母。

研究人員甚至意識到，他們可以檢測出人們在智能手機屏幕鍵盤上輸入了些什麼，有一定的準確性。通常情況下，數字鍵盤被認為比機械鍵盤更加安全，因為機械鍵盤在用戶進行輸入時會發出聲音，造成輸入內容的泄露。研究證明，數字鍵盤也不能倖免於這些聲音側通道的攻擊。

雖然研究人員在一些實驗中使用了高質量的專業麥克風，但他們主要是研究消費級的麥克風，比如網路攝像頭和智能手機上的麥克風。他們發現，它們完全可以被利用來提取屏幕發出的聲音。例如，如果攻擊者想監視與她視頻聊天的人的屏幕，她只需錄下來自他們的麥克風的聲音輸出即可。

在另一個場景下，比如面試時，攻擊者可以把智能手機放在他們旁邊的桌子或椅子上，在面試官盯著背對攻擊者的屏幕時，利用手機來錄下房間里的雜訊。研究人員還注意到，智能助手設備中的麥克風可以接收到顯示器的聲音。因此，如果你把這些設備放在你的顯示器附近，智能助手發送到雲處理平台的音頻片段很可能就來自該顯示器。由於來自顯示器發出的聲音主要是超聲波，像喧鬧的音樂或者說話這樣的聽得見的聲音不會幹擾到麥克風的接收能力。
研究人員說，這凸顯了減輕這些攻擊的巨大挑戰。在大多數的空間全面部署無線電頻率來干擾屏幕發出的聲音，是不切實際的。製造商可以在顯示器內部更好地保護電子元件，但這會增加製造成本。另一種解決方案是，開發專門的反制軟體，操控顯示器正在處理的信息，使其更難識別。但你需要將這些措施嵌入到每一個應用程序當中，研究人員坦言這可能不現實。不過，至少在瀏覽器或人們經常使用的視頻聊天程序上面，值得考慮那麼做。

對於黑客來說，使用這種的聲屏障攻擊顯然比網路釣魚或用惡意軟體感染電腦要複雜得多，也需要耗費更多的精力。但研究人員表示，他們對自己能達到的精確度感到驚訝，而有動機的攻擊者可能會進一步完善他們的機器學習技術。鑒於如今有如此之多的屏幕在無意間泄露這些信號，對於技術嫻熟且有足夠動力去嘗試的攻擊者來說，這個世界就像是一個遊樂場。