「領導」打來視頻電話找你借20萬，借嗎？
來源：倍可親(backchina.com)你的人臉安全嗎？
近日，在貴陽一家公司擔任副總經理的孟先生急匆匆趕到招商銀行貴陽高新支行，要求工作人員將60萬元打到一個賬戶。
接待他的服務專員穆方琴向《中國新聞周刊》回憶，這名客戶神色慌張地說，其公司董事長急需轉一筆60萬元資金，但不方便直接走款，便先把錢轉給他，再由他轉給領導指定的一個賬戶。
「領導說已經把錢匯給我了，因為銀行系統滯后，要晚點才能到賬。你趕緊幫我轉過去，領導催著呢。」孟先生指著聊天記錄里的一張匯款憑證催促道。
穆方琴接過手機，發現這張「匯款憑證」的畫質有些模糊，蓋章位置也不符合銀行規定，便提醒他要謹慎。孟先生稱，領導讓他轉賬前，還特意跟他通過QQ打了視頻通話。「視頻和聲音跟領導都對得上，難道還有假？」
穆方琴引導孟先生再次給對方撥通視頻電話，接通后，她發現畫面有些卡頓，對方不敢說話，還迅速關了視頻。由於疑點太多，穆方琴提醒孟先生不要急著轉賬，可先與領導的秘書等確認下，避免造成個人財產損失。
幾天後，該行收到了孟先生的感謝信。原來他經過核實發現，視頻那頭的人不是領導，而是不法分子使用了AI換臉技術。當這項技術日趨成熟，不僅僅應用在影視劇中，AI換臉詐騙案例也陡然增多。
圖/視覺中國
被高仿的「領導、親友」
孟先生所遭遇的詐騙陷阱被穆方琴識破了，但還有更多人陷了進去。
經過視頻通話后，個體老闆黃曉亮（化名）看到了對方的相貌，聽到了對方的聲音，逐漸消除了疑慮，他確信這位剛添加自己QQ賬號的人正是自己的表哥，於是將30萬元轉到了對方指定的賬戶。
近日，山東濟南商河縣公安局刑警大隊三中隊中隊長張振華向《中國新聞周刊》講述了上述案件。
今年5月底的一天，黃曉亮在家瀏覽短視頻App時，收到一條私信，對方自稱是他的表哥、任某領導的馬某。寒暄幾句后，對方又讓黃曉亮添加其QQ號，添加后，對方用QQ給他撥打了一個視頻通話，7秒鐘后，對方以「信號不好」為由，表示還是打字聊天方便。
取得黃曉亮信任后，對方表示因為自己是領導，不方便用自己身份信息將一筆65萬元的款項轉給某個賬號，想讓黃曉亮幫忙轉款。為了表示誠意，對方還要了他的銀行賬號，很快將「轉款憑證」發給了他。
黃曉亮看到憑證后，發現賬號和名字都的確是他的，但遲遲未到賬，就沒有立即給「表哥」的賬戶轉賬。大約20分鐘后，「表哥」給他發消息說，大額轉款會有延遲，那邊急著要這筆錢，問他能不能先墊付一下。
黃曉亮再次給「表哥」撥打了視頻通話，接通后，對方稱自己正在開會，聲音很低，10多秒便掛斷了視頻。這次通話徹底消除了黃曉亮的顧慮。隨後，他轉出了30萬元，對方收款后催促他繼續轉出剩餘的35萬。
被不斷催促的黃曉亮再次起了疑心，他點開對方的短視頻賬號，發現該賬號已被屏蔽。他給表哥打電話核實，才知道其表哥未提過轉款要求,黃曉亮隨後報警。
令警方意外的是，犯罪嫌疑人在收到黃曉亮轉來的30萬元后，在5分鐘內便去黃金店完成了消費，時間之快超出了常人想象。
張振華告訴《中國新聞周刊》，在偵破過程中，他們諮詢了很多技術人員，這種視頻合成加實時通話的技術含量很高，很多公司的技術水平實際上達不到。
警方根據嫌疑人與黃曉亮網聊時的IP地址，判定該團伙在緬北實施詐騙、由國內銷贓洗錢，是一起採用AI技術換臉冒充受害者熟人進行網路詐騙的案件。
張振華稱，商河警方分兩次去廣東東莞將該犯罪團伙7人抓獲。「他們反偵查能力很強，定期換賓館，這些賓館不規範，對實名入住的要求也不高。我們通過技術手段才鎖定了目標。」目前，該案已進入審查起訴階段。
近年來，利用AI技術進行詐騙的案例已在全國多地發生。
包頭市公安局電信網路犯罪偵查局發布的一個案例稱，今年4月20日，福州市某科技公司法人代表郭某的「好友」突然通過微信視頻聯繫他，聲稱自己的朋友在外地投標，需要430萬元保證金，且需要公對公賬戶過賬，所以想要借用郭某公司的賬戶走賬。
這位「好友」向郭某要了銀行卡號，聲稱已把錢轉入郭某的賬戶，並將銀行轉賬截圖發給他。基於視頻聊天信任的前提，郭某並未核實錢是否到賬，在大約10分鐘內陸續轉給對方430萬元（涉案銀行卡為包頭市蒙商銀行對公賬戶）后，郭某給好友的微信發了一條消息，稱事情已辦妥。但讓他沒想到的是，好友給他回復了一個問號。郭某撥打好友電話，對方說沒有這回事。警方認定，對方通過AI換臉技術，佯裝成好友對郭某實施了詐騙。包頭市警銀聯動，成功緊急止付涉嫌電信詐騙資金330多萬元。
浙江金道律師事務所律師夏文忠表示，這類涉及AI換臉的案件，通常是不法分子假冒被害人的親友、相關領導等，偽造事實、隱瞞真相，使被害人陷入錯誤的認識，從而交付財物，涉嫌詐騙罪。還有的犯罪分子利用AI技術，刻錄被害人的裸聊視頻或偽造裸照，要求被害人交付財物作為不公開的代價，涉嫌敲詐勒索罪。
夏文忠告訴《中國新聞周刊》，在他代理的一個案件中，一名五大三粗的男子通過AI換臉，把自己變成了聲音甜美的年輕女性形象，與被害人進行視頻裸聊后，以將被害人的不雅視頻、照片發給被害人朋友相要挾，敲詐被害人錢財。被害人先後給犯罪分子轉賬20萬元。
在犯罪分子進一步敲詐勒索時，被害人無能為力，只得報警。經過辦案機關的偵查，鎖定了當時在緬北的犯罪團伙。經過勸投及相關措施，多數犯罪分子已回國主動投案自首。
鄭州市公安局金水分局反詐大隊民警李敏告訴《中國新聞周刊》，現實中有些不法分子騙術並不高明，甚至不需要藉助AI換臉就可騙取錢財。
她在一次反詐宣講時，一位聽課者告訴她，自己的父親是一位70多歲的農民，有一天，一個自稱是當地縣長的人添加他父親微信，父親點開頭像后發現其和當地縣政府官網上的縣長頭像一致，就信以為真。添加后不久，他父親就被這名「假縣長」騙走數萬元。
李敏也曾遇到一個案例，一名領導幹部收到一個陌生號碼發來的簡訊，對方自稱是這名領導幹部的上級，因個人職務問題不方便直接轉款給他人，就先把20萬元轉給這名被騙的領導幹部，再由其代轉過去。這名受害人通過QQ收到「上司」發來的「轉款憑證」后，信以為真，將20萬轉到了不法分子指定的銀行賬號。
山東濟南商河警方將涉嫌「AI換臉」詐騙的嫌疑人抓獲。圖/「濟南公安」微信公眾號
值得注意的是，大量AI換臉等電詐詐騙案例顯示，領導幹部已成為被冒充的熱門對象。
在上述商河警方偵破的案件中，讓警方印象深刻的是，在這些不法分子的電腦中，除了專門生成「轉款憑證」的模擬器，還存了一些領導的工作單位、職務等資料。
李敏告訴《中國新聞周刊》，冒充領導詐騙的套路通常是，詐騙分子通過各種途徑獲得黨政機關、企事業單位領導照片，或者使用領導的真實姓名作為微信名稱，偽裝成領導的QQ或微信，主動添加下屬。之後，詐騙分子先以關心工作、生活、企業經營狀況等話題拉近距離，獲得被害人的信任，進而以正在開會、參加活動為託詞，請對方幫忙周轉資金或過橋轉賬，他們通常會偽造轉賬憑證，要求受害人儘快幫忙轉賬至指定賬戶。
「受害人由於敬畏，不好意思跟領導核實，或者因為是領導求助不好意思回絕，就會上當受騙。」李敏說。
她表示，在這類騙局中，很多不法分子開始通常是先發簡訊自稱是行騙對象的領導或親友，換了新號碼讓其保存一下，取得對方信任后再一步步實施詐騙。「這也提醒廣大網友，收到一些陌生號碼發來的這類簡訊，要及時核實對方身份。」
利益驅動下的黑色產業鏈
AI換臉技術並不是新鮮事物。中國科技大學公共事務學院、網路空間安全學院教授左曉棟告訴《中國新聞周刊》，這一技術最早要追溯到六年前。2017年12月，一個名為「DeepFakes」的用戶在Reddit網站上發布了一個假視頻，用一位知名演員的臉替換了一個色情片中女演員的臉，看起來幾乎毫無破綻。因為這個用戶名「DeepFakes」，「深度偽造」技術也受到了社會的強烈關注。
實際上，這項技術更準確的名稱是「深度合成」，其具有很多正向的用途，一個常見的情況是用於影視行業。如《了不起的兒科醫生》等，都在後期處理時用到了AI換臉技術；在《速度與激情7》未拍攝完成時，主演保羅·沃克去世，製片方用AI將其面部重現在了觀眾面前。
隨著「換臉」「變聲」等技術越來越逼真，一些不法分子開始將其用於詐騙。夏文忠表示，現在AI換臉已形成黑色產業鏈。上游不法分子通過AI技術生成圖片，並對這些圖片進行整合，打包成圖集，通過成套售賣的方式出售給下游買家，甚至有的人還為此建立起「付費會員群」，使一些無辜人士甚至未成年人陷入「黃謠」漩渦。
今年4月，擁有近150萬微博粉絲的網紅「Caro賴賴」發文稱，她被人用AI換臉后，陷入了黃色謠言的困境。她的臉被盜用在一些淫穢視頻里。還有人在境外社交平台上冒充其身份註冊了賬號，搬運她的日常內容，等粉絲達到一定數量時，就開始以會員訂閱方式販賣這些被換了臉的色情視頻。
浙江溫州市公安局曾發布案例稱，2021年拱宸橋派出所接到報警，受害人陳某稱，他與女網友視頻聊天後，被對方利用AI技術，將其面部合成到不雅視頻中，藉此對其實施勒索。
左曉棟告訴《中國新聞周刊》，AI換臉之所以形成黑色產業鏈，與其用於詐騙得到的高回報密切相關。《新京報》曾報道，可觀的利益驅動著AI灰色市場的發展，有商家自稱月收入高達20萬元，商家宣稱自己什麼視頻都能做，將一張臉換至色情視頻里，也僅需150元每分鐘。
隨著網際網路的發展，AI換臉技術也在網上售賣。《中國新聞周刊》記者在多個平台以買家名義諮詢了多位做AI換臉視頻的商家。一位商家表示，只要提供一張照片，花30分鐘左右，就可以做成一個一分鐘的視頻，收費為100元。另一平台一位賣家表示，他們售賣一款換臉軟體，價格為200元，使用期限為一年。為證明該軟體效果，其還給記者發來了一段換臉后的短視頻，「你如果對效果滿意，現在想要，140元就可賣給你」。
央視《焦點訪談》報道，在公安部開展的「凈網2021」專項行動中，合肥市公安局網安支隊聯手包河分局打掉一個犯罪團伙，該團伙利用AI技術，偽造他人視頻，為黑灰產業鏈提供註冊手機卡等技術支撐。犯罪嫌疑人電腦中有10G左右的人臉數據信息，這些信息在網上轉手多次，而它們的主人對此毫不知情。
近年來，AI換臉技術也在更新換代，越來越逼真。
深圳市安絡科技有限公司是第一批國家級網路安全服務資質企業和試點單位，公司主要業務為網路安全及政法業務，其中政法業務是為國內400多家公安機關提供反制新型網路犯罪技術支持，幫助警方開展打擊電信網路詐騙工作。
該公司分管技術的副總裁肖堅煒告訴《中國新聞周刊》，現在用一台高配置電腦、幾張照片，花一兩分鐘就可以合成一段10秒的換臉視頻。投入更多的顯卡算力資源，AI技術已經可以做到實時換臉視頻通話，相似度可達80％以上。
深圳市安絡科技有限公司的肖堅煒講解AI換臉技術時稱，目前已可做到實時換臉視頻通話，相似度可達80％以上。圖/受訪者提供
肖堅煒說，AI換臉使用的「生成對抗神經網路」演演算法是公開的，網路上也有開源的演演算法代碼，在其基礎上研發一款AI換臉軟體，根據優化效果差別，一到六個月可以完成。正規軟體公司開發的AI視頻生成軟體會在生成的視頻上標註「由AI合成」的提示語，而在暗網中銷售的則不會，極易被犯罪分子利用。
「從法律層面來說，AI換臉技術會造成非法使用他人肖像、損害個人名譽和隱私等問題。但AI技術本身是中性且無害的，但背後衍生出的道德與倫理問題卻相當複雜，一些新技術被濫用導致的後果更是難以預料。」夏文忠稱。
如何根治？
早在2019年11月，國家網信辦、文旅部和國家廣播電視總局就聯合發布《網路音視頻信息服務管理規定》，明確指出，利用基於深度學習、虛擬現實等的新技術新應用製作、發布、傳播非真實音視頻信息的，應當以顯著方式予以標識，且不得利用該技術製作、發布、傳播虛假信息。
2022年11月，由國家網信辦、工信部、公安部頒布的《網際網路信息服務深度合成管理規定》明確，不得利用深度合成服務從事侵犯他人合法權益等法律、行政法規禁止的活動，應用程序分發平台應當落實上架審核，服務提供和技術支持者應當加強技術管理等規定等。
2023年7月，國家網信辦等七部門聯合發布《生成式人工智慧服務管理暫行辦法》，其中規定，提供和使用生成式人工智慧服務，應當尊重他人合法權益，不得危害他人身心健康，不得侵害他人肖像權、名譽權、榮譽權、隱私權和個人信息權益。
針對AI涉及的侵權和安全問題，近年來，我國在相關政策層面不斷完善，但這類犯罪行為仍屢見不鮮。
今年8月10日，在公安部舉行的新聞發布會上，公安部網路安全保衛局副局長李彤介紹，針對「AI換臉」導致群眾被欺詐的問題，公安機關發起專項會戰，偵破相關案件79起，抓獲犯罪嫌疑人515名。「犯罪分子用於實施AI換臉的物料主要為照片，特別是身份證照片，同時結合人員姓名、身份證號來突破人臉識別驗證系統。」
左曉棟告訴《中國新聞周刊》，這兩年，國家制定了很多政策文件，規範新一代AI技術的發展。不過，對於利用技術從事違法犯罪的情況，還需繼續加大打擊力度。在這個問題上，還應當加強技術創新，特別是提升對偽造音視頻的檢測能力，目前來看，相關技術還不過關。
肖堅煒表示，面對這些風險，相關部門應進一步完善法律法規，嚴懲非法使用AI換臉技術的侵權和犯罪行為；相關科技公司也應制定倫理規範，對違規使用承擔責任；社交媒體也可以通過給用戶上傳視頻內容打標籤等技術手段，提高普通人對於AI換臉視頻的識別能力，「我們公司也正在研發更先進的AI識別演演算法和相應的技術反制手段，幫助公安機關有效應對不斷翻新的電信網路詐騙」。
夏文忠告訴《中國新聞周刊》，這類犯罪查處的難度體現在兩方面：一方面，犯罪分子的身份難以被確認，且很多犯罪分子身在國外，難以實施抓捕行動；另一方面，相關犯罪證據存儲介質主要在網路伺服器中，隱秘程度較高，獲取難度較大，取證存在困難。
北京市社會科學院法治研究所副所長王潔長期從事反電詐研究。在接受媒體採訪時，他指出，當利用AI技術進行電詐等行為已經發生，再去追究會面臨難度。他調研發現，很多反詐警察花費大量時間和金錢后，往往發現犯罪源頭在境外。這種情況下，不是所有受害人都能付出足夠的時間、金錢和精力去追究侵權者的責任的。
「核心問題是個人信息保護。」王潔認為，詐騙事件背後都存在個人信息泄露的情況，隨著深度偽造技術不斷更新換代，保護人臉等個人隱私成為不可輕視的問題。因此公安機關在查案辦案時，應該更加關注信息泄露的渠道，從源頭治理。政府應該加強對個人信息保護的監管，而App開發商運營商等各環節也應該共同協力，在人臉信息的存儲、讀取、使用、清除等方面依法管理，促進企業個人信息保護合規自律。
夏文忠也特彆強調，各網路平台對於AI換臉的應用應當擔負起責任，「目前，推出AI換臉功能的平台以及允許AI換臉相關內容傳播的平台，都應該加強審核，以避免AI技術被不法分子利用」。