這年頭的詐騙真是越來越高級了,你能相信給你打電話、開視頻的“熟人”是被騙子換了臉換了聲的嗎?
在AI技術的加持和深度合成技術開放開源下,深度合成產品和服務越來越多,現在有圖不一定有真相,耳聽眼見也都不能為實了。
最近一起利用“AI換臉”的虛假視頻詐騙就在全國炸開了鍋。
罪犯假借好友名義稱自己急需用錢,並撥打微信視頻聯繫受害者。在視頻中確認了面孔和聲音的受害者放鬆警惕,將 430 萬元分兩次轉給了對方。令受害者萬萬沒想到,所謂的微信視頻通話中的“好友”是由AI換臉換聲技術製作而成的。
在這起案件中,我們看到了騙子驚人的耐心和難以看出破綻的技術能力。
因為騙子的微信號並沒有造假,是直接盜用了受害者好友的微信號來進行視頻通話的。騙子熟悉該好友的“關係網”,誰有錢沒錢,跟誰關係好,再借助過往聊天記錄對被盜號者和朋友的對話風格進行了一番研究,可見很早就盯上了被盜號者,且前期準備得十分充足。在這個過程中,騙子還掌握了很多被盜號者的圖片、音視頻素材用來訓練模型,也難怪受害者從始至終都沒發現好友的面容和聲音有問題。
騙子的詐騙手段顯然已超出人們的認知範圍,更可怕的是,專屬於每個人的詐騙劇本或許正在路上。
這不,繼“10分鐘被AI換臉騙走430萬元”事件之後,又發生了一起“安徽男子9秒被騙132萬”的AI換臉詐騙。
我們不得不接受一個事實,AI換臉、合成聲音的技術已相當成熟,這就說明了AI換臉的成本已相當低,換個角度看就是,使用AI詐騙的成本已相當低。
據媒體報道,製作一套“露臉且說話”視頻成本低至數十元,只需提供正面照就能生成視頻,不僅眼睛、嘴巴、頭會動,如果提供文字口型也能對上,一個晚上就能完工。
有商家稱用照片生成一段1分鐘時長的視頻僅需30元左右。如果視頻時間短。質量要求不高几塊錢一段都可以。
從其提供的宣傳視頻來看,AI生成的男子,不僅合成了真人語音,發聲時的口型也能與其完全對應,如果用於詐騙活動,很難令屏幕面前的網友發現端倪。
近來,與AI相關的惡意事件頻頻發生,人們沒法不擔憂。
據公開報道顯示,利用AI技術實施造謠、詐騙,此前已發生多起案例。而這些案件背後,均涉及了AI換臉、換裝以及聲音合成技術。
AI脫衣
早在今年3月,一則“女子地鐵照被AI一鍵脫衣傳播”的新聞引發公眾關注。
一女性網友曾在社交平臺曬出了自己在地鐵車廂拍攝的照片,該照片卻被人下載利用 AI 技術除去衣物,隨後在網絡廣泛傳播,罪犯還廣泛散佈不實信息對該女子進行汙衊。
“去衣”的製作過程十分簡單,軟件導入一張人像圖片後,用“畫筆”塗抹人像上的衣服,經過一些設置,導入人像照片的衣服就消失不見,原本正常照片就變成了一張裸照。
這樣的“一鍵脫衣”技術早在2019年時就已在國外出現,但抵不過輿論爭議和網友聲討,項目迅速關閉下架,這股不良之風卻在今年的AI熱中再次吹到國內。通過網頁檢索會發現,不少網站貼出了相關軟件的下載端口。
可怕的是,AI視頻變裝服務已成為一門鏈條完整的黑色產業。
此前百萬級網紅博主“Caro賴賴_”公開表示,有人用AI合成其色情視頻在外網售賣。她稱曾看到過一個網紅名單,表裡密密麻麻寫滿了熟悉的名字。他們根據博主的粉絲量級進行分類,假視頻價格在30-50元不等。但只要你花200元就可以進群,進群后不僅可以享受永久半價,甚至還能接“私人定製”。而所謂的私人定製,即提供“一鍵脫衣”的合成服務。只需要付費後給這些賬號發送帶人像生活照,他們就能通過AI合成的方式製成假的視頻。
若不加制止,今後很可能出現這種情況,當你好端端地走在路上,被人拍攝下來後用AI“一鍵脫衣”,在賽博空間裡被扒得一絲不掛。在現今AI強大的算法下,時間、地點都對得上的情況下,偽造的黃圖令你百口莫辯。更有甚至,不法之人用來製作色情淫穢視頻,以此作為勒索、騷擾的手段。
AI換臉
這是最容易獲取對方信任的一類詐騙手段。
早前,“AI換臉”主要是被大量使用到影視劇二度創作、趣味惡搞視頻、表情包製作當中。
不過近年來,隨著技術的發展,AI實時換臉已從最初的娛樂“整活”向著偽裝熟人臉實施詐騙、偽裝明星臉進行直播帶貨發展了。
據報道,近日,有多個直播間都開始採用AI換臉明星的方式進行直播帶貨,女明星如楊冪、迪麗熱巴、Anglebaby等人成了重點換臉對象。相比請明星本人來帶貨,使用換臉的帶貨主播顯然成本更低,但消費者或明星粉絲就可能會衝著明星效應進行消費而被坑騙。
據悉,通過智能後臺的AI換臉技術,主播可以實現形象的實時替換。而使用AI換臉則需要進行模型訓練,模型和素材直接關係到合成的效果。
據提供“換臉軟件”的網站介紹,使用者自己從零開始訓練模型,如果24小時掛機不停地訓練模型,需要經過半個月到一個月的時間,才能達到可以合成視頻的效果。
比起自己花費大量時間訓練模型,更多人選擇購買現成的模型,在素材充足的情況下,僅需數小時就能直接合成視頻,模型還可以替換任意素材使用。
而這類面向精準、實時的大型直播平臺的AI換臉全套模型,購買價格在3.5萬元,且不存在延遲、也不會有bug。
聲音合成
在國內最具代表性的事件就是“AI孫燕姿”爆火網絡一事。
沉寂了很久的歌手孫燕姿因AI翻唱而重新進入大眾視野,她“翻唱”的《發如雪》《下雨天》《我記得》等歌曲在B站播放量均破百萬。
由於“AI歌手”與真人演唱的音色並無區別,不僅換氣聲都能清晰聽到,連咬字尾音都與本人十分相像。即便是孫燕姿的歌迷粉絲都感慨難以辨別真假。網友表示,聽了一晚上AI孫燕姿,出不去了,甚至有網友宣佈“這是2023年最火的聲音”。
面對“AI孫燕姿”的出現,孫燕姿本人也發了長文給予回應。
她並未通過法律手段進行追究,而是採取了較寬容的態度,她稱:“你跟一個每幾分鐘就推出一張新專輯的人還有什麼好爭的。”同時又表現出無奈和悲觀,“諷刺的是,人類無法超越它已指日可待”、“你並不特別,你已經是可預測的,而且不幸你也是可定製的”。
從回應中不難看出,孫燕姿對AI翻唱一事不欣賞也不恐懼,面對突飛猛進的人工智能以及AI在某些方面已足以替代甚至超越人類的事實,她選擇坦然接受、淡然處之。不過對於普通人而言,面對AI技術濫用造成的侵權或許很難無動於衷。
此外,有關AI的惡性事件還包括AI假照片氾濫成災、利用AI編撰新聞炮製謠言等等。
種種事蹟表明,AI負面用途的爆發遠快於我們的想象。
究其原因,其一是,隨著AIGC技術的大爆發,AI 生成虛假內容越來越方便了,只要一張照片、一段音頻和一款工具,人人均可上手。
就拿語音合成來說,由於新模型和開源項目不斷湧現,相關技術已爐火純青,效果愈發逼真了。
今年初,微軟推出了新的語音模型VALL·E,只需3秒就可以複製任何人的聲音,甚至連環境背景音都能模仿。
此外,具備語音合成功能的工具Bark,除了聲色接近真人,還能加入背景噪音和高度擬真的笑聲、嘆息和哭泣聲等效果。
人們完全可以通過一些開源的語音合成技術,基於大量聲音數據,來合成聽不出破綻的聲音。
其二,就是目前有關人工智能方面缺乏更加嚴厲的監管機制和倫理審查規則。
所以,要想關上潘多拉的魔盒,需要制度的約束和科技向善、人心向善的引導。
那麼作為普通人的我們,應該如何預防AI詐騙?
保護個人信息:
注意保護自己和他人的個人信息,不輕易提供人臉、指紋等個人生物信息給他人或不明平臺,不過度公開或分享動圖、視頻等,也不要透露自己的身份證、銀行卡、驗證碼等信息。
保護個人信息不僅是為了守住自己的錢財,也是守住了家人或好友的錢袋子,因為你不小心洩露的信息,可能轉頭就被騙子用來詐騙身邊的人。
加強警惕:
任何時候都要提高警惕,對於不明來源或可疑的視頻或語音通話要謹慎接聽或回覆。在涉及錢財時,無論面對的是熟人、領導還是權威人士,都要通過電話、見面等多重驗證對方身份。
提升辨別能力:
將這篇文章分享給親友,和大家一起了解一些常見的AI詐騙特徵和方法。在AI時代,文字、聲音、圖像和視頻都有可能是深度合成的。細心的朋友可以嘗試從細節上發現異常或破綻,例如我們可以注意對方的聲音是否有斷續或失真的現象,是否有與語境不符或不自然的表達,語調、語速、重音上是否存在問題,是否有與視頻不同步或不匹配的情況,是否有與原人臉不一致或不協調的特徵等。
及時報警:
一旦遭遇AI詐騙,務必及時報警,並留存好相關的聊天、轉賬記錄等證據。同時,我們也應該積極配合警方的調查和追繳工作,爭取挽回損失。
最後,期待相關部門加強對人工智能技術的監管和對違法行為的打擊力度,維護網絡秩序和公眾利益。