Dokážeme rozeznat deepfake hlas od pravého lidského hlasu? Zprávy ze světa i z Česka informují o postupném rozšiřování podvodůDokážeme rozeznat deepfake hlas od pravého lidského hlasu? Zprávy ze světa i z Česka informují o postupném rozšiřování podvodůvyužívajících hlasové deepfakes. Jak si v této výzvě stojíme a co musíme zlepšit?
deepfake syntetický hlas deepfake útoky lidský faktor
Deepfakes se bohužel pomalu, ale jistě dostávají do titulků zpráv. Tuto pozici získávají převážně kvůli svému negativnímu použití při úspěšných útocích. Tyto útoky (např. finanční podvody, kdy se útočník vydává za někoho jiného) cílí primárně na naši schopnost rozpoznat (či spíše nerozeznat) deepfake hlas od toho pravého. Pro zlepšení možností ochrany proti těmto útokům je nejdříve důležité porozumět lidské schopnosti rozlišit deepfake nahrávku od té pravé a zjistit, jaké faktory ji ovlivňují. Ačkoli se některé zahraniční výzkumy již tomuto tématu věnují, zapomínají brát v potaz způsob, jakým reálný útok probíhá. V našem výzkumu tuto nepřesnost reflektujeme a realisticky simulujeme situaci, při které by útok mohl probíhat. Výrazně se tak odlišujeme od existujících studií, ale získané poznatky bohužel nejsou z pohledu dopadu na lidi zrovna příznivé.
Tento článek prezentuje aktuální zveřejněné útoky využívající deepfakes a také závěry našeho výzkumu, který se věnuje lidské schopnosti rozpoznat deepfake nahrávky a možnostem, jak tuto schopnost do budoucna zlepšovat a předcházet útokům za použití hlasových deepfakes.
Útoky za pomoci deepfake hlasu
V teoretické rovině známe podvody, resp. útoky za použití deepfake hlasu už nějakou tu dobu. Tyto útoky mohou cílit na jednotlivce nebo celé organizace. U jednotlivců se může jednat o podvody (kdy hlas někoho známého žádá o laskavost, např. o peníze), ničení reputace zveřejněním inkriminující falešné nahrávky, šíření falešných zpráv, nebo dokonce vydírání. U organizací se opět můžeme setkat s ničením reputace společnosti nebo jejích zaměstnanců, vydíráním či specificky cílenými útoky.
Teoretických útoků je bohužel mnohem širší spektrum. Jejich úplná kategorizace by vydala na samostatný článek, takže zde uvádíme jenom rychlý přehled pro orientaci v problematice. Co je zajímavější a zaslouží si naši větší pozornost, jsou útoky, které se z teoretické roviny dostaly až do praxe a byly úspěšně realizované. Je obtížné odhadnout, jak velká část provedených útoků byla zveřejněna nebo vůbec jen odhalena. Jisté však je, že útoky, které dále popisujeme, určitě nejsou jediné a dá se očekávat, že tento typ útoků bude v budoucnosti četnější.
Začneme postupně od těch nejstarších. První zmínka o opravdovém podvodu za využití deepfake hlasu se objevila v druhé polovině roku 2019 a jako první o něm informoval deník The Wall Street Journal [1]. Dle dostupných informací probíhal útok následovně:
Generálnímu řediteli nejmenované britské energetické firmy zazvonil telefon. Ozval se jemu známý hlas – výkonný ředitel německé mateřské společnosti. Generální ředitel v hlase lehce rozeznal jemný německý přízvuk a „melodii“
hlasu německého ředitele. Hlas z telefonu následně požadoval urgentní převod 220 000 eur (přibližně 5,5 mil. Kč) na bankovní účet maďarského dodavatele. Tento převod měl být realizován pro potřeby mateřské společnosti, která by poté převedené peníze vrátila anglické pobočce. Převod musel být vykonán v průběhu jedné hodiny. Generální ředitel jako správný zaměstnanec tento požadavek od důvěryhodné a pověřené osoby vykonal. Po chvíli se dle očekávání znovu ozval telefon, opět s německým ředitelem na druhém konci. Oznamoval, že už odeslali náhradu na účet anglické pobočky za realizovaný převod k dodavateli. Celkově by na této komunikaci nebylo nic zvláštního, kdyby se německý ředitel neozval ještě potřetí. Tentokrát požadoval další platbu k jinému dodavateli. To už však bylo generálnímu řediteli v Británii podezřelé, protože stále neobdržel náhradu slíbenou v předchozím telefonátu. Zároveň si povšiml, že telefonát nepřichází z Německa, ale z rakouského telefonního čísla. Tyto skutečnosti způsobily podezření a zamezily odeslání další platby. Ta první však už v mezičase stihla opustit i Maďarsko a zamířila až do Mexika a následně po částech do různých konců světa.
Druhý útok se objevil po necelém roce, tedy v průběhu roku 2020. Dle informací publikovaných deníkem Forbes probíhal útok následovně [2]:
Na začátku roku 2020 docházelo v hongkongské pobočce japonské společnosti k akvizici. Na koordinaci všech postupů byl v té době najat právník jménem Martin Z. Vedoucí hongkongské pobočky v průběhu tohoto procesu obdržel e-mailovou komunikaci od ředitele mateřské společnosti a Martina Z. Tato komunikace obsahovala informace o tom, kam převést jaké množství peněžních prostředků. Nebylo tedy žádným překvapením, když řediteli pobočky zazvonil telefon a na jeho konci se ozval hlas ředitele mateřské společnosti, který požadoval schválení převodu 35 mil. dolarů (přibližně 816 mil. Kč). Vzhledem k předchozí e-mailové komunikaci se vše jevilo v naprostém pořádku, takže ředitel tento převod schválil. Je vysoce pravděpodobné, že e-maily byly podvrženy stejně jako hlas v telefonu, avšak o této skutečnosti nebyly zveřejněny žádné informace. Peníze tudíž neodešly na účet prodejce, ale k útočníkům, kteří se pomocí deepfake hlasu vydávali za ředitele mateřské společnosti.
Další útok, který se objevil začátkem roku 2022, už kombinoval deepfake hlas s deepfake videem a jak informoval portál NPR [3], jednalo se o projev ukrajinského prezidenta, konkrétně falešné video ukazující prezidenta Volodymyra Zelenského, jak vyzývá své vojáky ke kapitulaci a ukončení boje proti Rusku. Video bylo šířeno na sociálních sítích a umístěno na web ukrajinské zpravodajské stanice. Toto deepfake video bylo později odhaleno a odstraněno. Video bylo identifikováno jako nepravé kvůli nesrovnalostem v akcentu a vzhledu Zelenského.
Ke zneužití kombinace hlasu a videa došlo i v dalším zveřejněném případu, kdy se starosta Kyjeva Vitalij Kličko spojil s vícero starosty jiných evropských měst [4]. Starostka Berlína Franziska Giffey na platformě Webex hovořila s někým, kdo vypadal a mluvil jako Kličko. Podezření vzbudil až po 15 minutách, kdy začal hovořit o problémech s ukrajinskými uprchlíky podvádějícími německý stát a navrhoval, aby byli uprchlíci vráceni na Ukrajinu k vojenské službě. Když došlo k přerušení spojení, berlínský úřad starostky kontaktoval ukrajinského velvyslance v Německu, který potvrdil, že člověk ve videokonferenci nebyl skutečný Kličko.
Také madridský starosta José Luis Martínez-Almeida podal stížnost na policii poté, co v rozhovoru s falešným Kličkem vycítil podvod a ukončil hovor. Vídeňský starosta Michael Ludwig oznámil na Twitteru, že měl videokonferenci s Kličkem, což bylo později odvoláno s prohlášením, že se stal obětí „vážného případu kybernetického zločinu“.
Poslední útok, který si popíšeme, je velmi čerstvý, odehrál se v druhé polovině roku 2023. Podobně jak předchozí dva útoky využil kombinace hlasu s videem. Podle reportáže deníku Forbes proběhl útok následovně [5]:
Zaměstnanci firmy GymBeam přišla na WhatsApp zpráva z účtu, který připomínal účet ředitele společnosti. Zpráva oznamovala, že se ředitel potřebuje spojit přes MS Teams, a přikládala rovnou link na schůzku. Na videohovoru se objevila podobizna ředitele a také další osoba, která byla představena jako externí právník společnosti. Další průběh schůzky pak moderoval zmíněný externí právník. Otázky postupně směřovaly k finančním informacím, např. zůstatkům na účtu. Zaměstnance však zarazilo, když ředitel tvrdil, že je dva týdny mimo kancelář. To neodpovídalo zkušenosti daného zaměstnance, který se s ředitelem potkal ten den ráno. Tato nesrovnalost donutila zaměstnance kontaktovat šéfa mimo platformu Teams, který mu obratem odpověděl, že na videohovoru není. Prozíravostí zaměstnance se tedy povedlo útok přerušit, než napáchal nějaké škody.
Z pěti uvedených útoků došlo k reálné škodě pouze u prvních dvou zmíněných. V obou případech katastrofálně selhala lidská schopnost rozpoznat deepfake řeč od pravé lidské řeči. Veřejná promluva ukrajinského prezidenta byla odhalena právě díky nízké kvalitě zveřejněné nahrávky. V posledních dvou případech opět selhala lidská schopnost rozpoznat deepfake, naštěstí však situaci zachránila duchapřítomnost obětí, které pozorovaly podezřelé chování útočníka. Ve výsledku musíme konstatovat, že lidská schopnost rozeznat přiměřeně kvalitní deepfake je velmi slabá, fungovala správně totiž jen v jednom z pěti případů.
otázky, jsme účastníkům odhalili krycí historku, sdělili pravý záměr testování a informaci o tom, že jedna z nahrávek byla deepfake. Následně jsme je vyzvali, aby deepfake nahrávku zpětně identifikovali. Průběh celého experimentu je vizualizovaný na Obr. 1.
Pro tvorbu deepfake nahrávky jsme zvolili dostupný open-source nástroj dovolující klonování hlasu – voice conversion. Využili jsme zveřejněný model natrénovaný pro anglický a portugalský jazyk. Poskytnutím nahrávky se vzorovým hlasem (cca 20 sekund) a nahrávky obsahující fakta (namluvena jinou osobou) jsme vytvořili deepfake nahrávku pro experiment. Výsledná kvalita byla experty v oblasti ohodnocena na škále 1–5 stupněm 3 – přiměřená.
Celkem jsme nasbírali 31 odpovědí (22 mužů a 9 žen). 80 % účastníků bylo mladších 24 let a většina z nich se věnovala IT. Více než polovina respondentů už někdy v životě slyšela o deepfakes a přibližně 20 % se o ně i aktivně zajímalo.
Za zásadní a alarmující považujeme zjištění, že nikdo z účastníků před odhalením krycí historky nedokázal rozpoznat, že se v konverzaci objevila deepfake nahrávka. Pouze jediný účastník v komentáři zmínil problematickou nahrávku s tím, že zněla jinak, a zmínil jisté zvukové artefakty v nahrávce, nicméně nepojal další podezření. Po prozrazení skutečného cíle experimentu bylo zpětně schopno deepfake nahrávku identifikovat téměř 84 % účastníků.
Obr. 1: Schéma experimentu
Výsledky experimentu potvrzují důležitost zohlednění reálného scénáře útoku, kdy neinformovanost oběti naprosto zásadně ovlivňuje výsledky. Lze si povšimnout, že po odhalení krycí historky se výsledná čísla shodují s předchozími studiemi. Analýza odpovědí ukázala, že bez předchozího upozornění účastníky vůbec nenapadlo, že
by se s deepfake nahrávkami mohli potkat. I když se použitá deepfake nahrávka kvalitativně lišila od těch pravých, účastníci si to vysvětlovali hlukem v pozadí, problémem s mikrofonem nebo chybou v přenosu. Zpětně zase tento rozdíl v kvalitě posloužil jako dobrý ukazatel toho, která nahrávka je deepfake.
Možnosti ochrany a edukace
Možné ochrany před útoky využívajícími deepfake zahrnují v zásadě tři oblasti, které je třeba pokrýt – prevence, detekce a informovanost uživatelů.
V rámci prevence lze uvažovat např. o znemožnění tvorby deepfake pomocí neodstranitelného watermarkingu nebo o lepší ochraně zdrojových dat. V oblasti detekce jsou zase k dispozici počítačové detekční metody specificky vyvíjené pro tento typ úlohy. Ačkoli tyto metody zatím nejsou široce dostupné a zaintegrované do vhodných aplikací, je to patrně jen otázka času, protože se již objevují první produkty pro obrazová data.
V oblasti informovanosti uživatelů nám pak nezbývá nic jiného, než lidi v této problematice dále vzdělávat a zvyšovat jejich povědomí o možných rizicích. Jak výzkumy v oblasti obličejových deepfakes ukazují, vzdělávání prostřednictvím ukázek deepfake videí a analýza jejich specifik vedou k výraznému zlepšení schopnosti jejich detekce. Experimenty také naznačily, že lidé často při prvním poslechu kontrolují pouze obsah a ignorují zvukové artefakty, ale při druhém poslechu se soustředí na artefakty a často deepfake odhalí. Dále se nabízí využití metody SIFT (Stop, Investigate the source, Find trusted coverage, Trace the original content) k rozpoznávání dezinformací a bezpečnostní opatření jako dvojité ověření informací při citlivých transakcích.
Vzhledem ke stupňujícímu se množství útoků, které často využívají kombinaci umělého hlasu a videa tvořeného v reálném čase, je vhodné akcentovat potřebu tvorby vhodných nástrojů pro zvýšení informovanosti uživatelů o tomto fenoménu obdobně jako u jiných rizik (např. phishing). Možné řešení zahrnuje vytvoření veřejně přístupných vzdělávacích platforem, které by nabízely interaktivní školení v detekci syntetických médií, výuku opatrnosti při přijímání informací (zahrnující demonstrační ukázky útoků), přehled nástrojů pro detekci deepfakes a rady, jak se bránit jejich zneužití. Tato kombinace vzdělávání, opatrnosti a použití detekčních nástrojů by mohla zvýšit odolnost veřejnosti vůči podvodům s deepfake technologiemi a zároveň pomoci v rozlišování pravdivých a falešných informací na internetu.
Závěr
Jak ukazují realizované útoky i naše studie, lidé velice obtížně rozlišují mezi deepfake a pravými nahrávkami. Tento stav je problematický, protože dovoluje vykonávat řadu útoků za použití deepfake technologií. Navíc vzhledem ke vzrůstající kvalitě nástrojů pro tvorbu deepfakes, jejich vyšší dostupnosti (často jsou poskytovány v režimu as-a-service) a možnosti útoky výhledově automatizovat (pomocí využití nejmodernějších jazykových modelů, jako je např. Chat- GPT) se dá očekávat výrazný vzestupný trend v počtu útoků a jejich dopadu.
Z reálných útoků je zjevné, že další útoky můžou způsobit jednotlivcům nebo společnosti nemalé (nejen) finanční následky. Vedle důrazu na technická řešení je však potřeba dále zkoumat i lidskou schopnost rozpoznávat deepfakes a hledat další způsoby zlepšování této schopnosti na co nejvyšší možnou úroveň. Z tohoto důvodu momentálně věnujeme část našeho úsilí osvětě veřejnosti v problematice deepfakes, tvorbě výukových materiálů a dalšímu výzkumu v této oblasti.
Tato e-mailová adresa je chráněna před spamboty. Pro její zobrazení musíte mít povolen Javascript.
Tato e-mailová adresa je chráněna před spamboty. Pro její zobrazení musíte mít povolen Javascript.
Tato e-mailová adresa je chráněna před spamboty. Pro její zobrazení musíte mít povolen Javascript.