Jak bezpečně využívat umělou inteligenci?

Pokrok v oblasti umělé inteligence (AI) otevírá nové možnosti pro zefektivnění mnoha oblastí podnikání a získání konkurenční výhody. Avšak spolu s tímto pokrokem přicházejí i nová rizika a bezpečnostní výzvy. Jak těmto rizikům a výzvám čelit? Myšlenka evropské regulace umělé inteligence prostřednictvím nařízení AI Act může v krátkodobém horizontu pomoci chránit evropské spotřebitele, na druhou stranu ale může v delším horizontu ohrozit konkurenceschopnost evropských firem i evropské ekonomiky jako celku.

umělá inteligence               zodpovědné užití AI                     certifikace                NATO AI             Act

Před stejným dilematem stálo i NATO. Umělá inteligence byla identifikována jako jedna z převratných technologií s vysokým dopadem na oblast bezpečnosti v rámci studie NIAG SG 252 již v roce 2020. Ustrnutí ve vývoji by mohlo ohrozit technologickou převahu NATO a ve svém důsledku i převahu vojenskou. Proto byla v roce 2021 definována strategie implementace umělé inteligence v rámci NATO¹ s cílem co nejvíce podpořit implementaci AI při dodržení šesti základních principů zodpovědného využití AI. Obdobné principy definovaly OECD, Velká Británie, USA i další státy a mezinárodní organizace.

Měl jsem tu čest vést skupinu NIAG SG 279, která se zabývala aplikací šesti principů zodpovědného využívání AI v rámci NATO. Studie se účastnilo 60 expertů z 15 zemí a bylo analyzováno šest reálných příkladů užití umělé inteligence v rámci NATO v různém stupni zralosti. Byla provedena analýza více než 60 mezinárodních průmyslových standardů relevantních pro oblast implementace AI. Na základě gap analýzy a zobecnění poznatků z konkrétních příkladů užití bylo formulováno doporučení pro NATO DARB (NATO Data and AI Review Board), který byl ustanoven na podzim 2022 a začíná pracovat v roce 2023. Závěrečná zpráva je k dispozici na NATO Defence Investment Portal² v režimu NATO UNCLASSIFIED – releasable to Interoperability Platform. Autor by rád v tomto článku prezentoval poznatky, které jsou podle jeho názoru přenositelné do obecné praxe. Principy zodpovědného užití AI definované v rámci AI strategie NATO jsou univerzální a použitelné i v nevojenských aplikacích (podobné principy definovalo OECD³ ). Jedná se o:

• Zákonnost: Umělá inteligence je vyvíjena a používána v souladu s národním a mezinárodním právem včetně mezinárodního humanitárního práva a lidských práv.
• Odpovědnost a zodpovědnost: AI je vyvíjena a používána vědomým způsobem a s řádnou péčí; je stanovena jasná lidská odpovědnost.
• Vysvětlitelnost a přezkoumatelnost: Umělá inteligence je přiměřeně srozumitelná a transparentní, to platí i o použitých algoritmech, zdrojích a postupech přezkoumání.
• Spolehlivost: AI má výslovné, dobře popsané případy použití. Bezpečnost, zabezpečení a robustnost umělé inteligence je předmětem testování a ověření v rámci stanovených případů použití v průběhu celého životního cyklu.
• Řiditelnost: AI je vyvinuta a používána v souladu se zamýšlenými funkcemi tak, že: umožňuje vhodnou interakci člověk-stroj; umožňuje odhalit nežádoucí následky a vyhnout se jim, umožňuje člověku převzít řízení v případě nežádoucího chování.
• Zmírnění předsudků: Při vývoji a užití AI jsou podniknuty aktivní kroky k minimalizaci nežádoucích předsudků.

Při aplikaci výše uvedených principů v rámci jednotlivých případů užití se ukázalo, že principy jsou navzájem provázané. Např. není-li splněn princip vysvětlitelnosti a přezkoumatelnosti, nelze vyvozovat lidskou odpovědnost. Závislosti mezi jednotlivými principy je třeba mít na paměti při ověřování souladu AI aplikace s principy NATO.

Přestože měly zkoumané případy užití AI řadu společných rysů, role AI se v každém případu lišila. Různá byla složitost zkoumaných AI aplikací, lišilo se i množství a různorodost použitých AI algoritmů. Např. při použití AI k analýze obrazu se typicky používá úzká sada AI algoritmů (počítačové vidění, detekce anomálií, dolování dat). Jde o poměrně jednoduchou aplikaci, která má dané a zpravidla i konzistentní vstupy a výstupy. Významně složitější je použití AI k podpoře rozhodování. V systému pro podporu rozhodování je zpravidla zapojena celá škála různých algoritmů. Některé z použitých algoritmů mohou být založené na expertních pravidlech, jiné na strojovém učení či na prediktivních metodách. Součástí systému jsou i algoritmy a procesy, které se za AI nepovažují. Systém na podporu rozhodování je rovněž závislý na různých datových vstupech, které mohou pocházet z dalších systémů využívajících umělou inteligenci. Vstupem systému na podporu rozhodování může být např. výstup z AI aplikace pro analýzy obrazu. Z pohledu využití AI se jedná spíše o ekosystém, ve kterém si různé AI aplikace navzájem vyměňují data. To je samozřejmě výzva z pohledu ověření souladu takového ekosystému s principy zodpovědného užití AI. Aby bylo možné v dobré víře využívat výsledky AI aplikací v dalších aplikacích, je AI aplikace potřeba certifikovat.

Obr. 1: Principy zodpovědného užití AI aplikací v NATO

Certifikaci AI aplikace je potřeba provést pro přesně stanovený příklad užití a v rámci certifikace zvažovat rizika, které z daného příkladu užití plynou. Např. je-li AI aplikace pro analýzu obrazu využita v systému ostrahy, lze akceptovat jinou míru spolehlivosti (citlivosti a přesnosti rozpoznání), než pokud by byla stejná AI aplikace využita v systému automatické palby. V rámci NATO se pochopitelně rovněž liší nároky pro užití určité aplikace v době míru a v době války. Analogicky lze uvažovat o jiných podmínkách pro využití AI aplikací v případě krizového stavu v porovnání s běžným provozem. Velkou výzvou pro certifikaci je aktualizace AI aplikací, kdy dochází k použití nových modelů či algoritmů. Vzhledem k provázanosti různých aplikací může snadno dojít k tomu, že aktualizace provedená s cílem zvýšit spolehlivost AI aplikace pro určitý způsob užití povede k dosahování horších výsledků pro jiný způsob užití. Proto je třeba AI aplikace využívat pouze k účelu, ke kterému byly certifikovány. Výzvou je i samotné tempo aktualizací protože AI aplikace zažívají dynamický vývoj, který je často rychlejší než tempo certifikace či recertifikace aplikací.

Stejně jako se dynamicky vyvíjí AI, vyvíjejí se i standardy. V rámci studie bylo analyzováno více než 60 mezinárodních standardů (převážně ISO/IEC), které jsou relevantní pro oblast umělé inteligence. Většina z nich byla ve stavu návrhu či procházela procesem schvalování, pouze necelá třetina z analyzovaných standardů byla již schválena. Pokrytí jednotlivých principů z pohledu již existujících i připravovaných průmyslových standardů, bylo celkově vyhodnoceno jako nedostatečné. Nejhorší situace byla v oblasti zákonnosti, odpovědnosti a zodpovědnosti. To je dáno tím, že legislativa týkající se konkrétně AI aplikací neexistuje nebo je ve stádiu přípravy (např. nařízení EU AI Act⁴ ). Situaci z pohledu NATO jako mezinárodní organizace rovněž komplikuje fakt, že je třeba respektovat právní úpravy jednotlivých států, které se významně liší. A liší se nejen konkrétní úprava, ale i principy, na kterých je postaven právní systém jednotlivých států. Princip odpovědnosti a zodpovědnosti rovněž částečně vychází z legislativy, kromě toho je ale vázán na interní organizační předpisy a vyžaduje adekvátní přípravu zodpovědných osob. Přesto lze konstatovat, že existuje více než 30 mezinárodních norem, které jsou využitelné pro jeden či více zkoumaných případů užití. Využití mezinárodních norem je žádoucí pro podpoření interoperability AI aplikací navzájem. Je to také předpokladem pro to, aby certifikace určité AI aplikace mohla být uznána v různých zemích.

Pro certifikaci určité AI aplikace je třeba definovat sadu měřitelných kritérií, aby certifikace mohla být prováděna nezávisle a objektivně. Principy zodpovědného užití jsou však definovány pouze na obecné úrovni. Pro každý případ užití je třeba provést výklad obecného principu a definovat kritéria, na základě kterých se lze rozhodnout, zda je určitá aplikace v souladu s daným principem či nikoli. Bohužel neexistuje jednoznačný výklad základních pojmů, které jsou použity v definici principů zodpovědného užití AI v rámci NATO. Situaci rovněž neprospívá fakt, že základní pojmy, se kterými NATO pracuje, se liší od základních pojmů, které jsou běžně užívány v rámci relevantních průmyslových standardů. Např. NATO operuje s pojmy Reliability, Explainability, Traceability, zatímco v průmyslových standardech se používá pojem Trustworthiness. Uvedené pojmy mají hodně společného, překrývají se, ale nelze je volně zaměňovat. Je proto třeba hledat shodu na konkrétních kritériích nejen v rámci NATO a členských zemí, ale je třeba spolupráce s certifikačními agenturami a dalšími organizacemi, aby se zvýšila využitelnost stávajících či nově vznikajících průmyslových standardů při posuzování shody AI aplikací s principy NATO. Dokud budou panovat v této oblasti nejasnosti, při posuzování shody AI aplikace s principy NATO na sebe subjekt, který certifikaci provádí, bere určité riziko. Porozumění, jakým způsobem lze ověřit shodu aplikace s určitým principem či nařízením, je rovněž předpokladem pro praktickou aplikaci principů definovaných OECD i pro aplikaci nově vznikající evropské regulace.

V rámci studie byl s ohledem na výše uvedené navržen postup ověřování souladu AI aplikací s principy NATO založený na řízení rizik. Navržený postup byl ověřen v rámci analýzy reálných principů užití AI v rámci NATO. Tento postup je rovněž aplikovatelný na ověřování souladu určité AI aplikace s principy definovanými OECD či s evropskou regulací. Sestává se z následujících kroků:

1. Popis povahy a role AI v rámci stanoveného případu užití. V rámci toho kroku je důležité pochopit a popsat, jaký je zamýšlený účel využití umělá inteligence, jaký je okruh cílových uživatelů dané AI aplikace a jaké může mít nefunkčnost či nežádoucí chování aplikace dopady.
2. Zmapování existujících standardů a gap analýza. V tomto kroku jsou identifikovány standardy, které lze aplikovat na daný příklad užití. Zároveň jsou identifikovány aspekty daného případu užití, které nejsou existujícími standardy pokryty či na které nelze z různých důvodů existující standardy aplikovat.
3. Provedení analýzy rizik z pohledu porušení principů zodpovědného využívání AI. Toto je stěžejní část celého procesu, která je velmi závislá na daném případu užití. V rámci NATO je třeba rovněž rozlišovat využití AI aplikace ke stejnému účelu v mírovém režimu od využití na bojišti v případě válečného stavu.
4. Navržení opatření vedoucích ke snížení identifikovaných rizik na akceptovatelnou úroveň včetně navržení postupů monitorování rizik a revize analýzy rizik v průběhu času. To je důležité, neboť se legislativní prostředí a průmyslové standardy v oblasti AI dynamicky vyvíjejí. Z pohledu vývoje AI aplikací je důležité rovněž definovat postupy řízení změn a recertifikace aplikace s ohledem na to, že lze předpokládat dynamický vývoj využívaných modelů a algoritmů.

Zajímavým vedlejším poznatkem získaným v rámci studie bylo využití umělé inteligence při zpracování samotné studie. Ukázalo se, že ChatGPT je užitečným pomocníkem v přípravné fázi pro sběr informací o určité problémové oblasti. Díky využití této technologie lze obohatit vstupní brainstorming a inspirovat lidské experty. Zároveň se ale ukázalo, že je vždy potřeba informace poskytnuté ChatGPT důsledně ověřovat. Přibližně ve dvou třetinách případů tyto informace byly nepřesné, zavádějící či kompletně smyšlené. Přesto byla tato technologie shledána užitečnou, protože umožnila významně urychlit a obohatit práci expertů.

Závěrem lze konstatovat, že AI lze implementovat a využívat zodpovědným způsobem. Jsem přesvědčený, že stejně jako se lidstvo vyrovnalo s technologickými posuny v minulosti, vyrovná se i s nástupem umělé inteligence. Byť jistě bude docházet k problémům, kterým se nevyhnul nástup žádné přelomové technologie – páry, elektřiny či atomové energie. Umělá inteligence bude mít dopad do řady dalších oblastí. S nástupem AI hranice mezi fyzickou a kybernetickou bezpečnostní přestává být zřetelná. Např. když auto řízené AI nezabrzdí a dojde k nehodě, je potřeba začít se ptát: Fungoval hardware, na kterém běžela AI, bez vady? Dostala AI správná data ze senzorů? Vyhodnotila AI situaci správně? Vydala AI pokyn zabrzdění včas? Obdržel řídicí systém vozu pokyn zabrzdit? Fungovaly brzdy správně? Byly pneumatiky v pořádku? A co silnice a povětrnostní podmínky?

Klíčem k zodpovědnému používání AI je pochopení role AI v konkrétním případu užití a identifikování a řízení z toho plynoucích rizik. Rizika spojená s AI je potřeba analyzovat komplexně v rámci daného případu užití a nelze je řešit odděleně od rizik spojených s kybernetickou či fyzickou bezpečností. Implementace umělé inteligence vyžaduje celostní přístup. Stejně jako v jiných případech platí, že má-li být technologická změna úspěšná, musí zároveň dojít ke změně organizační a v tomto případě možná i ke změně hodnotové. Na zajímavou diskusi na toto téma se těším na konferenci Má mozek ještě šanci?⁵ , která se koná 9. listopadu 2023 v Praze. Sejde se tam řada zajímavých řečníků, kteří mají vztah k technickým, právním, bezpečnostním i lidským aspektům užití umělé inteligence.

Tato e-mailová adresa je chráněna před spamboty. Pro její zobrazení musíte mít povolen Javascript.

Poznámky pod čarou:

1. https://www.nato.int/docu/review/articles/2021/10/25/an-artificial-intelligence-strategy-for-nato/index.html 
2. https://diweb.hq.nato.int/niag/study_groups/sg279/default.aspx
3. https://oecd.ai/en/ai-principles
4. https://www.europarl.europa.eu/news/en/headlines/society/20230601STO93804/eu-ai-act-first-regulation-on-artificial-intelligence
5. https://mamozekjestesanci.cz/