Řízení rizik umělé inteligence

Využívání umělé inteligence je jasným trendem. Rozvoj a dostupnost AI nástrojů s sebou však nesou i řadu rizik. Aby AI přinesla úspory, efektivitu práce a konkurenční výhodu, je nutné řídit alespoň základní rizika, která jsou s využitím AI v organizaci spojená.

  umělá inteligence            řízení rizik             kybernetická bezpečnost            regulace AI

Jak a proč řídit rizika umělé inteligence?

Zavádění nástrojů obsahujících umělou inteligenci (AI) může organizaci přinést řadu výhod – zvýšení efektivity, úsporu kapacit, lepší finanční výsledky. Ale rozhodování o způsobu využití AI i samotný provoz těchto nástrojů s sebou nesou řadu rizik. Jaká jsou ta hlavní?

Proč řídit rizika AI?

Využití AI je jasným trendem pro automatizaci procesů a zefektivnění práce prakticky v každém sektoru, což potvrzuje i řada mezinárodních studií¹. A i když organizace sama AI nástroje neimplementuje, neznamená to, že je fakticky nevyužívá. Jak to? AI nástroje totiž často využívají její ICT dodavatelé nebo subdodavatelé, takže organizace je na správném fungování prvků a služeb s AI i tak závislá. Nemluvě o tom, že volně dostupné AI nástroje často pro zjednodušení práce využívají i jednotliví zaměstnanci. Vedle pojmu shadow IT se tak objevuje i pojem shadow AI, který popisuje nekontrolované a neschválené využití AI pro zajištění či podporu činností organizace.

S rozvojem AI nástrojů, jejich dostupností a zvyšující se využitelností by proto související rizika měla do určité míry ře

šit každá organizace. Ať už se sama rozhodne AI nevyužívat nijak, nebo být naopak průkopníkem, tato technologie mění svět kolem nás a obezřetná organizace by si toho měla být vědoma. Řízení rizik souvisejících s využitím konkrétního AI nástroje je pak důležité i pro splnění právních povinností. Nejedná se přitom jen o AI Act² , ale velmi často do hry vstupují i předpisy z oblasti kybernetické bezpečnosti jako NIS2 a DORA³ , pravidla pro ochranu osobních údajů, pro provoz kritické infrastruktury⁴ , různé sektorové regulace atd.

Kategorie AI rizik

Rizika lze dělit podle různých kategorií a hledisek, např. podle chráněného zájmu, souvisejícího systému řízení, regulatorních požadavků atd. Pro základní orientaci a rozhodnutí o dalším postupu při adopci AI lze podle mého pro zjednodušení využít tyto kategorie rizik:

• Strategická rizika.
• Operační rizika.
• Rizika pro dotčené osoby

Strategická rizika se týkají celkové koncepce a přístupu organizace k využití AI. Jejich potenciální dopad se může projevit až ve střednědobém či dlouhodobém horizontu, ale zato s velmi závažnými důsledky.

Operační rizika jsou naopak rizika, která se mohou reálně projevit (zhmotnit) velmi rychle. Proč? Protože jsou spojena s neexistencí či selháním procesů, definovaných postupů, lidí, dodavatelů nebo s externími událostmi a jejich negativními dopady na organizaci.

Dvě předchozí kategorie rizik hrozí organizaci jako takové. Důležité je ale rovněž identifikovat rizika, která využití AI přináší konkrétním lidem. Např. osobám, do jejichž práv nějakým způsobem zasahuje AI (rozhoduje o jejich žádosti o sociální dávku, určuje cenu produktu, vyřizuje stížnost, hodnotí jejich práci atd.). Takto zaměřený přístup k řízení rizik, který ostatně vyžaduje i zmíněný AI Act, je odlišný od řízení rizik např. v oblasti kybernetické bezpečnosti, projektového řízení, finančního plánování atd., kdy se závažnost rizika hodnotí podle možného negativního dopadu na organizaci jako takovou.

Strategická rizika

Strategické riziko ohrožuje dosažení plánů a záměrů organizace, splnění jejích obchodních cílů nebo výkon svěřené agendy v dlouhodobějším horizontu. V krajním případě může realizace závažného strategického rizika vést i k ukončení poskytování určité služby nebo činnosti organizace jako takové. V kontextu využití AI je důležité vyhodnotit především tato tři hlavní strategická rizika: Pozdní adopce AI. Přílišné (živelné) spoléhání se na AI. Nekontrolované využití AI.

Z historie, i velmi nedávné, známe případy řady společností, které „zaspaly“ technologický vývoj. A stálo je to pozice tržních leaderů, obrovské finanční ztráty nebo i existenci samotnou. Za všechny zmiňme finskou Nokii, která se kvůli nezachycení nástupu chytrých telefonů z pozice jedničky ve výrobě mobilních telefonů stala firmou, která už mobily nevyrábí vůbec. Nebo společnost Intel, kdysi leadera v oblasti výroby komponentů pro hardware, která na základě několika chybných manažerských rozhodnutí a podcenění vývoje nových technologií (chytré telefony, čipy) dospěla k řadě finančních ztrát. Problémy vyústily až v majetkový vstup americké vlády, která před několika měsíci koupila 10% podíl s cílem podpořit domácí firmu pohybující se ve strategickém odvětví.

Co mají tyto případy společného? Podcenění technologického vývoje a nových technologií a špatná manažerská rozhodnutí, která dramaticky ovlivnila tržní postavení a finanční výsledky společnosti. Právě to hrozí i organizacím, které budou umělou inteligenci ignorovat, nebo dokonce budou v jejím používání svým zaměstnancům cíleně bránit. Jejich konkurenti, kteří si alespoň část práce díky AI usnadní, tím ušetří, zrychlí a získají náskok – nejen v byznysu, ale i ve znalostech a praxi používání AI. A s rozvojem AI nástrojů se bude tato mezera rozevírat a dohnat ji bude stále těžší.

Druhým, v zásadě opačným rizikem, je neuvážené a přílišné spoléhání se na AI. Riziko, že organizace o vysoké míře nasazení AI rozhodne bez detailního rozmyšlení, analýzy, prostě neopatrně. Důsledkem mohou být opět finanční ztráty, hůře fungující produkt či služba a zhoršený vztah s klienty. I k tomuto riziku již máme příklad. Původem švédská, nyní již globální společnost Klarna, průkopník tzv. odložených plateb⁵ , se před několika málo lety rozhodla, že bude také průkopníkem v oblasti AI. Navázala intenzivní spolupráce s OpenAI, provozovatelem známého ChatuGPT, a začala mohutnou interní přestavbu. Propustila 700 zaměstnanců převážně ze svého kontaktního centra a nahradila je nástroji umělé inteligence. Přitom kvalitní komunikace s klienty byla do té doby jednou z konkurenčních výhod Klarny.

Výsledek? Výrazné zhoršení klientského zážitku, stížnosti a úbytek klientů. Atmosféra uvnitř firmy také asi nebyla nejlepší. V květnu letošního roku CEO Klarny Sebastian Siemiatkowski připustil, že zřejmě zašli „trochu moc daleko“, a začali do kontaktního centra zase najímat živé lidi.⁶ Kromě zhoršeného vztahu s klienty se jistě můžeme bavit také o zhoršené hodnotě firmy a zmařené investici, která jistě nebyla z nejnižších.

Nedostatečná, či dokonce žádná pravidla pro využívání AI s sebou přinášejí řadu dílčích operačních rizik, která probereme v následující části. Obecná a dlouhodobá ignorace rizik plynoucích z AI může způsobit celkové selhání funkčnosti procesů, ať už těch byznys kritických, jako je třeba obsluha klientů, doručování produktů, zpracování objednávek atd., nebo podpůrných, typu vývoje a provozu IT, bezpečnosti, back-office aktivit atd.

Jak strategickým rizikům nejlépe čelit? Všem třem v zásadě podobně: analýzou a znalostí vlastních procesů, dlouhodobých záměrů a plánů. Na tomto základě pak lze definovat základní strategii v oblasti AI. Nemusí se jednat o nic komplikovaného, není nutný dlouhý a naleštěný dokument. Pro řešení základních strategických rizik spojených s rozvojem AI stačí vytýčit si základní směr vycházející z věcné a finanční analýzy, který zahrnuje i základní kontrolní mechanismy, vyhodnocování nasazených nástrojů, sledování konkurence a trhu a kontrolu nad vlastními procesy.

Operační rizika AI

Operační rizika jsou definována jako rizika ztráty způsobené selháním interních procesů, systémů, lidského faktoru nebo v důsledku vnějších událostí. Jaká jsou typická, resp. nejvážnější operační rizika spojená s využitím AI a jak jim lze obvykle čelit?

Riziko negativního dopadu AI na poskytované služby

AI nástroj může poskytnout špatnou radu nebo nepřesnou informaci zaměstnanci, který řeší klientský požadavek či bezpečnostní alert, ale i klientovi, který se ptá na produkt nebo na postup při podání reklamace. Lze sem zařadit i riziko předpojatosti (AI bias), kdy nástroj AI bude nevhodně reagovat na určité podněty (dotazy od některých skupin klientů či zaměstnanců), stejně jako riziko AI halucinací, kdy si nástroj může „vymyslet“ neexistující smlouvy, práva a povinnosti, spolupracující společnosti nebo třeba historické incidenty, které už organizace řešila.

Důsledkem materializace tohoto rizika může být stížnost klienta, špatné vyhodnocení důležitých informací nebo porušení regulace, typicky v oblasti ochrany spotřebitele. Jak tomu riziku čelit? V návaznosti na konkrétní proces nebo činnost, ve které má být AI využita, je možné riziko snížit zejména těmito opatřeními:

• Výběr vhodného nástroje.
• Jasné definování zadání a očekávaných výstupů.
• Zajištění kvalitních vstupních dat a důsledného tréninku modelu.
• Testování AI modelu před jeho nasazením, ověření správné funkčnosti v pilotním provozu.
• Nastavení kontrol výstupů.
• Edukace uživatelů o možnostech nepřesných výstupů a nutnosti výstupy ověřovat.

Dopad na kybernetickou bezpečnost a provozní odolnost

Využití AI nástrojů, zejména od externích poskytovatelů, může představovat riziko negativního dopadu na důvěrnost, dostupnost či integritu dat. Data vložená do modelu při jeho tréninku nebo při běžném využívání mohou být zpřístupněna dalším uživatelům či koncovým uživatelům. Pokud bude nástroj nedostupný a organizace nebude mít jiný způsob, jak k informacím přistoupit a využít je, opět to negativně ovlivní její hlavní i podpůrné procesy. Integrita dat pak do jisté míry souvisí s rizikem AI halucinací, protože špatné fungování může mít za následek neoprávněné pozměnění zpracovávaných nebo dostupných údajů. To může mít závažný negativní dopad, zejména když AI o něčem rozhoduje, např. o vyhodnocení bezpečnostního nebo fraud alertu, vyřízení klientské žádosti, ceně produktu atd.

Typickými opatřeními pro snížení těchto rizik mohou být:

• Výběr modelu nebo nastavení AI nástroje způsobem, který garantuje, že data organizace nebudou využita pro trénink obecného modelu pro další klienty ani sdílena s dalšími klienty.
• Výběr vhodného technického řešení, které sníží riziko úniku interních dat.
• Bezpečný a izolovaný model AI. Výběr důvěryhodného dodavatele, ověření jeho postupů a procesů pro ochranu dat.
• Testování před nasazením modelu včetně testování známých scénářů pro únik dat.
• Definování kritičnosti procesů, které budou AI nástrojem podporovány, včetně požadavků na jejich dostupnost (RTO, RPO…), garance dostatečného SLA od dodavatele.
• Nastavení (automatického) monitoringu a alertingu a definování procesu pro řešení výpadků.
• Nastavení politiky zálohování, výběr záložní varianty (jiný poskytovatel, interně provozované řešení).

Dopad na plnění právních povinností, resp. obecně právní problémy

Vývoj, nasazení a využívání AI může podléhat řadě různých regulací a nést s sebou i další právní rizika. Pro jejich konkretizaci je nutné zohlednit zejména způsob využití AI, postavení, velikost, oblasti činnosti a právní povinnosti dané organizace.

AI Act

Využívání umělé inteligence podle rizikovosti jednotlivých systémů a způsobů využití upravuje především AI Act. Jeho požadavky na řízení rizik probereme v další části příspěvku. AI Act nicméně upravuje i další povinnosti pro ty, kdo nástroje umělé inteligence vyvíjejí, uvádějí pod svým jménem na trh a využívají. Jedná se např. o povinné školení uživatelů, dokumentovatelnost postupů, transparentnost týkající se využívání AI atd. Organizace, která umělou inteligenci do svých procesů zavádí, si tak musí vyhodnotit, do jaké kategorie tento způsob využití AI spadá a jaké povinnosti podle AI Actu se na ni vztahují.

GDPR

Pokud pro trénink AI nebo při jejím využívání mají být využívány informace o konkrétních lidech, pak je nutné zohlednit i pravidla pro zpracování osobních údajů. Ta jsou obsažena především v obecném nařízení o ochraně osobních údajů – GDPR⁷ . Mezi hlavní požadavky GDPR na zpracování osobních údajů patří legalita zpracování, tzn. existence dostatečného právního titulu, stanovení rozsahu zpracovávaných údajů, transparentnosti vůči dotčeným osobám, zajištění ochrany údajů při jejich předávání do třetích zemí, tzn. mimo EU (např. provozovateli AI nástroje se sídlem v USA), a zajištění bezpečnosti a integrity osobních údajů.⁸

Kybernetická bezpečnost

S otázkou bezpečnosti dat souvisejí i další předpisy, zejména již zmíněná směrnice NIS2, resp. nový zákon o kybernetické bezpečnosti, a nařízení DORA. Pokud je organizace povinnou osobou podle těchto předpisů a využívá AI služby k podpoře svých významných činností, zajištění kybernetické bezpečnosti, provozní odolnosti atd., pak je musí zahrnout do celkového rámce a řešit je jako ostatní součásti svého ICT ekosystému. Pokud využívá AI nástroj od externího dodavatele, musí navíc řídit rizika spojená s tímto dodavatelem, resp. celým dodavatelským řetězcem, který se na poskytování dané služby podílí.

Autorské právo

Relevantním rizikem při využití AI pro činnosti, jako je marketing, příprava propagačních či produktových materiálů, loga, brandu atd., je i možné porušení autorského práva. To má dvě roviny. Využívaný model může být protiprávně natrénovaný na autorských dílech a použitím jeho výstupů se organizace vystavuje riziku soudních sporů s držiteli původních autorských práv. Druhým aspektem je pak rozsah možného využití výstupů z AI na základě smlouvy (smluvních podmínek), kdy řada provozovatelů AI nástrojů omezuje možnosti komerčního využití výstupů, zejména u nižších verzí či verzí zdarma dostupných.

Řešení compliance a právních rizik

Jak čelit právním a compliance rizikům a vyhnout se riziku pokut a soudních sporů? Především vyhodnocením toho, pro jaké procesy hodlá organizace AI využít, s jakými daty bude pracovat, co bude jejím výstupem a jak s výstupem hodlá organizace pracovat. Neméně důležitým vstupem je znalost vlastních povinností a regulačních rámců, které na organizaci dopadají. Po vyhodnocení těchto skutečností je možné vybrat vhodný AI nástroj (interní, externí), dostatečně ověřit dodavatele, nastavit smluvní podmínky i interní pravidla pro využití AI nástroje a výstupů z něj.

Rizika pro dotčené osoby

Pokud hovoříme obecně o řízení rizik nebo o řízení operačních či strategických rizik spojených s AI, máme obvykle na mysli rizika pro organizaci, její činnosti, služby, konkrétní projekt atd. AI Act však rizikovost AI systémů a s tím spojené požadavky řeší na základě rizik pro osoby dotčené využitím umělé inteligence.

Popišme si tento rozdíl na příkladu. Úřad státní správy zavede AI nástroj pro komunikaci s klienty. Do agendy tohoto úřadu patří i poskytování jednoho druhu sociálních dávek. Z pohledu úřadu se jedná o dílčí, okrajovou agendu, proto by případný výpadek nebo nedostupnost AI nástroje podporujícího tento proces nebyl pro celkový chod úřadu zásadní. Související riziko proto nehodnotí jako vysoké. Díky tomu se může rozhodnout pro akceptaci rizika nebo jeho snížení až v delším horizontu. Z pohledu dotčené osoby, která díky výpadku nebude moci požádat o sociální dávku, se však jedná o riziko významné. Daný AI systém tak může být hodnocen jako vysoce rizikový. Právě tímto způsobem AI Act definuje různé kategorie způsobů využití AI a s nimi souvisejících povinností.

Tou první kategorií jsou zakázané systémy. Využití AI, které do práv zasahuje nepřijatelným způsobem, je proto bez dalšího zakázáno. Mezi tyto systémy patří zejména AI zahrnující podprahové, manipulativní či klamavé techniky, jejichž cílem je ovlivnit jednání lidí, systémy pro hodnocení chování lidí a vytváření jejich „sociálního skóre“, systémy vytvářející nebo rozšiřující databáze rozpoznávání obličeje prostřednictvím necíleného získávání zobrazení obličeje z internetu nebo kamerových záznamů atd.⁹

Následují vysoce rizikové systémy AI. Jaké druhy AI tato kategorie obsahuje? Např. AI využívanou k biometrické identifikaci, k rozhodování v pracovněprávní oblasti (přijetí do zaměstnání, hodnocení zaměstnance atd.), k rozhodování o poskytnutí určitých finančních produktů (spotřebitelský úvěr, životní a zdravotní pojištění), přístup k sociálním dávkám, vzdělávání atd.¹⁰ Organizace, které využívají nebo hodlají využívat AI pro zajištění těchto činností, budou dle AI Actu od 2. srpna 2026 splňovat řadu povinností pro snížení rizik souvisejících s dotčenými osobami, konkrétně:

• Zavedení systému řízení rizik AI a celkovou AI governance.
• Provedení posouzení dopadu AI do práv dotčených osob (FRIA – Fundamental Rights Impact Assessment).
• Ověření kvality a legality použitých tréninkových dat.
• Získání kompletní dokumentace k danému AI nástroji či modelu.
• Vedení záznamů o výstupech z AI.
• Zajištění lidského dohledu nad systémem AI.

Pro využívání AI systémů v méně rizikových oblastech a činnostech, včetně např. chatovacích či dalších komunikačních nástrojů, stanoví AI Act již výrazně méně podmínek. Jedná se především o nutnost transparentnosti vůči uživatelům, kteří musejí vědět, kdy komunikují s umělou inteligencí a kdy se živým člověkem. Při využití tzv. obecných modelů AI jsou zavádějící organizace rovněž povinny přiměřeným způsobem ověřit, zda poskytovatel AI, tedy jejich dodavatel, při tréninku daného nástroje postupoval v souladu s autorským právem, a také k danému modelu získat související technickou a provozní dokumentaci.

Řízení rizik není překážka, ale pomoc

Pojem řízení rizik může znít komplikovaně a složitě, zejména pro organizace, které rizika systematicky neřídí. Aby byl systém řízení rizik skutečně efektivní, a nejenom formální, „papírový“, je vždy důležité přizpůsobit ho podmínkám té které organizace. To platí i pro řízení rizik spojených s umělou inteligencí. Pokud organizace odpovědně a reálně vyhodnotí svoje potřeby, plány a podmínky a na jejich základě popíše hlavní rizika spojená s AI, kterými čelí, může tato rizika skutečně řídit, snížit. Při tomto přístupu je řízení rizik skutečně pomocí a ne překážkou

Tato e-mailová adresa je chráněna před spamboty. Pro její zobrazení musíte mít povolen Javascript.

Poznámky pod čarou: 

1. Např. zpráva poradenské společnosti McKinsey The state of AI: How organizations are rewiring to capture value z března letošního roku, dostupná na https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai. 
2. Nařízení Evropského parlamentu a Rady (EU) 2024/1689 ze dne 13. června 2024, kterým se stanoví harmonizovaná pravidla pro umělou inteligenci a mění nařízení (ES) č. 300/2008, (EU) č. 167/2013, (EU) č. 168/2013, (EU) 2018/858, (EU) 2018/1139 a (EU) 2019/2144 a směrnice 2014/90/EU, (EU) 2016/797 a (EU) 2020/1828 (akt o umělé inteligenci).
3. Směrnice Evropského parlamentu a Rady (EU) 2022/2555 ze dne 14. prosince 2022 o opatřeních k zajištění vysoké společné úrovně kybernetické bezpečnosti v Unii a o změně nařízení (EU) č. 910/2014 a směrnice (EU) 2018/1972 a o zrušení směrnice (EU) 2016/1148 (směrnice NIS2), resp. její česká transpozice do nového zákona o kybernetické bezpečnosti č 264/2025 Sb., nebo tzv. nařízení DORA, tzn. nařízení Evropského parlamentu a Rady (EU) 2022/2554 ze dne 14. prosince 2022 o digitální provozní odolnosti finančního sektoru a o změně nařízení (ES) č. 1060/2009, (EU) č. 648/2012, (EU) č. 600/2014, (EU) č. 909/2014 a (EU) 2016/1011.
4. Směrnice Evropského parlamentu a Rady (EU) 2022/2557 ze dne 14. prosince 2022 o odolnosti kritických subjektů a o zrušení směrnice Rady 2008/114/ ES, resp. transpoziční zákon č. 266/2025 Sb., o kritické infrastruktuře.
5. Odložené platby, pro které se také používá anglický pojem buy now pay later (BNPL), jsou formou bezplatného úvěru, který klientům umožňuje zaplatit zboží či službu až po jejím doručení.
6. Blíže např. https://cc.cz/klarna-se-chlubila-ze-diky-ai-rok-neprijala-zadneho-cloveka-zasli-jsme-moc-daleko-priznava-ted/
7. Nařízení Evropského parlamentu a Rady (EU) 2016/679 ze dne 27. dubna 2016 o ochraně fyzických osob v souvislosti se zpracováním osobních údajů a o volném pohybu těchto údajů a o zrušení směrnice 95/46/ES (obecné nařízení o ochraně osobních údajů)
8. Blíže viz Nulíček, M. Donát, J. Nonnemann, F. Lichnovský, B. Tomíšek, J. Kovaříková, K. GDPR / Obecné nařízení o ochraně osobních údajů. 2. vydání. Wolters Kluwer, Praha: 2018
9. Viz čl. 5 odst. 1 AI Actu
10. Kompletní seznam je uveden v příloze č. III AI Actu.