Umělá inteligence se stala dominantním technologickým trendem současnosti, přičemž její adopce v českých i zahraničních organizacích dosahuje bezprecedentní rychlosti. Zatímco 87 % tuzemských organizací již AI aktivně využívá, pouze 21 % má implementován systém řízení souvisejících rizik. Tento článek analyzuje aktuální stav řízení AI rizik v kontextu informační bezpečnosti, mapuje nově vznikající hrozby od AI-asistovaných phishingových kampaní po adversariální útoky na samotné AI modely. Na základě mezinárodních zdrojů a výsledků průzkumu České asociace umělé inteligence představuje komplexní rámec pro identifikaci, hodnocení a mitigaci rizik se zvláštním důrazem na strategickou roli vzdělávání.
umělá inteligence řízení rizik informační bezpečnost AI governance kybernetická bezpečnost
Úvod
Adopce umělé inteligence v organizacích dosahuje nebývalé dynamiky. Podle Stanford HAI 2025 AI Index Reportu již 78 % organizací globálně využívá AI technologie. V České republice je tento trend ještě výraznější. Podle průzkumu České asociace umělé inteligence aktivně pracuje s AI nebo experimentuje již 87 % dotázaných organizací.
Tento exponenciální růst však přináší dramatický nárůst bezpečnostních výzev. AI představuje bezpečnostní paradox. Na jedné straně nabízí mocné nástroje pro detekci hrozeb a automatizaci obranných mechanismů. Na druhé straně otevírá zcela nové vektory útoků od sofistikovaných AI-asistovaných phishingových kampaní až po adversariální techniky umožňující otrávení trénovacích dat nebo obejití detekčních systémů.
Kritickým problémem je zásadní nesoulad mezi rychlou adopcí AI a vyspělostí jejího řízení rizik AI. Podle průzkumu České asociace umělé inteligence pouze 21 % českých organizací integruje AI rizika do svého systému řízení a 41 % organizací nepracuje s žádným konkrétním rámcem. Tento článek poskytuje systematický přehled problematiky s praktickými doporučeními pro různé skupiny stakeholderů.
Taxonomie a spektrum AI rizik
Efektivní řízení AI rizik vyžaduje nejprve jejich systematickou identifikaci a kategorizaci. Tato kapitola představuje významné taxonomie AI rizik, zejména komplexní přístup MIT AI Risk Repository, dále poukazuje na aktuální trendy v oblasti AI hrozeb.
MIT AI Risk Taxonomy
MIT AI Risk Repository představuje nejucelenější přístup ke kategorizaci AI rizik s databází přes 1 600 rizikových scénářů. Kauzální taxonomie klasifikuje rizika podle tří os: subjektu (AI systém, člověk, jiné faktory), záměru (úmyslné vs. neúmyslné) a časování (před vs. po nasazení). Doménová taxonomie definuje sedm hlavních kategorií: diskriminace a toxicita, soukromí a bezpečnost, dezinformace, škodliví aktéři a zneužití, interakce člověk-počítač, socioekonomické a environmentální dopady a bezpečnost a selhání AI systémů.
Není cílem mít zdokumentována všechna AI rizika, ale pouze ta relevantní pro danou organizaci a efektivním způsobem je řídit.
Aktuální trendy v AI hrozbách
Překotný rozvoj umělé inteligence s sebou přináší rovněž dramatický rozvoj nových hrozeb a zranitelností. Toto jsou tři typy hrozeb, u kterých je sledován narůstající trend.
Ofenzivní využití AI útočníky zahrnuje zejména zneužití velkých jazykových modelů pro tvorbu přesvědčivých phishingových kampaní. ENISA dokumentuje nárůst těchto útoků v kombinaci s deepfake technologiemi. Útočníci pomocí AI generují audio a video napodobující vedoucí pracovníky, což vede ke značným přímým či nepřímým ztrátám. Současně dochází k využití AI pro generování sofistikovaného škodlivého kódu a automatizaci skenování zranitelností.
Útoky na samotné AI systémy představují novou kategorii hrozeb. Data poisoning (otrávení trénovacích dat) může způsobit, že model se naučí chybným výstupům. Útoky na obcházení detekce (evasion útoky) umožňují oklamat model při inferenci pomocí adversariálních, tedy záměrně upravených příkladů. Významnou hrozbou jsou backdoory v open-source modelech. Studie Trend Micro odhalila na platformě Hugging Face 400 modelů obsahujících škodlivý kód.
Zranitelnosti velkých jazykových modelů jsou předmětem pozornosti OWASP, který publikoval Top 10 bezpečnostních rizik pro LLM aplikace. Na prvním místě figuruje prompt injection, jedná se o techniku, kdy útočník podvrženým vstupem přiměje AI ignorovat původní instrukce. Na druhém místě je sensitive data disclosure – úniky citlivých informací vygenerované modelem.
Standardy a regulační rámce
V reakci na růst významů AI vzniká řada mezinárodních standardů a regulačních rámců, které poskytují organizacím strukturovaný přístup k řízení AI rizik. Tato kapitola představuje tři klíčové přístupy: metodický rámec NIST AI RMF, certifikovatelný standard ISO/IEC 42001:2023 a právně závaznou regulární normu EU AI Act.
NIST AI Risk Management Framework
NIST představil v lednu 2023 AI Risk Management Framework se čtyřmi základními oblastmi: Govern (zavedení organizačních politik), Map (identifikace kontextu a rizik), Measure (vyhodnocení rizikových charakteristik) a Manage (implementace opatření ke zmírnění rizik). Dále NIST AI Framework definuje sedm charakteristik důvěryhodné AI: validní a spolehlivá, bezpečná, zabezpečená a odolná, odpovědná a transparentní, vysvětlitelná, respektující soukromí a spravedlivá s řízeným škodlivým zkreslením.
V červenci 2024 NIST rozšířil rámec o specializovaný Generative AI Profile, který identifikuje 12 klíčových rizik specifických pro generativní AI, včetně konfabulace, nebezpečného obsahu, rizik pro soukromí dat nebo integrity informací. Rámec obsahuje rovněž úplnou sadu opatření, ze které organizace mohou v rámci procesu řízení rizik (hledání opatření pro minimalizaci rizik) čerpat.
ISO/IEC 42001:2023
Jedná se o první mezinárodní standard pro řízení AI na úrovni systému ř
ízení. Podobně jako standard ISO 27001 poskytuje požadavky pro zavedení, udržování a zlepšování systému řízení AI v organizacích. Je založen na cyklu Plan-Do-Check-Act a umožňuje certifikaci třetí stranou. Certifikace již získaly AWS, Microsoft (pro Copilot), Synthesia a další významné organizace.
EU AI Act
EU AI Act (Nařízení 2024/1689) vstoupil v platnost 1. srpna 2024 a zavádí rizikově založený přístup se čtyřmi kategoriemi: (1) Nepřijatelné riziko – zakázáno od února 2025; (2) Vysoké riziko – vyžadují certifikaci od srpna 2026, včetně systému řízení rizik, kvality dat, transparentnosti a lidského dohledu; (3) Omezené riziko – vyžaduje transparentnost; (4) Minimální riziko – bez regulace.
AI Act se zaměřuje primárně na ochranu práv jednotlivců, nikoli na rizika pro organizaci. AI Act je povinná legislativa a regulace, zatímco rámec a standard představují pro firmy dobrovolnou variantu. Pro komplexní řízení je vhodná kombinace všech tří přístupů.
Aktuální stav AI Governace v České republice dle průzkumu
Průzkum České asociace umělé inteligence (122 respondentů) odhalil následující nelichotivý stav: 87 % organizací využívá nebo se snaží adaptovat AI, ale pouze 21 % firem integruje AI rizika do celkového systému řízení a 41 % nepracuje s žádným rámcem. Tato časovaná bomba vystavuje organizace značným provozním, regulatorním i reputačním hrozbám.
Jaká je vyspělost AI governance: 34 % organizací funguje ad-hoc bez formálních procesů, 31 % je na rozvíjející se úrovni, pouze 15 % má definovanou praxi a jen 7 % dosahuje pokročilé úrovně řízení. Celých 65 % organizací se nachází na nejnižších dvou úrovních.
Nejčastěji identifikované kategorie rizik (dle AI MIT kategorií): soukromí a bezpečnost dat (79 %), dezinformace (64 %), bezpečnost a selhání AI systémů (49 %), škodlivé použití (45 %), diskriminace (17 %). Pouze 36 % organizací má pro tato rizika zavedena konkrétní opatření.
Jaké jsou klíčové faktory úspěchu efektivní AI Governance? Strategická podpora vedení (45 %) – organizace s aktivním C-level vykazují o 28 % vyšší připravenost a o 5 % vyšší růst tržeb. Důkladné testování (36 %) a agilní přístup (33 %). Kombinace všech tří faktorů vede k 3× vyšší vyspělosti governance.
Školení jako strategický pilíř řízení AI rizik
Uvedený průzkum mimo jiné identifikoval školení jako nejdůležitější organizační opatření s 59% podporou respondentů, výrazně před zapojením bezpečnostních týmů (26 %) nebo vedení (17 %). Vysoká priorita školení odráží skutečnost, že organizace vnímají nedostatek znalostí jako hlavní bariéru efektivního řízení AI rizik.
Efektivní vzdělávací program musí pokrývat různé úrovně: vrcholové vedení, manažery business útvarů, technické specialisty a řadové zaměstnance. Přestože školení vyšlo jako jedno z nejdůležitějších organizačních opatření při minimalizaci AI rizik, z mé praktické zkušenosti z různých organizací vyplývá, že AI školení se neúčastnilo 30–40 % zaměstnanců. Přestože „slavíme“ tři roky od spuštění první verze ChatGPT.
Praktická doporučení pro řízení AI rizik
Tato kapitola převádí teoretické poznatky a standardy do konkrétních opatření. Nabídne praktická doporučení pro tři zásadní skupiny stakeholderů: poskytovatele a vývojáře AI systémů, organizace, které AI implementují do svých procesů, a konečné uživatele. Každá skupina čelí specifickým výzvám a disponuje odlišnými možnostmi, jak ovlivnit bezpečnost AI.
Poskytovatelé a vývojáři AI systémů
Poskytovatelé a vývojáři AI systémů nesou zásadní odpovědnost za bezpečnost svých produktů již od počátku vývoje. U vývojářů je nutné uplatnit principy security by design, privacy by design a fairness by design v celém vývojovém cyklu. Důkladné testování musí zahrnovat adversarial testing pro ověření odolnosti proti útokům, red teaming pro identifikaci slabin a bias testing pro detekci nepřípustných zkreslení. Transparentní dokumentace prostřednictvím data model cards je klíčová; každý model by měl být doložen jasnou specifikací svého účelu, trénovacích dat, výkonu a omezení. V oblasti supply chain security je nezbytné ověřovat všechny komponenty a proISvádět scanning modelů na přítomnost backdoorů. Důležitý je rovněž soulad s mezinárodními normami včetně případné certifikace dle ISO/ IEC 42001 a compliance s EU AI Act. Mezi důležitá opatření jak pro vývojáře, tak pro koncové zákazníky AI produktů a služeb zahrnujeme rovněž incident response procedury pro případy AI bezpečnostních incidentů.
Organizace implementující AI
Organizace, které začínají používat AI ve svých procesech, potřebují nejprve postavit pevný a prakticky použitelný governance rámec. Ten nevzniká „na zelené louce“ – navazuje na stávající řízení rizik a rozšiřuje ho o specifika AI. Součástí je jasná struktura odpovědností, zřetelně stanovené role a orgán, který na oblast dohlíží (typicky AI Risk Committee).
Než se nový AI systém dostane do provozu, měl by projít AI Impact Assessmentem – tedy posouzením dopadů na bezpečnost, data, procesy i uživatele. V technické rovině hrají roli hlavně opatření jako kontrola vstupů, filtrování výstupů, průběžný monitoring chování modelu a uchovávání auditních stop. Z hlediska procesů je klíčové řídit celý životní cyklus modelu včetně řízení dodavatelů AI produktů a služeb.
V oblasti regulací musejí organizace sladit AI s požadavky GDPR, zavést program v souladu s EU AI Act, a pokud provozuje vysoce rizikové systémy, provést jejich registraci a průběžné vyhodnocování. Velmi důležitým prvkem je rovněž vzdělávání – a to nejen techniků, ale každého, kdo s AI přijde do kontaktu (viz výše).
Úspěch programu řízení AI rizik stojí na sedmi principech, které se v praxi osvědčují:
- Správně zvolený rámec: Organizace má vycházet z osvědčeného standardu, např. NIST AI RMF nebo ISO/IEC 42001.
- Podpora vedení: Bez aktivního zájmu a sponzorství top managementu se iniciativy zpomalují nebo rozpadají.
- Propojení se stávajícími procesy: AI governance nemá být paralelním světem, ale součástí běžného risk managementu a compliance.
- Vícevrstvá obrana: Kombinace technických, procesních a organizačních kontrol vytváří skutečnou odolnost.
- Měřitelnost a dokumentace: Jasné ukazatele a dobrá evidence umožňují prokazovat soulad, vyhodnocovat rizika a reagovat na problémy.
- Otevřená kultura: Sdílení znalostí a zkušeností napříč týmy zvyšuje povědomí a brání slepým místům.
- Externí pohled a neustálé zlepšování: Pravidelný audit, testování a refinování postupů drží program aktuální i při rychlém vývoji technologií.
Cílem je, aby AI nebyla vnímána jako izolovaný technologický experiment, ale jako stabilní a bezpečně řízená součást organizace s jasně nastavenými pravidly a odpovědnostmi.
Koncoví uživatelé
Koncoví uživatelé hrají důležitou roli v bezpečném využívání AI technologií. Měli by udržovat kritický přístup k AI výstupům a vždy ověřovat získané informace z nezávislých zdrojů. Důležitá je ochrana osobního soukromí prostřednictvím minimalizace sdílení citlivých dat s AI systémy. U chytrých zařízení je nezbytné změnit výchozí hesla a pravidelně aktualizovat firmware. Rodiče by měli chránit děti nastavením rodičovských kontrol a aktivním vzděláváním v oblasti bezpečného používání AI. Kontinuální vzdělávání v oblasti AI rizik je klíčové pro informované rozhodování a bezpečné využívání těchto technologií.
Závěr
Analýza současného stavu řízení AI rizik odhaluje kritický rozpor mezi rychlou adopcí AI technologií (87 % v ČR) a vyspělostí governance (21 % integruje rizika do řízení). Tento stav představuje časovanou bombu, která může vést k regulatorním pokutám, reputačním škodám a ztrátě konkurenceschopnosti.
Spektrum AI rizik je komplexní – od ofenzivního využití generativní AI pro sofistikované útoky přes adversariální techniky ohrožující samotné AI modely až po governance rizika spojená s nedostatečnou transparentností a biaem. MIT AI Incident Tracker dokumentuje exponenciální nárůst incidentů.
Pro efektivní řízení jsou k dispozici propracované rámce: NIST AI RMF (metodika), ISO/IEC 42001:2023 (certifikovatelný systém managementu) a EU AI Act (právně závazné požadavky).
Výzva k akci je jednoznačná. Organizace musejí začít okamžitě, prioritizovat vzdělávání, zajistit podporu vedení a přijmout iterativní přístup. Řízení AI rizik není jednorázový úkol, ale trvalý proces, který vyžaduje pozornost a schopnost přizpůsobovat se. Pro organizace, které tento proces zvládnou, představuje AI významnou konkurenční výhodu.
Tato e-mailová adresa je chráněna před spamboty. Pro její zobrazení musíte mít povolen Javascript.
Použité zdroje:
Primární výzkum a data:
[ 1 ] Stanford HAI. The 2025 AI Index Report [online]. Stanford, 2025 [cit. 2025-11-18]. Dostupné z: https://hai.stanford.edu/ai-index/2025-ai-index-report
[ 2 ] MIT. The AI Risk Repository [online]. Cambridge: MIT, 2024 [cit. 2025-11-18]. Dostupné z: https://airisk.mit.edu/
[ 3 ] MIT. The AI Incident Tracker [online]. Cambridge: MIT, 2024 [cit. 2025-11-18]. Dostupné z: https://airisk.mit.edu/ai-incident-tracker
[ 4 ] Česká asociace umělé inteligence. Průzkum řízení rizik AI v českých organizacích 2024/2025. Praha, 2025.Standardy a regulační rámce:
[ 5 ] NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0). NIST AI 100-1, 2023.
[ 6 ] AUTIO, C. et al. Generative Artificial Intelligence Profile. NIST AI 600-1, 2024.
[ 7 ] ISO/IEC 42001:2023. Information technology – Artificial intelligence – Management system.
[ 8 ] Nařízení (EU) 2024/1689 (AI Act). Úřední věstník EU, 2024.
Bezpečnostní hrozby:
[ 9 ] ENISA. Threat Landscape 2024. Heraklion: ENISA, 2024.
[ 10 ] Trend Micro. Exploiting Trust in Open-Source AI. 2024.
[ 11 ] OWASP. Top 10 for Large Language Model Applications. 2024.
[ 12 ] Reuters. Italy fines OpenAI 15 million euros over ChatGPT data breach. 2024.
[ 13 ] EDPS. EDPS Guidance on AI Transparency. Brussels, 2024.
