Kybernetická bezpečnost vstupuje do období, v němž tradiční přístupy založené na pravidlech, signaturách a staticky definovanýchkontrolách přestávají postačovat. Důvodem není selhání technologií jako takových, ale proměna povahy chráněných systémů i samotnýchhrozeb. AI asistenti, agentní architektury a inteligentní komponenty vestavěné do podnikových aplikací, infrastruktury i vývojovýchplatforem vytvářejí prostředí, které je adaptivní, probabilistické a částečně autonomní. Tento článek argumentuje, že kyberbezpečnostmusí na tuto změnu reagovat posunem od rule-based ochrany k adaptivnímu modelu řízení, jenž propojuje architekturu, monitoring,lidský dohled, řízení rizik a průběžné učení. Teoretický rámec je vystavěn na Cynefin frameworku Davea Snowdena a Hofstadterově úvazeo úrovních vysvětlení ve spojení s Gödelovými větami o neúplnosti. Praktická část článek zasazuje do kontextu NIST AI RMF, ISO/IEC42001 a regulatorního dopadu EU AI Act. Hlavní teze zní: organizace již nemohou chránit AI systémy stejnými mentálními modely, kterébyly vytvořeny pro deterministické IT; musejí je řídit jako dynamické socio-technické systémy v průběhu celého životního cyklu.
AI governance kybernetická bezpečnost ISO/IEC 42001 NIST AI RMF EU AI Act
Cynefin Hofstadter řízení rizik životní cyklus AI systému
Když se mění povaha systému, musí se změnit i obrana
Po většinu moderní historie informační bezpečnosti bylo možné vycházet z poměrně stabilního předpokladu – chráněný systém je v zásadě deterministický, jeho rozhraní jsou známá, chování lze popsat architekturou, politikou a sadou pravidel. Bezpečnostní disciplína proto přirozeně vyrostla na modelech, které hledají známé vzorce, vynucují definovaná omezení a reagují na odchylky od předem popsaného normálu. Tento předpoklad se však dnes rozpadá.
AI systémy, zejména generativní modely, agentní workflow a inteligentní komponenty napojené na nástroje, data a rozhodovací procesy, nevytvářejí pouze „další aplikaci“. Mění povahu celého provozního prostředí. Jsou kontextové, částečně autonomní, často netriviálně závislé na datech, průběžně se dolaďují a jejich dopad se neodehrává pouze v technické vrstvě, ale i v organizačních rozhodnutích, pracovních postupech a vztahu člověka a stroje. NIST AI RMF právě proto chápe AI riziko jako riziko, které vzniká v designu, vývoji, nasazení, používání a vyhodnocování AI systémů, a zdůrazňuje, že rámec má být dobrovolný, praktický, use- -case agnostic a použitelný napříč životním cyklem.
Z toho plyne zásadní důsledek: kyberbezpečnost už nelze chápat jen jako ochranu digitálních aktiv proti známým technickým útokům. Musí se stát součástí širšího modelu řízení AI systémů, který sleduje nejen zranitelnosti, ale i účel systému, kontext použití, kvalitu dat, změny chování, lidský dohled a mechanismy průběžné nápravy. V prostředí AI nestačí chránit software; je třeba řídit dynamickou rozhodovací kapacitu.
Cynefin: proč pravidla fungují dobře v jednoduchém světě a hůře ve světě emergence
První užitečný rámec pro pochopení této změny nabízí Dave Snowden. Cynefin rozlišuje různé domény rozhodování podle povahy kauzality a předvídatelnosti: jasnou, komplikovanou, komplexní a chaotickou. Jeho síla spočívá v tom, že nepředepisuje jedno univerzální řešení, ale ukazuje, že typ problému má určovat typ odpovědi.
V jasné doméně fungují checklisty, standardy a opakovatelné kontrolní mechanismy. V komplikované doméně funguje expertiza, analýza a optimalizace známých postupů. Tradiční kyberbezpečnost byla historicky nejsilnější právě v těchto doménách: patch management, segmentace, politiky přístupů, signaturová detekce, hardening, penetrační testy proti známým třídám slabin.
Jenže mnohé současné AI hrozby se nepohybují primárně v těchto doménách. Prompt injection, zneužití toolchainu, manipulace s kontextem, nečekané řetězení akcí mezi agentem a externími systémy, emergentní kombinace drobných slabin či autonomní průzkum prostředí mají povahu komplexní domény: vzorec útoku je často rozpoznatelný až zpětně, kauzalita je nelineární a pouhá extrapolace minulých signatur nestačí. V takovém prostředí je vhodnější logika probe–sense–respond než rule–match–block. NIST tento posun nepřímo potvrzuje tím, že AI RMF i jeho Generative AI Profile kladou důraz na průběžné hodnocení, testování, měření a přizpůsobování kontrol konkrétnímu kontextu použití, nikoli jen na jednorázové posouzení.
Právě zde je užitečný i Snowdenův pojem enabling constraints. Na rozdíl od rigidních omezení, která vynucují přesně definované chování, enabling constraints vytvářejí podmínky, v nichž mohou vznikat žádoucí vzorce a nežádoucí být včas rozpoznány. Pro klasické IT je typické pravidlo typu „zablokuj port“; pro AI prostředí je často účinnější soustava omezení, která kombinuje přístupová práva, kontextové limity, monitoring, lidský dohled a mechanismy bezpečného selhání.
Hofstadter a Gödel: problém úrovně porozumění
Druhý rámec je hlubší a méně technický, ale pro pochopení současné situace mimořádně užitečný. Douglas Hofstadter opakovaně ukazuje, že různé jevy lze vysvětlovat na různých úrovních. Nízká úroveň může být přesná, a přesto málo užitečná; vyšší úroveň může být stručnější a zároveň vystihovat skutečnou povahu problému. Jeho známá úvaha s domino kostkami, kde kostka 641 zůstává stát, je silná právě proto, že ukazuje rozdíl mezi fyzikálním popisem řetězce událostí a vysvětlením, že „641 je prvočíslo“. První je detailní, druhé je podstatné.
Podobný problém dnes vidíme v kyberbezpečnosti. Mnohé tradiční nástroje výborně popisují, co se v systému stalo: jaký request přišel, který paket prošel, jaká chyba se objevila v logu, která signatura odpovídá známému útoku. Ale stále častěji selhávají v porozumění, proč se to děje a jaký nový vzorec z interakce systému, dat a aktéra právě emerguje.
V této souvislosti je užitečné připomenout i Gödelovy věty o neúplnosti. Jejich význam nelze mechanicky přenášet z matematiky do kyberbezpečnosti, ale jako analogie upozorňují na důležitou mez: žádný dostatečně bohatý formální systém nemůže být zároveň úplný a uzavřený. Rule-based bezpečnostní aparát je formální systém. Lze jej rozšiřovat, zpřesňovat, auditovat a automatizovat, ale nelze realisticky očekávat, že předem pokryje všechny budoucí kombinace chování v prostředí, které samo mění strukturu interakcí. Proto útočníci často nevítězí hrubou silou, ale operují na hranicích toho, co obranný systém ještě nevidí jako významný vzorec.
AI zde nepřináší pouze novou technologii; přináší novou úroveň asymetrie. Útočník s AI agentem nemusí jen rychleji vykonávat známé techniky. Může iterativně testovat prostředí, skládat dohromady drobné indicie a vytvářet pracovní hypotézy o vnitřní logice systému. Obrana, která zůstane uzavřena v čistě signaturové logice, tak může mít technicky dobré nástroje, a přesto operovat na nižší úrovni porozumění než samotný útok.
Případ autonomního AI útoku jako varovný signál
Dobře to ilustruje veřejně popsaný případ platformy McKinsey Lilli, který zveřejnila bezpečnostní firma CodeWall. Podle jejich disclosure agent nejprve autonomně mapoval veřejně dostupný attack surface, identifikoval veřejnou API dokumentaci a nalezl i nezabezpečené endpointy. Následně rozpoznal zranitelnost typu SQL injection, která nebyla podle zveřejněného popisu zachycena standardním scanningem, a po sérii iterací využil chybová hlášení k rekonstrukci struktury databázového dotazu. CodeWall tvrdí, že tímto způsobem jejich agent získal přístup k produkčním datům a že McKinsey po nahlášení problém odstranila. Jde o veřejné tvrzení z disclosure, nikoli o nezávisle publikovanou forenzní zprávu; jako ilustrace trendu je však případ mimořádně výmluvný.
Na tomto případu není nejdůležitější technický detail konkrétní zranitelnosti. Klíčové je, že útok měl charakter adaptivního dialogu se systémem. Agent nepostupoval pouze podle jedné signatury, ale učil se z odpovědí prostředí. Přesně zde naráží pravidlová obrana na své limity: je navržena pro detekci známých tříd chování, nikoli pro průběžné vyhodnocování emergentních interakcí mezi systémem a inteligentním protivníkem.
NIST AI RMF: od technické ochrany k řízení AI rizika
Pokud má organizace na tuto změnu reagovat systematicky, potřebuje rámec, který přesahuje tradiční security controls. NIST AI RMF je v tomto směru mimořádně cenný, protože chápe AI riziko nikoli jen jako technickou zranitelnost, ale jako kombinaci pravděpodobnosti a závažnosti negativních dopadů na jednotlivce, organizace i společnost. Framework je určen organizacím, které AI systémy navrhují, vyvíjejí, nasazují nebo používají, a jeho podstatou je propojit governance s praktickými aktivitami po celou dobu životního cyklu.
Praktickou sílu NIST AI RMF dobře vystihují jeho čtyři funkce: Govern, Map, Measure, Manage. Playbook k AI RMF výslovně uvádí, že slouží k dosažení výstupů právě v těchto čtyřech oblastech. Govern znamená vytvořit odpovědnost, role, politiky, kulturu a rozhodovací mechanismy. Map znamená porozumět kontextu, účelu systému, zainteresovaným stranám a zdrojům rizika. Measure znamená systematicky testovat, ověřovat, monitorovat a vyhodnocovat vlastnosti systému. Manage znamená riziko prioritizovat, ošetřovat, komunikovat a průběžně upravovat opatření.
Pro generativní AI a agentní architektury je zvlášť významný Generative AI Profile, který NIST vydal v červenci 2024 jako doplněk k AI RMF 1.0. Ten explicitně řeší specifika generativní AI včetně rizik spojených s životním cyklem, různými rolemi aktérů a potřebou důslednějšího testování a řízení. Tím nepřímo potvrzuje, že u nových AI systémů nelze oddělit bezpečnost od governance a governance od provozního monitoringu.
Z pohledu kyberbezpečnosti je klíčové, že NIST nepředpokládá jednorázovou bezpečnostní „správnost“. AI systém nemá být pouze schválen, ale průběžně posuzován. To je zásadní změna proti tradičnímu modelu, v němž bezpečnostní kontrola často stojí na vstupu nebo na konci projektu. V AI světě musí být součástí průběžného provozu.
ISO/IEC 42001: operacionalizace governance a dohledu nad AI systémy
Zatímco NIST poskytuje jazyk a logiku risk managementu, ISO/IEC 42001 poskytuje management-systémový rámec, jak tuto logiku zabudovat do organizace. ISO výslovně uvádí, že norma stanoví požadavky pro zavedení, implementaci, udržování a neustálé zlepšování systému managementu umělé inteligence a je určena organizacím, které AI produkty nebo služby poskytují či využívají. Současně zdůrazňuje, že norma řeší specifické výzvy AI, včetně transparentnosti, etických aspektů a průběžného učení, a nabízí strukturovaný způsob řízení rizik a příležitostí spojených s AI.
Právě zde se ISO/IEC 42001 stává pro kyberbezpečnost mimořádně relevantní. V klasické praxi bývá bezpečnost často organizována kolem aktiv, hrozeb, kontrol a incidentů. To je nutné, ale pro AI nedostatečné. Norma 42001 organizaci v zásadě nutí, aby AI chápala jako řízený systém v průběhu celého životního cyklu. Prakticky to znamená nejméně pět věcí.
- Organizace musí vymezit role, odpovědnosti, cíle a governance pro AI. Bez jasného vlastníka každého AI systému, mechanismů eskalace a odpovědnosti za rozhodnutí se z AI stává provozní riziko bez řídicího centra.
- Rizika a příležitosti spojené s AI musejí být identifikovány a průběžně vyhodnocovány na úrovni jednotlivých AI systémů v celém životním cyklu, ne až nasazením. Těch AI systémů mají dnes firmy stovky. Za rok jich můžou být tisíce, včetně AI agantů. U AI to neznamená jen kybernetické útoky v úzkém smyslu, ale i selhání kvality dat, nedostatečný lidský dohled, drift chování, nevhodné použití mimo původní účel, nepřiměřenou autonomii nebo nedomyšlené integrace.
- Je třeba zavést procesy, dokumentované informace a kontrolní mechanismy pro jednotlivé fáze životního cyklu jednotlivých AI systémů – návrh, vývoj, nasazení, změny, provoz a vyřazení AI systému. V tomto bodě se ISO/IEC 42001 přirozeně propojuje s bezpečnostní architekturou, change-managementem a dohledem nad produkčním provozem.
- Organizace musí monitorovat výkon jednotlivých AI systémů, incidenty, odchylky a potřebu nápravných opatření. To je zásadní právě proto, že AI systém není jednorázový artefakt, ale emergentní systém; jeho dopad se v čase mění spolu s daty, kontextem, uživateli a integracemi.
- Norma podporuje logiku neustálého učení a zlepšování. V kyberbezpečnosti AI tedy nemá jít jen o reakci na incident, ale o průběžné přehodnocování modelu rizik, kontrol a lidského dohledu, tedy udržování tvůrčího napětí a rovnováhy systému vytvářením mantinelů místo bariér.
Jinými slovy: ISO/IEC 42001 neříká jen „mějte AI pod kontrolou“. Nutí organizaci vytvořit takový systém řízení, v němž lze AI systémy skutečně spravovat, auditovat a upravovat v čase. Z perspektivy kyberbezpečnosti je to zásadní posun od ochrany systému jako statického objektu k řízení systému jako živé provozní kapacity.
Co to znamená pro bezpečnostní architekturu v praxi
Tento posun má bezprostřední praktické důsledky. Bezpečnostní architektura v prostředí AI by měla být navrhována alespoň ve čtyřech vrstvách.
První vrstvou je architektonická zdrženlivost: jasně definovat oprávnění agentů, omezit rozsah nástrojů, oddělit testovací a produkční prostředí, minimalizovat přístup ke kontextu a zavést bezpečné výchozí stavy. U agentních systémů je rozsah oprávnění často důležitější než samotný model.
Druhou vrstvou je průběžný monitoring a měření: sledovat nejen technické logy, ale i anomální sekvence rozhodnutí, nečekané změny chování, neobvyklé kombinace akcí a odchylky mezi zamýšleným účelem a reálným používáním. Tady se setkává kyberbezpečnost s AI observability.
Třetí vrstvou je lidský dohled: ne jako formální podpis na konci procesu, ale jako promyšlený zásahový mechanismus tam, kde roste dopad, autonomie nebo nejistota systému. Lidský dohled musí být navržen a kontinuálně realizován, nejen deklarován.
Čtvrtou vrstvou je adaptivní assurance: průběžné testování, red teaming, simulace zneužití a pravidelné přehodnocování předpokladů. V prostředí, kde útoky samy získávají agentní charakter, se statické bezpečnostní testování stává nutným, ale nikoli dostačujícím.
EU AI Act: od compliance k provozní disciplíně
Z pohledu evropské praxe je zásadní, že AI Act již vytváří právní rámec s postupným nabíháním povinností. Současně však Evropská komise v listopadu 2025 v rámci Digital Omnibus navrhla úpravu implementačního harmonogramu pro část pravidel týkajících se high-risk AI systémů, a to jejich větší navázání na dostupnost harmonizovaných standardů, společných specifikací a pokynů. Prakticky to znamená, že původní harmonogram je třeba dnes číst spolu s probíhající snahou o jeho implementační zjednodušení a částečnou flexibilizaci.
Pro praxi organizací jsou podstatné zejména čtyři dopady.
Prvním je, že bezpečnost AI systémů přestává být jen technickou otázkou. U vysoce rizikových systémů AI Act výslovně spojuje risk management, kvalitu dat, logování, dokumentaci, informace pro deployera, lidský dohled a robustnost, kyberbezpečnost a přesnost. Tedy přesně to, co v provozní realitě nemůže být řízeno oddělenými silo funkcemi.
Druhým je životní cyklus. Komise výslovně uvádí, že po uvedení systému na trh zajišťují orgány dohled nad trhem, deployeři lidský dohled a monitoring a poskytovatelé musejí mít zaveden post-market monitoring; poskytovatelé i deployeři zároveň hlásí závažné incidenty a poruchy. To je ve své podstatě regulatorní potvrzení stejné logiky, kterou prosazují NIST a ISO/IEC 42001: AI systém musí být řízen průběžně, nikoli jen ex ante.
Třetím je kompetence. AI gramotnost už není měkké doporučení, ale povinnost. To má pro governance zásadní důsledky: ani nejlepší policy framework nebude fungovat, pokud lidé, kteří systémy nasazují, provozují nebo používají, nerozumějí jejich omezením, rizikům a správným režimům použití.
Čtvrtým je důraz na GPAI a systémové riziko. Komise v roce 2025 publikovala nástroje podpory compliance pro poskytovatele GPAI modelů, včetně dobrovolného Code of Practice zaměřeného na transparentnost, copyright a safety & security. To je důležité zejména proto, že velká část podnikových AI řešení je dnes závislá na modelech a dodavatelích, kteří stojí mimo samotnou organizaci. Governance AI se tak nevyhnutelně rozšiřuje i na otázku dodavatelského řetězce a řízení externích modelových závislostí.
Doporučení: jak by organizace měly EU AI Act prakticky uchopit
Zde se otevírá nejdůležitější závěr pro praxi. Organizace by neměly EU AI Act číst jako další samostatný compliance checklist přilepený na existující IT a kyberbezpečnostní procesy. Takový přístup by vedl pouze k administrativnímu rozšíření starého paradigmatu. Měly by jej naopak využít jako impuls ke změně řídicího modelu.
To v praxi znamená alespoň toto:
- propojit kyberbezpečnost, AI governance, data governance, legal/compliance a provozní vlastnictví systémů do jednoho řídicího rámce,
- řídit AI systémy po celou dobu jejich životního cyklu, nikoli jen při jejich zavádění,
- zavést průběžný monitoring, red teaming a přehodnocování rizik podle reálného používání systému,
- navrhovat lidský dohled jako skutečný intervenční mechanismus, a to pro každý AI systém zvlášť, ne jako formální deklaraci,
- posuzovat vlastníkem AI systému nejen technickou správnost modelu, ale i účel použití AI systému, kontext použití, oprávnění, integrace a dopady na zainteresované strany,
- používat AI systémy také k učení a obraně: k detekci slabých signálů, modelování útoků a adaptivní reakci, ovšem v rámci dobře řízeného governance rámce.
V tomto ohledu se NIST AI RMF, ISO/IEC 42001 a EU AI Act nepopírají. Naopak se doplňují. NIST poskytuje konceptuální a risk-based logiku. ISO/IEC 42001 poskytuje management- systémovou operacionalizaci. EU AI Act přináší právní tlak, aby se tyto principy promítly do reálné odpovědnosti, dokumentace, monitoringu a dohledu.
Závěr
Budoucnost kybernetické bezpečnosti neleží v prostém přidávání dalších pravidel ke starým bezpečnostním aparátům. Leží v pochopení, že chráněný svět se změnil. AI systémy nejsou jen rychlejší software. Jsou to dynamické socio-technické systémy, v nichž se bezpečnost, governance, data, rozhodování a lidský dohled prolínají způsobem, který tradiční rule-based model nedokáže plně obsáhnout. Cynefin ukazuje, že značná část nových hrozeb se odehrává v komplexní doméně. Hofstadter připomíná, že bez správné úrovně porozumění lze systém detailně popsat, a přitom mu nerozumět. Gödelovská analogie pak varuje před iluzí, že jakýkoli uzavřený soubor pravidel může být v adaptivním prostředí úplný. Proto musí organizace změnit nejen své nástroje, ale i svou epistemologii bezpečnosti. Největší riziko totiž nespočívá v tom, že AI selže. Největší riziko spočívá v tom, že ji i ostatní provozované systémy budeme chránit způsobem, který byl navržen pro svět před ní.
Tato e-mailová adresa je chráněna před spamboty. Pro její zobrazení musíte mít povolen Javascript.
Použité zdroje:
[1 ] Autio, C., Schwartz, R., Dunietz, J., Jain, S., Stanley, M., Tabassi, E., Hall, P., & Roberts, K. (2024). Artificial Intelligence Risk Management Framework:Generative Artificial Intelligence Profile. NIST AI 600-1.
[ 2 ] European Commission. (2025–2026). AI Act – implementation timeline, governance and compliance support materials.
[ 3 ] European Union. (2024). Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence (AI Act).
[ 4 ] Hofstadter, D. R. (1979). Gödel, Escher, Bach: An Eternal Golden Braid. Basic Books.
[ 5 ] Hofstadter, D. R. (2007). I Am a Strange Loop. Basic Books.
[ 6 ] ISO. (2023). ISO/IEC 42001:2023 – Information technology – Artificial intelligence – Management system.
[ 7 ] NIST. (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0). NIST AI 100-1.
[ 8 ] NIST. (2023–2025). AI RMF Playbook and AI Resource Center.
[ 9 ] Snowden, D. J., & Boone, M. E. (2007). A Leader’s Framework for Decision Making. Harvard Business Review, 85(11), 68–76.
