Článek nabízí pohled na tři vzájemně provázané oblasti, které formují dnešní prostředí umělé inteligence v praxi: právní rámec AI Act, který stanovuje evropské požadavky na klasifikaci, transparentnost a zodpovědnost AI systémů; bezpečnostní rámce (GDPR, ISO/IEC, NIST), jež definují technické a organizační principy pro ochranu dat, integritu modelů, řízení přístupu a reakci na incidenty; a praktické nasazení AI v kybernetické bezpečnosti, ilustrované příkladem detekce zranitelností ve smart kontraktech pomocí strojového učení. Cílem textu je ukázat, jak tyto dimenze spolu souvisejí, které oblasti vyžadují největší pozornost a jak může efektivní AI Governance pomoci organizacím dosáhnout souladu s regulacemi i vysoké úrovně bezpečnosti.
#aiact #airegulation #aigovernance #cybersecurity #aicomplience
AI Act: Regulace, která může přinést řád – nebo paralyzovat rozvoj
AI v Evropě Evropské nařízení AI Act [1], přijaté v roce 2024, je prezentováno jako přelomový právní rámec, který má zajistit bezpečné a eticky přijatelné využívání umělé inteligence na evropském trhu. Regulace vychází z ambiciózního cíle ochránit občany před nepředvídatelnými riziky, zajistit transparentnost algoritmických rozhodnutí a zachovat základní práva v digitálním prostoru. [2] V praxi ale AI Act představuje zásadní regulační zásah, jehož důsledky mohou evropské firmy dlouhodobě zatížit – zejména pokud nebude jeho implementace promyšlená a přiměřená.
Pro firmy je AI Act významný nejen tím, že vymezuje technické a právní mantinely vývoje a nasazení AI, ale i tím, že vytváří nový typ odpovědnosti. Organizace musí prokázat, že každé jejich AI řešení – ať už jde o chatbot pro zákaznickou podporu, nebo algoritmus pro rozhodování o hypotéce – odpovídá konkrétním pravidlům, která se liší podle klasifikace rizika. [3] A právě v této klasifikaci začínají první problémy.
AI Act rozděluje AI systémy do čtyř kategorií: zakázané, vysoce rizikové, omezeně rizikové a ostatní. Plus požadavky na transparentnost u GenAI modelů. Na papíře jde o srozumitelnou a logickou klasifikaci, ale v praxi je hranice mezi kategoriemi často nejasná. Například náborový software využívající strojové učení může spadat mezi běžné podnikové nástroje – nebo být považován za vysokorizikový systém, pokud ovlivňuje přístup k zaměstnání. U mnoha řešení navíc nelze jednoduše rozhodnout, zda jde o AI systém nebo o pouhou automatizaci. [4]
To vytváří právní nejistotu a zvyšuje závislost firem na právních interpretacích, které se mohou měnit v čase i napříč členskými státy. Firmy tak čelí riziku, že stejný nástroj bude v jedné zemi posuzován jinak než v druhé, což podrývá samotný princip jednotného evropského trhu.
Jde o nákladnou nutnost nebo jen regulační past? Pro tzv. vysokorizikové systémy zavádí AI Act povinnost ex-ante souladu – firmy musí ještě před uvedením na trh verifikovat splnění řady požadavků: kvalitní tréninková data, robustnost, auditovatelnost, lidský dohled, řízení rizik a další. [1] Tato pravidla nejsou samoúčelná, ale jejich rozsah a detailnost představují významné finanční i personální zatížení, zejména pro malé a střední podniky. [2] I když EU oficiálně deklaruje snahu chránit inovace a startupy, praktický výklad AI Actu často zvýhodňuje velké korporace, které si mohou dovolit dedikované týmy na compliance a právní audit. Firmy bez silné právní nebo technické základny tak budou v nevýhodě. Mnozí podnikatelé varují, že největším rizikem AI Actu není ochrana práv,
hodnocení úvěrové bonity klientů může nedostatečná kontrola datového základu vést k diskriminaci určité skupiny zákazníků. Takové selhání nejen ohrožuje důvěru veřejnosti, ale může mít i právní dopady a způsobit značné reputační škody. Governance v tomto kontextu zajišťuje, že každý AI model projde řízeným zhodnocením rizika, které odpovídá klasifikaci rizikovosti dle AI Act, a že případné incidenty jsou rychle detekovatelné a řešitelné pomocí předem nastavených procesů. [9,10]
AI Governance dále umožňuje lepší kontrolu nákladů a optimalizaci investic. V mnoha organizacích vznikají duplicity a paralelní vývojová úsilí kvůli chybějícímu přehledu o stávajících AI projektech. Například dvě oddělení si mohou nezávisle vyvíjet vlastní modely pro analýzu zákaznické spokojenosti, čímž vzniká zbytečné zatížení rozpočtu i datové infrastruktury. Z tohoto důvodu je vhodné vytvořit centrální AI katalog, ve kterém budou evidovány všechny modely a jejich využití, stav vývoje, odpovědné osoby a propojení na konkrétní datové zdroje. Governance rovněž stanoví jednotnou architekturu a pravidla pro znovupoužitelnost komponent, čímž se eliminuje fragmentace a podporuje škálovatelnost. [7,8]
Významným aspektem je také efektivní integrace AI do stávajících procesů a organizační struktury. Bez jasně definovaných rolí, odpovědností a komunikačních toků často dochází k nepochopení mezi vývojovým a byznys týmem, což vede ke špatné implementaci modelů nebo k jejich nepřijetí. Příkladem může být prediktivní model poptávky, který sice funguje technicky bezchybně, ale není napojen na ERP systém, a tak jeho výstupy nelze prakticky využít. Řešením je použití RACI matice, která přesně stanoví, kdo má na starosti návrh, schvalování, provoz a monitoring AI systému. Integrace governance do projektového řízení a change managementu pak výrazně zvyšuje šanci na úspěšnou adopci AI nástrojů. [8,10]
V neposlední řadě je nutné zdůraznit úzkou provázanost mezi AI Governance a Data Governance. Umělá inteligence nemůže fungovat bez kvalitních, relevantních a správně řízených dat. Pokud AI modely čerpají z neověřených nebo špatně dokumentovaných dat, vzniká riziko biasu, chybné predikce a právních problémů například z porušení GDPR. Proto musí být AI Governance postavena na stejných principech jako Data Governance – sdílené datové katalogy, jednotná pravidla pro kvalitu dat, přístupová práva a auditovatelnost. Například sdílení metadat mezi AI a datovými týmy, nebo definice tzv. AI data contracts, pomáhají zajistit konzistentnost a srozumitelnost datových vstupů i výstupů modelů. [7,9]
Národní nuance
Jaký je český postoj? Zatímco velké státy EU (např. Francie nebo Německo) už rozjíždějí přípravu adaptačních plánů, česká vláda zaujímá k AI Actu spíše opatrně vyčkávací postoj. V rámci vyjednávání se Česko připojilo ke státům, které požadovaly zmírnění pravidel pro malé firmy, zjednodušení compliance a odmítání povinnosti předkládat dopady na základní práva. Na jednu stranu jde o pochopitelnou snahu ochránit inovační ekosystém, na druhou stranu však hrozí, že nepřipravenost a slabá koordinace napříč sektory povede ke zpoždění a chaosu při implementaci. Zatím chybí jednotná metodika, odpovědná koordinační autorita i strukturovaná podpora podniků. Pokud se nic nezmění, může AI Act v Česku [1,5] vést buď k masivnímu omezení AI projektů, nebo k formalismu, kdy firmy budou compliance pouze „odškrtávat“ bez skutečné kontroly rizik. Ani jedno není dobré řešení.
Standardy a certifikace: AI očima bezpečnostních rámců
Podívejme se spolu na bezpečnost AI systémů očima bezpečnostních rámců. Relevantních standardů a rámců existuje zajisté několik (od fundamentálního GDPR k jednotlivostem ISO a NIST rámců), mají však několik základních společných aspektů.
Ochrana soukromí a zabezpečení dat
Otázka soukromí a zabezpečení dat se řešení postavených na umělé inteligenci týká ve dvou základních aspektech - trénování modelů a následný běh celého řešení.
V prostředí evropské legislativy to znamená zejména dodržovat zásady obecného nařízení GDPR. [11] Na konci roku 2024 vydal navíc evropský soud stanovisko 28/2024 [12], které se zpracování dat v kontextu modelů umělé inteligence věnuje.
Z obecného GDPR vyplývá to naprosto nejzásadnější - již při sběru dat jasně deklarovat, že uživatelská data budou využita pro trénování AI modelu/ů podle zásady účelového omezení (čl. 5 odst. 1 písm. b) v rámci informační povinnosti (čl. 13 GDPR).
Z nedávného stanoviska pak plyne, že AI modely nelze automaticky považovat za anonymní. Tím spíše je potřeba využít všech dostupných metod pro úpravu trénovacích dat: anonymizace a pseudonymizace dat (odstranění osobních údajů), minimalizace či úplné vyloučení osobních údajů a důsledné dokumentování vstupních dat. Po tréninku je pak zásadní ověření účinnosti takových opatření a opakované testování výsledného modelu zda osobní údaje nevrací.
Pro běh řešení je důležitý zejména koncept GDPR procesorů. Při zpracování údajů AI modely je potřeba specificky hlídat všechny procesory - vypnout učení u všech modelů, u kterých to pro nás není zásadní, EU lokalizace modelů, dodržení bezpečnostních rámců (ISO/NIST) dodavateli, ap. Alternativou může být běh AI v lokálních/privátních prostředích, které při dodržení základních bezpečnostních přístupů takovéto požadavky vyřeší.
Každý AI projekt stále softwarovým projektem, a není důvodem polevit z bezpečnostních principů - systematické hodnocení rizik, provozování integrovaného systému řízení bezpečnosti informací (ISMS), zásady bezpečného vývoje.
Řízení přístupu
Jasně definovaná politika řízení přístupu určuje, kdo smí nahlížet do modelů a datových sad AI, provádět v nich změny či dotazy. Standardy vyžadují, aby přístupová práva byla udělena jen oprávněným rolím a jejich používání bylo systematicky sledováno (auditováno). GDPR také ukládá zajistit, že k osobním údajům přistupují pouze správcem pověřené osoby.
Renomované bezpečnostní normy kladou důraz na silnou víceúrovňovou autentizaci – ISO 27001:2022 v kontrole A.8.5 [13] výslovně doporučuje nastavit dvoufaktorovou autentizaci (MFA), biometrické přihlašování či chytré přístupové karty k zamezení neoprávněného vstupu.
Integrita modelů
Zajištění integrity AI modelu od fáze tréninku až po nasazení do provozu je zásadní pro důvěryhodnost výsledků. Jakékoli narušení, např. úprava modelu útočníkem či použití podvržených komponent ohrozí správnost a bezpečnost AI systému.
Rámce pro správu rizik AI, jako NIST AI RMF [14] [15],a mezinárodní normy (ISO/IEC 27001 a nový ISO/IEC 42001) proto zahrnují opatření k ochraně celého dodavatelského řetězce AI.
Důraz je kladen na kontrolu původu a verzí modelů, zabezpečení tréninkových dat i souborů s vahami modelů a prověřování třetích stran. Například norma ISO 42001 [16] vyžaduje integrity-check mechanismy, validaci původu modelu a SBOM (Software Bill of Materials) pro všechny komponenty AI.
Ovlivnění největších jazykových modelů prostředky propagandy a hybridní války již bylo prokázáno například ve zprávě American Sunlight Project. [17] Téma integrity modelů nadále komplikuje fakt, že jedny z nejlepších dnešních modelů jako DeepseekR1-0528 a Qwen3-A22B jsou produkcí čínských laboratoří s využitím zřejmě modifikovaných trénovacích dat zohledňujících čínskou cenzuru.
Shrnutí
Celkově tedy platí, že dodržování výše uvedených dobře známých, ať už právních nebo technických, bezpečnostních rámců spolu se specifickými dodatky a výklady pro svět AI zajišťuje systematické řízení rizik, posiluje odolnost AI systémů vůči kybernetickým hrozbám a garantuje jejich provoz v bezpečném a legislativě vyhovujícím rámci.
Smart Contracts + AI for Automated Security
Další oblastí, kde využít strojové učení je zvýšení bezpečnosti smart kontraktů v oblasti kryptoměn. Startup MAMA AI vyvíjí systém ContractCortex (CONCOR), který pomocí AI identifikuje zranitelné či přímo škodlivé kontrakty v prostředí Ethereum. Využívá k tomu analytický řetězec, jenž převádí bytekód kontraktů na op-kódy a klasifikuje je na základě trénovaných modelů. Z hlediska integrace s existujícími nástroji je řešení navrženo jako rozšíření pro peněženky typu MetaMask, kde v reálném čase varuje uživatele před rizikovými transakcemi. Důraz je kladen na praktickou použitelnost: přesnost detekce dosahuje vysokých hodnot (> 95% spolehlivost) a umožňuje tak spolehlivě odhalovat a zabraňovat nebezpečným transkacím. Podobné postupy se také v poslední době objevují v odborné literatuře např. [18].
Z pohledu širšího ekosystému digitální bezpečnosti přináší tento přístup dvě důležité inovace. Za prvé – bezpečnostní analýza se posouvá blíže k uživateli, přímo do kontextu běžné interakce s Web3 aplikacemi. Za druhé – sběr dat a trénink modelů probíhá kontinuálně, čímž se systém přizpůsobuje nově vznikajícím hrozbám. V kombinaci s výzkumně orientovaným přístupem týmu, který sleduje aktuální směry (např. využití transformerů či grafových neuronových sítí pro bytecode analýzu), se jedná o příklad, jak lze AI využít nejen ke zlepšení komfortu, ale především k posílení důvěry a bezpečnosti decentralizované infrastruktury.
Závěr
Úspěšné řízení AI v Evropě spočívá v hledání rovnováhy mezi regulací AI Act, dodržováním mezinárodních bezpečnostních standardů a inovativními aplikacemi AI ve vlastních bezpečnostních nástrojích. AI Governance představuje klíčový most, který propojuje legislativní požadavky se systematickým zavedením procesů pro řízení rizik, ochranu dat, auditovatelnost modelů i správu smart kontraktů. Firmy, jež integrují tyto tři pilíře: právní jistotu, technické standardy a praktické know-how, tak získají nejen konkurenční výhodu, ale i skutečnou odolnost vůči kybernetickým hrozbám a reputačním rizikům.
Tato e-mailová adresa je chráněna před spamboty. Pro její zobrazení musíte mít povolen Javascript.
Tato e-mailová adresa je chráněna před spamboty. Pro její zobrazení musíte mít povolen Javascript.
Tato e-mailová adresa je chráněna před spamboty. Pro její zobrazení musíte mít povolen Javascript.
[ 1 ] Council of the European Union. Proposal for a Regulation of the European Parliament and of the Council laying down harmonised rules on artificial intelligence (Artificial Intelligence Act). Brussels: Council of the EU, 2024. Document No. 5662/24 [online]. [cit. 2025-06-08]. Dostupné z: https://data.consilium.europa.eu/doc/document/ST-5662-2024-INIT/en/pdf
[ 2 ] European Commission. Europe’s approach to artificial intelligence [online]. Brussels: European Commission, 2024 [cit. 2025-06-08]. Dostupné z: https://digital-strategy.ec.europa.eu/en/policies/european-approach-artificial-intelligence
[ 3 ] Future of Life Institute. EU AI Act Explainer [online]. Cambridge, MA: Future of Life Institute, 2024 [cit. 2025-06-08]. Dostupné z: https://futureoflife.org/eu-ai-act/
[ 4 ] Průvodce EU AI Act, Česká asociace umělé inteligence, https://asociace.ai/eu-ai-act/
[ 5 ] Ministerstvo průmyslu a obchodu ČR. Národní strategie umělé inteligence ČR [online]. Praha: MPO, 2021 [cit. 2025-06-08]. Dostupné z: https://www.mpo.cz/cz/prumysl/umela-inteligence/
[ 6 ] AI Czechia. Oficiální portál pro umělou inteligenci v ČR [online]. Praha: AI Czechia, 2024 [cit. 2025-06-08]. Dostupné z: https://aiczechia.cz
[ 7 ] Organisation for Economic Co-operation and Development. OECD Principles on Artificial Intelligence [online]. Paris: OECD, 2019 [cit. 2025-06-08]. Dostupné z: https://oecd.ai/en/ai-principles
[ 8 ] World Economic Forum. Toolkit for Board Members on Responsible AI [online]. Geneva: World Economic Forum, 2022 [cit. 2025-06-08]. Dostupné z: https://www.weforum.org/whitepapers/toolkit-for-board-members-on-responsible-artificial-intelligence/
[ 9 ] National Institute of Standards and Technology. Artificial Intelligence Risk Management Framework (AI RMF 1.0) [online]. Gaithersburg, MD: U.S. Department of Commerce, 2023 [cit. 2025-06-08]. Dostupné z: https://www.nist.gov/itl/ai-risk-management-framework
[ 10 ] International Organization for Standardization. ISO/IEC 42001:2023 Artificial intelligence — Management system — Requirements [online]. Geneva: ISO, 2023 [cit. 2025-06-08]. Dostupné z: https://www.iso.org/standard/81228.html
[ 11 ] Nařízení Evropského parlamentu a Rady (EU) 2016/679 ze dne 27. dubna 2016 o ochraně fyzických osob při zpracování osobních údajů a o volném pohybu těchto údajů a o zneplatnění směrnice 95/46/ES (obecné nařízení o ochraně osobních údajů) [online]. Úř. věst. L 119, 4. 5. 2016, s. 1–88 [cit. 2025-06-08]. Dostupné z: https://eur-lex.europa.eu/eli/reg/2016/679/oj
[ 12 ] European Data Protection Board. Opinion 28/2024 on certain data protection aspects related to the processing of personal data in the context of AI models [online]. Brusel: European Data Protection Board, 2024 [cit. 2025-06-08]. Dostupné z: https://www.edpb.europa.eu/our-work-tools/our-documents/opinion-board-art-64/opinion-282024-certain-data-protection-aspects_cs
[ 13 ] ISO/IEC 27001:2022. Informační technologie – Bezpečnostní techniky – Systém řízení bezpečnosti informací – Požadavky. Geneva: International Organization for Standardization, 2022.
[ 14 ] National Institute of Standards and Technology. Security and Privacy Controls for Information Systems and Organizations (NIST SP 800-53 Rev. 5) [online]. Gaithersburg: NIST, 2020 [cit. 2025-06-08]. Dostupné z: https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.800-53r5.pdf
[ 15 ] National Institute of Standards and Technology. Artificial Intelligence Risk Management Framework (AI RMF 1.0) [online]. Gaithersburg: NIST, 2023 [cit. 2025-06-08]. Dostupné z: https://www.nist.gov/itl/ai-risk-management-framework nist.gov
[ 16 ] ISO/IEC 42001:2023. Information technology – Artificial intelligence – Management system requirements. Geneva: International Organization for Standardization, 2023.
[ 17 ] American Sunlight Project. NEW REPORT: Russian propaganda may be flooding AI models [online]. 26. 2. 2024 [cit. 2025-06-08]. Dostupné z: https://www.americansunlight.org/updates/new-report-russian-propaganda-may-be-flooding-ai-models
[ 18 ] Wu, Jixuan, Lei Xie, and Xiaoqi Li. Security Vulnerabilities in Ethereum Smart Contracts: A Systematic Analysis [online]. arXiv:2504.05968 [cs.CR], 2025 [cit. 2025-06-09]. Available from: https://arxiv.org/abs/2504.05968
