V třetí části seriálu se budeme věnovat otázkám úzce souvisejícím s trestněprávní odpovědností za jednání robotů s AI: prevencíV třetí části seriálu se budeme věnovat otázkám úzce souvisejícím s trestněprávní odpovědností za jednání robotů s AI: prevencípřed nežádoucím jednáním robotů a dokazováním aneb procesem, jak zjistit důvody, které vedly robota k určitému jednání, a tovčetně odpovědnosti konkrétní fyzické nebo právnické osoby. Čím větší vliv bude mít na chování robota AI a čím více tato AIbude samoučící se, tím obtížněji budeme zjišťovat, proč v určité situaci robot jednal tak, jak jednal, případně proč jeho jednánízpůsobilo škodu na zdraví či majetku a která fyzická a/nebo právnická osoba za to odpovídá. Důležitější je samozřejmě prevence,aby k takové události nedošlo. Nicméně zcela vyhnout se neočekávanému stavu robota nebude u složitých systémů možné. Protopotřebujeme zjistit, co a proč se stalo, a poučit se, jak dané situaci pro příště předejít.
robot trestní odpovědnost AI dokazování
Prevence a dokazování
Budeme řešit dva problémy:
- Jak zabránit nebo alespoň minimalizovat pravděpodobnost, že k negativnímu (protiprávnímu) jednání dojde – prevence.
- Jak zjistit důvody, které vedly k takovému jednání, a to včetně odpovědnosti konkrétní fyzické nebo právnické osoby – dokazování.
Zcela jiná situace bude u deterministických robotů, kde jsme schopni v každý okamžik odůvodnit, proč robot jednal tak, jak jednal. Budeme mít k dispozici obsah jeho paměti, kde se bude nacházet počítačový program a data, jakkoliv nemůžeme dopředu v řadě případů predikovat, jakých konkrétních hodnot budou data nabývat. V případě, že se nebude jednat o deterministický proces, tedy robot sám se bude rozhodovat, jak zareaguje na příslušný podnět, bude situace složitější. Zde bude existovat široká škála možností, od jednodušších systémů až po nejsložitější samoučící se, které budou schopny modifikovat vlastní kód na základě procesů, které není možné ve větší či menší míře předvídat.
Prevence
Problém ad 1. bude třeba řešit pomocí analýzy rizik, která prozkoumá všechny možné stavy, do kterých se může robot dostat, a pokusí se nastavit obranné mechanismy tak, aby k negativnímu jednání nedošlo. Čím vyšší bude míra autonomie daného systému, případně pokud bude tento systém kooperovat s dalšími systémy, což je typické například pro autonomní vozidla, pak ovšem se dostaneme do momentu, kdy může míra ochranných opatření bránit v plnohodnotném užívání systému.
Minimalizace rizik vyplývajících z činnosti robota zahrnuje několikastupňový proces, který obsahuje následující kroky:
- Posouzení rizika: Prvním krokem je posouzení potenciálních rizik spojených s činností robota. To zahrnuje identifikaci typů nebezpečí, s nimiž se robot může setkat, a potenciálních důsledků těchto nebezpečí. To může zahrnovat simulace, testování a další metody pro vyhodnocení bezpečnosti robota v různých scénářích.
- Návrh bezpečnosti: Konstrukce robota by měla zahrnovat bezpečnostní prvky, které minimalizují riziko poškození lidí, zvířat a životního prostředí. Pokud je například robot určen k práci v těsné blízkosti člověka, měl by být vyškolen, aby vhodně reagoval na náhlé pohyby nebo jiné neočekávané události. Může jít o fyzické bariéry, které zabrání kontaktu robota s lidmi nebo s jinými objekty, senzory pro detekci potenciálních nebezpečí a tlačítka nouzového zastavení pro rychlé vypnutí robota v případě nouze. Roboty by měly být provozovány v kontrolovaném prostředí a měly by se na ně vztahovat přísné provozní postupy, aby se minimalizovalo riziko nehod.
- Bezpečná komunikace: Roboti by měli pro komunikaci používat bezpečné protokoly, například šifrované komunikační kanály, aby se zabránilo neoprávněnému přístupu nebo manipulaci s řízením a přenosem dat.
- Autentizace a autorizace: Roboti by měli mít k dispozici mechanismy pro bezpečné ověřování identity uživatelů a zařízení a pro řízení přístupu k citlivým datům a funkcím na základě role a oprávnění.
- Ochrana dat: Roboti by měli mít zabudované mechanismy pro ochranu citlivých dat, jako je šifrování a bezpečné ukládání, aby se zabránilo neoprávněnému přístupu nebo krádeži dat.
- Zabezpečení softwaru: Roboti by měli být vyvíjeni s využitím postupů bezpečného vývoje softwaru, jako jsou revize kódu a bezpečnostní testování, aby se předešlo zranitelnostem a bezpečnostním nedostatkům softwaru.
- Fyzická bezpečnost: Roboti by měli být navrženi tak, aby byly fyzicky zabezpečeny, například pomocí krytů odolných proti neoprávněné manipulaci.
- Testování a ověřování: Robot by měl být důkladně otestován a ověřen, aby se zajistilo, že funguje tak, jak má, a že bezpečnostní prvky fungují správně. To může zahrnovat testování robota v různých scénářích a prostředích, aby se zjistila případná rizika.
- Školení a vzdělávání: Uživatelé robota by měli být vyškoleni a poučeni o tom, jak robota bezpečně a efektivně ovládat. To může zahrnovat pokyny, jak používat bezpečnostní prvky a co dělat v případě nouze.
- Monitorování a údržba: Pravidelné monitorování a údržba robota jsou důležité pro zajištění jeho dalšího bezpečného a efektivního provozu. To může zahrnovat kontrolu senzorů a bezpečnostních prvků robota, aktualizaci softwaru a firmwaru a výměnu opotřebovaných nebo poškozených dílů.
- Hlášení incidentů a reakce na ně: Incidenty týkající se robota by měly být hlášeny a vyšetřovány, aby se zjistila jejich příčina a určily způsoby, jak podobným incidentům v budoucnu předcházet. Měl by být zaveden plán reakce na případné incidenty, včetně postupů pro nouzové odstavení, evakuaci a lékařskou pomoc.
Dodržováním těchto kroků lze minimalizovat riziko vyplývající z činnosti robota a zajistit tak bezpečnost lidí, zvířat a životního prostředí.
Dokazování
Ad 2. to je pak otázka získání dostatečného množství informací, na základě kterých bude možno zjistit, proč se robot choval tak, jak se choval. Bude to znamenat sběr obrovského množství dat nikoliv nepodobný sbírání dat v tzv. černých skříňkách nacházejících se v letadlech. Přinejmenším v podobě monitorování posledních okamžiků fungování robota. Ani toto ale nemusí přinést jednoznačnou odpověď na otázku, kdo zavinil negativní jednání robota, zejména v případech, kdy robot bude vstupovat do interakcí s okolím. Je důležité poznamenat, že někdy může být příčina chování způsobena kombinací několika faktorů a může vyžadovat kombinaci výše uvedených přístupů, aby bylo možné problém plně pochopit a vyřešit.
Opět vhodným příkladem může být autonomní vozidlo, které je obklopeno velmi heterogenním prostředím tvořeným jinými vozidly, dalšími subjekty a objekty nacházejícími se v okolí – osoby, věci, ale také bude získávat informace od různých zdrojů, počínaje kooperujícími vozidly, signály souvisejícími s řízením provozu, ale mohou to být také falešné signály, od rušivých signálu neúmyslného původu až po úmyslné útoky zvenčí.
Digitální dvojčata
Novým fenoménem, který se objevil v souvislosti s Průmyslem 4.0, jsou tzv. „digitální dvojčata“ (digital twins), kdy každý fyzický prvek má svoji virtuální reprezentaci, kdy je jeho chování a interakce s okolím simulováno softwarovým modulem. „Digitální dvojče je v podstatě virtuální verze fyzické entity, ať už je to produkt, továrna nebo nějaký jiný typ majetku nebo systému. Digitální dvojče spojuje obchodní, kontextová a senzorová data tak, aby reprezentovala fyzický objekt.“ [1] Softwarové moduly, reprezentující fyzické elementy ve virtuálním prostoru, společně řeší úlohy, koordinují svoji činnost a rozhodují s využitím služeb, které si navzájem poskytují či které si vyvolávají prostřednictvím Internetu služeb (Internet of Services – IoS). [2] Původně se tento koncept objevil u výrobků, následně u strojů a celých výrobních linek. [3] Podle výzkumné zprávy od analytické společnosti ABI Research se digitální dvojčata stanou velmi důležitým nástrojem při modelování města a optimalizaci provozu inteligentních měst. [4] Lze si tedy představit, že by digitální dvojčata mohla být využívána pro analýzu příčin jednání delikventního robota, přičemž by mohly být modelovány jednotlivé varianty za účelem zjištění nejpravděpodobnějšího průběhu události. Pomocí virtualizace by mohla probíhat i digitální rekonstrukce děje.
V jednom z předchozích článků jsme napsali, že „první mrtvola se nepočítá“. [5] Znamená to, že nelze vinit výrobce, který bude pravděpodobně hlavním subjektem odpovědným za chování robota, že nedokázal předvídat všechny možné stavy, situace a vlivy, protože to prostě není možné. Černé labutě budou existovat vždy. Na druhou stranu, pokud se tento výrobce nepoučí ze všech dosavadních zkušeností, tedy mohli bychom říci nezohlední současný stav poznání vědy a techniky, pak by mohl být odpovědný přinejmenším z nedbalosti.
Závěr
Nahlíženo z tohoto pohledu, podstatné je, že robot buď
- funguje předvídaným a žádoucím způsobem, tedy funguje správně, nebo
- funguje předvídaným, ale nežádoucím způsobem, tedy funguje nesprávně, nebo
- funguje nepředvídaným způsobem.
V případech sub b) a c) je kritické, zda takto dojde k způsobení škody, nebo nemateriální újmy. Pokud ano, stává se z hlediska trestního práva důležité, zda popsaným způsobem byl porušen zájem chráněný trestním právem, a pokud ano, kdo je za něj odpovědný.
V případě předvídaného nežádoucího fungování robota je kritické, jak k takovému nežádoucímu jednání došlo, zda se dalo předvídat a proč nebyla přijata opatření k eliminaci takového fungování. V případě nepředvídaného fungování robota bude nutno zkoumat totéž, tedy zda byla učiněna opatření, aby nežádoucímu a nepředvídanému fungování bylo bráněno nebo jeho důsledky minimalizovány.
Odpovědnost za nezákonné nebo trestné jednání robotů nebo obecně systémů AI je složitá otázka, kterou právní systém dosud plně nevyřešil. V některých případech může být odpovědný výrobce robota, pokud se prokáže, že robot byl vadně navržen nebo vyroben. V jiných případech může být odpovědný vlastník robota, pokud byl robot používán nezákonným způsobem, například pokud byl naprogramován k páchání trestné činnosti. Mohou se však vyskytnout i případy, kdy může být kritickým faktorem programování nebo data použitá k tréninku systému UI, a v takovém případě by mohl být odpovědný i programátor nebo poskytovatel dat. Nelze vyloučit ani odpovědnost regulačních orgánů: pokud neexistovaly jasné předpisy nebo technické normy pro výrobu a/nebo bezpečné používání robota, mohou být regulační orgány činěny odpovědnými za to, že na technologii řádně nedohlížely.
Odpovědnost za jednání robotů bude nakonec pravděpodobně určena případ od případu s přihlédnutím k řadě faktorů, včetně konkrétních okolností situace, konstrukce a schopností robota a platných zákonů a předpisů. Nicméně s tím, jak se roboti stávají pokročilejšími a autonomnějšími, je stále obtížnější určit, kdo by měl primárně nést odpovědnost za jejich jednání.
Usnesení Evropského parlamentu ze dne 16. února 2017 [6] v čl. 12 uvádí, že „by mělo být vždy možné podat odůvodnění každého rozhodnutí učiněného s pomocí umělé inteligence, které může mít významný dopad na život jedné nebo více osob“. Evropský parlament se domnívá, že „výpočetní činnost systémů umělé inteligence by mělo být vždy možné převést do formy pochopitelné pro člověka, a že pokročilí roboti by měli být vybaveni ‚černou skříňkou‘, kde budou zaznamenávány údaje o každé operaci, kterou daný stroj provede, včetně logiky, na níž se jeho rozhodnutí zakládají“. Problémem bude, zda se nám u skutečně vyspělých robotů, např. vybavených neuronovými mozky (lhostejno, zda umělými nebo biologickými) podaří všechna rozhodnutí robota převést do formy pochopitelné pro člověka, a ještě více, zda bude možno vůbec zjistit logiku, na níž se jeho rozhodnutí zakládají
Tato „černá skříňka“, pokud bude obsahovat skutečně všechny potřebné informace (inspirovat se můžeme v oboru letectví), může sloužit jako auditní stopa představující významný, ne-li hlavní či dokonce jediný důkaz při zjišťování, co se v rámci incidentu odehrálo, jaký byl stav robota a kdo či co jej způsobilo. Z toho potom můžeme dojít k závěru na otázku položenou v úvodu tohoto článku: jednalo se o zavinění úmyslné, nedbalost, náhodu či totálně nepředpokladatelnou událost – Černou labuť? [7]
Rozvoj autonomních mechanismů a jejich rozumových schopností bude proto velkou výzvou i pro oblast trestního práva a kriminalistiky. Přitom potenciální útočníci budou stále schopni nacházet nové možnosti útoků. „Pokročilé útočné strategie jsou silně polymorfní, neopakují přenosy týchž binárních sekvencí, nepřistupují opakovaně na stejné servery atd. … Lze očekávat další výrazný nárůst ekonomicky motivovaných a cílených útoků na podnikovou výrobní infrastrukturu. V případě dopravy je velmi důležitou otázkou také bezpečnost autonomních vozidel. Vážnou hrozbou jsou trestné činy zaměřené nejen proti autonomním vozidlům (např. krádeže vozidel), ale i trestné činy páchané pomocí autonomních vozidel (např. možnost teroristického útoku pomocí autonomního vozidla naloženého trhavinou a naprogramovaného do cílového místa útoku).“ [8]
Je třeba se připravit jak v oblasti právní teorie a praxe, promítnuté do legislativy a rozhodovací praxe, v oblasti technologické, promítnuté do normotvorné činnosti a vytváření „best practices“, jakož i do oblasti kriminalistické, promítnuté do vzniku nových postupů, případně podoblastí v rámci oboru kriminalistiky. Aplikace metodik a nástrojů, jako jsou Big Data, AI a digitální dvojčata by mohlo zvýšit výtěžnost, a tedy i napomoci ke snížení entropie v rámci konkrétního vyšetřování trestné činnosti související s roboty.
V oblasti odpovědnosti za škodu způsobenou vadou výrobku, tedy v oblasti občanskoprávní odpovědnosti, je odpovědnost koncipována jako objektivní s možností liberace povinné osoby v případě, že se prokáže, že škodu zavinil poškozený, či pokud lze důvodně předpokládat s přihlédnutím ke všem okolnostem, že vada neexistovala v době, kdy byl výrobek na trh uveden, nebo že nastala později. V oblasti trestní odpovědnosti by asi nebylo možné nastavit v zákoně nějakou formu objektivní odpovědnosti, protože mezi základní principy trestní odpovědnosti patří trestnost jednání, způsobený následek a příčinný vztah mezi jednáním a následkem, tedy prokázání zavinění konkrétnímu pachateli nebo skupině osob.
Posuzovat jednání robota prismatem stávajícího trestního zákoníku, tedy podle trestního práva hmotného je v podstatě možné. Nejpravděpodobněji lze předpokládat výskyt skutkových podstat jako usmrcení z nedbalosti, (těžké) ublížení na zdraví z nedbalosti, poškození cizí věci, poškození a ohrožení provozu obecně prospěšného zařízení z nedbalosti, možná i další. Vyloučit nelze ani znásilnění nebo pohlavní zneužití, Jako vedlejší kvalifikace (v souběhu) by mohly být použity ust. § 230 Neoprávněný přístup k počítačovému systému a neoprávněný zásah do počítačového systému nebo nosiče informací nebo § 232 Neoprávněný zásah do počítačového systému nebo nosiče informací z nedbalosti. Klíčové ale bude zjistit, kdo za spáchání trestného činu odpovídá, případně kdo a jak se na něm podílel svojí nedbalostí. A zde bude třeba hledat nové možnosti a nástroje spadající do kriminalistiky a trestního práva procesního, tedy do dokazování.
Poděkování
Za spolupráci děkuje autor Ing. Jindřichu Kodlovi, CSc., Ing. Libor Přeučilovi, CSc. a JUDr. Tomáši Sokolovi.
This email address is being protected from spambots. You need JavaScript enabled to view it.
Použité zdroje:
[ 1 ] Gould, L. What are digital twins and digital threads? Automotive Design & Production, Gardner Business Media [online], vol. 130, no. 2, pp. 30-32, February 2018.
[ 2 ] MAŘÍK V. a kol. Průmysl 4.0 – výzva pro Českou republiku. 1. vyd. Praha: Management Press, 2016, s. 43.
[ 3 ] Siemens. Digitální dvojče: virtuální kopie s reálným chováním. Siemens Visions [online], 5. 11. 2018.
[ 4 ] ABI Research. Digital Twins, Smart Cities, and Urban Modeling. Research Report. 2019.
[ 5 ] SMEJKAL, V., SOKOL, T. Trestněprávní aspekty robotiky aneb první mrtvola se nepočítá. In: Sborník 19. ročníku mezinárodní konference IS2, 30.-31. 5. 2018, Praha: TATE INTERNATIONAL, s.r.o., s. 187-197.
[ 6 ] Usnesení Evropského parlamentu ze dne 16. února 2017 obsahující doporučení Komisi o občanskoprávních pravidlech pro robotiku (2015/2103(INL)). P8_TA(2017)0051
[ 7 ] TALEB, N. N. The Black Swan. The Impact of the Highly Improbable. Penguin Books Ltd., 2008.
[ 8 ] Ministerstvo průmyslu a obchodu ČR. Iniciativa Průmysl 4.0. Schválila vláda ČR na svém zasedání dne 24. srpna 2016.