V medicíně je důvěra zvláštní věc. Někdy na ní závisí jeden lidský život. Jindy tisíce.
Jako neurochirurg stojím při operaci nad jedním člověkem. Důvěřuji vlastní zkušenosti, svému týmu, ale stále více také technologiím. Navigaci, zobrazovacím metodám, monitoraci a systémům, které mi poskytují informace, podle nichž se rozhoduji. Pokud některý z nich selže a já chybu nerozpoznám, mohu pacientovi ublížit. Mohu mu dokonce vzít život. Odpovědnost však nakonec zůstává na mně.
Při řízení nemocnice se měřítko mění. Už nerozhodujete o jednom pacientovi, ale vytváříte systém, podle kterého pracují stovky lidí. Chybně nastavený proces, nedostatečná kontrola nebo nesprávná informace se mohou opakovat. Jedna chyba pak nemusí poškodit jednoho člověka, ale třeba několik desítek pacientů.
A vojenská medicína nabízí ještě jinou perspektivu. Představme si například biologický útok. První nemocný nemusí být ničím nápadný. Ani druhý. Jednotliví lékaři mohou vidět pouze své pacienty. Moderní systém však může současně analyzovat zdravotní, epidemiologická, environmentální a další data z mnoha míst a rozpoznat vznikající hrozbu dříve, než ji dokáže spatřit člověk. Chyba nebo zpoždění už potom mohou mít následky počítané ve stovkách či tisících životů.
Čím větší jsou následky rozhodnutí, tím více potřebujeme technologie schopné zpracovat množství informací, které člověk již obsáhnout nedokáže. A možná se blíží okamžik, kdy nebudeme algoritmu svěřovat rozhodnutí proto, že mu věříme více než člověku, ale proto, že člověk už nebude schopen rozhodnout dostatečně rychle.
A právě zde začíná problém důvěry.
Člověk chybuje. Je unavený, podléhá emocím, může něco přehlédnout a dějiny nás mnohokrát naučily, že může také vědomě jednat proti zájmům druhých. Přesto při zásadních rozhodnutích stále hledáme člověka. Chceme zkušenějšího chirurga, odpovědného manažera, velitele nebo odborníka, který nám řekne: ano, takto je to správně.
Algoritmus takovou důvěru teprve získává. Dokáže však pracovat bez únavy, analyzovat obrovské množství dat a nacházet souvislosti, které člověk nemá šanci postřehnout. Co se ale stane, když mu jednou začneme skutečně věřit? S rostoucím významem algoritmu totiž porostou i motivace jeho rozhodování ovlivnit. Na operačním sále může být cílem konkrétní člověk. Útok na nemocniční informační systémy už může ochromit organizaci a ohrozit větší počet pacientů. Ale systém, který má například včas detekovat biologickou hrozbu pro tisíce lidí, představuje cíl úplně jiné hodnoty. A útočník jej nemusí vypnout. Stačí změnit to, čemu věří.
Možná se proto v budoucnosti přestaneme ptát, zda může algoritmus rozhodovat místo člověka. Začneme se ptát, zda si ještě můžeme dovolit, aby v některých situacích rozhodoval pouze člověk. A potom přijde otázka ještě obtížnější: Jak poznáme, že algoritmus, kterému jsme se rozhodli věřit, je stále hoden naší důvěry?
Budoucnost možná nebude patřit tomu, kdo bude mít nejinteligentnější algoritmus. Může patřit tomu, kdo dokáže zajistit, že algoritmu, podle kterého se rozhodují lidé, bude možné skutečně věřit.
plk. gšt. MUDr. Václav Masopust, Ph.D., MBA, LL.M., DBA hlavní specialista MO
