Diskuzní workshop: Možnosti a limity používání AI v právních procesech

24.09.2026

Český institut informatiky, robotiky a kybernetiky (CIIRC ČVUT) a Národní centrum umělé inteligence (NCUI) srdečně zvou na diskuzní workshop.

Garanti:

prof. Ing. Vladimír Smejkal, CSc., LL.M., DrSc., prof. Ing. Vladimír Mařík, DrSc., dr.h.c.

Akce není určena široké veřejnosti. Očekává se osobní účast zejména týmů CIIRC ČVUT a NCUI, vč. spolupracujících partnerů se zájmem o AI a právo.

Prosíme o registraci předem.

Registrační formulář ZDE

Program:

Místo konání:

„Penthouse“, budova A, 10. patro
CIIRC ČVUT
Jugoslávských partyzánů 1580/3
Praha 6 – Dejvice

Anotace:

AI, zejména pak velké jazykové modely (LLM), jsou stále více používány jak orgány státu, tak účastníky občanskoprávních, správních a trestních řízení, a to jak přiznaně, tak nepřiznaně. Některá rizika spojená s určitými vlastnostmi LLM byla publikována a jejich nevhodné použití bylo sankcionováno soudy. Jde zejména o halucinace o zdrojích práva. Ale toto je pouze spíše okrajová a řešitelná část problému AI v právních procesech; problém je daleko hlubší.

Možnosti užití AI jsou totiž velmi rozsáhlé: Analýza a třídění dat; Vyhledávání a propojování informací; Podpora dokazování; Kontrolní a procesní funkce; Technická a organizační podpora; Podpora přípravy rozhodnutí; Podpora výkonu rozhodnutí.
Výstupy vytvořené AI ale mohou mít zásadní vliv na správnost řízení.

Zásadní slabinou zůstává neprůhlednost umělé inteligence. Čím invazivnější je způsob získání nebo povaha zpracovávaných dat a čím bezprostřednější je vliv AI výstupu na procesní postavení osoby, základní práva nebo konečné rozhodnutí o odpovědnosti a o sankci, tím vyšší musí být požadavky na zákonný základ použití systému, proporcionalitu, transparentnost, auditovatelnost, vysvětlitelnost, přezkoumatelnost, možnost účinného procesního (kontradiktorního) zpochybnění a lidský dohled. Přitom čím více se systém učí z dat a čím autonomněji generuje výstupy, tím obtížnější je zpětně vysvětlit, proč dospěl právě k určitému výsledku, případně jej zopakovat. U řady systémů založených na hlubokých neuronových sítích, včetně LLM, je vnitřní rozhodovací mechanismus obtížně interpretovatelný a dostupná vysvětlení mohou mít pouze dílčí nebo post-hoc povahu.

Protože samotný AI systém nelze v rámci jednání vyslechnout, musí být možné procesně prověřit osoby, které systém použily nebo jeho výstup odborně interpretovaly, a v rozsahu potřebném pro posouzení jeho spolehlivosti také vstupní data, použitý systém a jeho verzi, relevantní nastavení, validační podklady, známou chybovost, dostupné logy a způsob, jímž byl konkrétní výstup interpretován a použit. Nejde tedy o „výslech AI“, nýbrž o přezkum celého procesu, jímž byl algoritmický výstup vytvořen, interpretován a začleněn do důkazního základu rozhodnutí.
Vedle transparentnosti, interpretovatelnosti a vysvětlitelnosti považujeme za samostatný požadavek také ospravedlnitelnost (justifiability) použití AI. Ospravedlnitelné musí být zejména samotné rozhodnutí AI použít, rozsah jejího využití a míra vlivu jejího výstupu na procesní postup nebo rozhodnutí. Použití black-box systému v podobě AI musí být zvlášť ospravedlnitelné a kompenzováno odpovídající validací, auditovatelností, lidským přezkumem a možností procesního zpochybnění.

AI Act EU rizika black-box systémů zmírňuje, neodstraňuje je však úplně. Nezajišťuje úplnou interpretovatelnost každého systému ani úplnou rekonstrukci procesu vedoucího ke konkrétnímu výstupu. Čím významnější je vliv AI výstupu na základní práva, skutkový závěr nebo meritorní rozhodnutí, tím silnější je požadavek na použití interpretovatelného, tzv. glass-box systému. Použití black-box systému nemusí být absolutně vyloučeno, musí však být zvlášť ospravedlnitelné a kompenzováno zvýšenými požadavky na validaci, auditovatelnost, lidský přezkum a možnost účinného procesního zpochybnění. Systémy použité v konkrétní věci musí být současně přístupné všem účastníkům řízení a soudu, a to vzhledem k vysoké míře asymetrie mezi jednotlivými osobami v možnostech používání AI.
Základní otázkou proto není jen to, zda lze vytvořit plně transparentní AI, ale jaká míra interpretovatelnosti, dokumentace a procesní auditovatelnosti je nezbytná pro jednotlivé způsoby jejího použití v právním řízení a jak tento požadavek sladit s technickými limity, ochranou osobních údajů, bezpečností a legitimní ochranou obchodního tajemství. Významný vliv pak budou mít i komerční zájmy vůdčích světových společností v oboru AI.

Pozvánka ke stažení v PDF je ZDE.