Dopady Aktu o umělé inteligenci na veřejný sektor: Eliminace rizik

Akt o umělé inteligenci představuje významný právní předpis, který v Evropské unii (EU) mění podobu správy umělé inteligence. Jde o první legislativní rámec zaměřený na regulaci technologií umělé inteligence v rámci celé EU. Ten zavádí širokou škálu pravidel a požadavků, jejichž cílem je zajistit zodpovědný vývoj a užívání systémů umělé inteligence. Akt prošel dlouhým legislativním procesem a jeho požadavky nabývají postupně v účinnost od února 2025.

Akt o umělé inteligenci se vztahuje na všechny systémy umělé inteligence, které jsou vyvíjeny v rámci EU nebo mají dopad na unijní území. Dle jeho definice je „systém AI“ strojový systém navržený tak, aby po zavedení fungoval s různými úrovněmi autonomie a který po zavedení může vykazovat adaptabilitu a zároveň který za explicitními nebo implicitními účely z obdržených vstupů odvozuje, jak generovat výstupy, jako jsou predikce, obsah, doporučení nebo rozhodnutí, které mohou ovlivnit fyzická nebo virtuální prostředí.

Dopad Aktu o umělé inteligenci se liší podle úrovně rizika umělé inteligence

Hlavní myšlenkou Aktu o umělé inteligenci je regulace umělé inteligence podle rizik, která představují pro zdraví, bezpečnost a základní lidská práva. Akt o umělé inteligenci rozděluje umělou inteligenci do několika kategorií, které následně ukládají konkrétní povinnosti:

• Kategorie nepřijatelného rizika (tzv. zakázané postupy v oblasti AI) – systémy umělé inteligence, které jsou zakázány.
• Kategorie vysokého rizika – systémy, jejichž vytváření a používání má být velmi přísně regulováno.
• Kategorie systémů AI s omezeným rizikem – systémy umělé inteligence podléhající požadavkům transparentnosti.
• Kategorie systémů AI s minimálním nebo nízkým rizikem – systémy umělé inteligence, které nejsou regulované, měly by se však řídit zásady zodpovědného využití a nakládání s umělou inteligencí.

Požadavky na transparentnost lze pro některé systémy umělé inteligence, např. chatboty a generativní umělou inteligenci považovat za dodatečný požadavek. 

Akt o umělé inteligenci má samostatnou kategorii systémů umělé inteligence, které nazývá obecnými modely AI, jež musí splňovat dodatečné požadavky. Tyto se dělí do následujících kategorií:

• Obecné modely AI (angl. GPAI models); a
• Obecné modely se systémovým rizikem. 

Nejpřísnější požadavky na systémy umělé inteligence stanovené Aktem o umělé inteligenci se týkají kategorií nepřijatelného a vysokého rizika, včetně obecných modelů AI. Nicméně každá kategorie má své specifické povinnosti.

Akt o umělé inteligenci bude mít rovněž významný dopad na vysoce rizikové použití umělé inteligence ve veřejném sektoru

Řada systémů umělé inteligence, které ve veřejném sektoru nasazují vládní agentury a instituce, se v Aktu o umělé inteligenci klasifikuje jako vysoce riziková. Na tyto případy využití se budou vztahovat přísnější požadavky. Za vysoce rizikové systémy AI mohou být považovány následující: 

• Zdravotní péče: Použití umělé inteligence ovlivňující zdravotní stav pacienta, například v rámci zdravotního pojištění, lékařských přístrojů pro diagnostiku nemocí a doporučení léčby.
• Veřejná bezpečnost a vymáhání práva: Umělá inteligence využívaná ve veřejné bezpečnosti, dozoru a vymáhání práva.
• Doprava a kritická infrastruktura: Řízení dopravních systémů, bezpečnosti a provozu kritické infrastruktury, jako jsou energetické sítě, vodovodní sítě a veřejná doprava.
• Vzdělání: Hodnocení studentů, klasifikace nebo při rozhodnutích, která mají dopad na akademickou a profesní budoucnost studentů.
• Základní služby a sociální zabezpečení: Systémy umělé inteligence využívány k posouzení přístupu k veřejným službám, včetně systému sociálních dávek, programů finanční pomoci a přidělování zdrojů (např. vyplácení dávek občanům).
• Kontola migrace: Systémy umělé inteligence užívané v rámci hraničních kontrol na kontrolu dokumentů, identity a udělování či kontrole víz nebo povolení k pobytu. 
• Kontext zaměstnání: Nábor a řízení lidských zdrojů v případech, kdy se k tomu používá umělá inteligence.

V současné době existuje několik dalších regulací, které při způsobení škody zvýší odpovědnost poskytovatelů nebo zavádějících subjektů systémů umělé inteligence za tyto systémy. Patří mezi ně přepracované a již přijaté znění směrnice o odpovědnosti za vadné výrobky. Akt o umělé inteligenci spolu s výše uvedenými směrnicemi mají zajistit, že poskytovatelé a zavádějící subjekty systémů umělé inteligence budou povinni při vytváření, nasazování a provozování těchto systémů v dlouhodobém horizontu zavést další opatření, která zaručí jejich bezpečnost.

Vaše další kroky

S blížícím se termínem plné implementace Aktu o umělé inteligenci v srpnu 2026 nastane v oblasti umělé inteligence nová éra odpovědnosti a transparentnosti. Za zvláštní pozornost stojí role, kterou bude muset při zajišťování plného plnění Aktu o umělé inteligenci převzít veřejný sektor. Kroky, které může veřejný sektor podniknout, jsou následující:

1. Zjistěte si ve vaší organizaci potenciální dopad Aktu na umělou inteligenci vyhodnocením svých stávajících nebo předpokládaných projektů umělé inteligence. Začněte identifikací těch projektů, kde již nějakou formu umělé inteligence využíváte, nebo plánujete využívat. Ujistěte se, že nevyužíváte nebo nevyvíjíte systémy umělé inteligence, které spadají do kategorie zakázaných postupů.
2. Identifikujte které stávající mechanismy pro správu technologií máte, a určete nedostatky, které je potřeba odstranit, abyste zajistili soulad s Aktem o umělé inteligenci.
3. Investujte do školení a vzdělávacích programů, abyste zajistili, že se zaměstnanci dobře obeznámí s problematikou umělé inteligence, požadavky Aktu o umělé inteligenci a vyvíjejícího se regulačního prostředí.
4. Zvažte, jak plní vaše organizace požadavky na AI gramotnost uvedené v Aktu o umělé inteligenci, které se staly účinnými v únoru 2025. Podívejte se na naši nabídku školení AI gramotnosti a zjistěte, jak vám můžeme pomoci.

Tento článek je součástí série s názvem „Dopad Aktu o umělé inteligenci na veřejný sektor“. Další poznatky o povinnostech veřejného sektoru jako poskytovatele a zavádějícího subjektu umělé inteligence naleznete na tomto odkazu. Mimo jiné se můžete seznámit s úlohou veřejného sektoru při implementaci a vymáhání povinností Aktu o umělé inteligenci v následující části série. Cílem této série není poskytnout právní analýzy či výklady.