Dopady Aktu o umělé inteligenci na veřejný sektor: Povinnosti veřejného sektoru

Tato část se zabývá problematikou inovací v oblasti umělé inteligence ve veřejných institucích a vládních agenturách. Zaměřuje se na zásadní roli poskytovatelů a zavádějících subjektů ve veřejném sektoru.

Jak se vyznat v roli a odpovědnostech veřejného sektoru coby poskytovatele a zavádějícího subjektu umělé inteligence 

Vzhledem k tomu, že se systémy umělé inteligence ve vysoce rizikové kategorii stávají ve veřejném sektoru stále rozšířenější, je zásadní pochopit, jak může umělá inteligence s dodržováním předpisů koexistovat, a tím utvářet budoucnost, v níž hnací silou pokroku bude zodpovědná umělá inteligence odpovídající potřebám moderního světa.

V některých případech bude systémy umělé inteligence veřejný sektor vyvíjet nebo nechávat vyvinout. Tím pádem jakožto poskytovatel umělé inteligence bude veřejný sektor odpovědný za provádění náležité kontroly toho, jak je systém navržen, vyvíjen a provozován. Konkrétní povinnosti budou odvislé od kategorie rizika daného systému umělé inteligence. Poskytovatelé umělé inteligence musí důkladně dokumentovat dodržování příslušných předpisů a zajistit, aby byly systémy umělé inteligence bezpečné po celou dobu své existence. To zahrnuje i povinnost sledovat, jak budou vysoce rizikové systémy umělé inteligence fungovat po zahájení provozu.

V ostatních případech si bude veřejný sektor pouze pořizovat existující systémy umělé inteligence v souladu s pokyny jejich tvůrců. V roli zavádějícího subjektu má veřejný sektor odpovědnost za to, aby způsob, jakým je systém v praxi zaváděn, používán a udržován, byl s požadavky Aktu o umělé inteligenci v souladu. Kromě toho by měl veřejný sektor jakožto zavádějící subjekt ověřovat, zda poskytovatelé umělé inteligence, se kterými spolupracuje, požadavky stanovené v Aktu o umělé inteligenci dodržují. Tímto způsobem zajistí, že systémy, do kterých investuje a které implementuje, budou bezpečné, spolehlivé a dlouhodobě funkční. 

Nasazování systémů umělé inteligence, zejména obecných modelů umělé inteligence, které jsou například základem ChatGPT společnosti OpenAI, Bardu od společnosti Google nebo Clauda společnosti Anthropic, může představovat další výzvu. Důvodem je omezené množství informací o těchto modelech a o tom, do jaké míry vyhoví specifickým požadavkům Aktu o umělé inteligenci. 

Veřejný sektor musí coby poskytovatel a zavádějící subjekt přijmout opatření, která zajistí soulad se specifickými požadavky Aktu o umělé inteligenci

Akt o umělé inteligenci klade na poskytovatele a zavádějící subjekty systémů umělé inteligence specifické požadavky. Přístup založený na hodnocení rizika je zpřísňuje v přímé závislosti na míře rizika systémů umělé inteligence. Nejvyšší požadavky jsou kladeny na kategorii vysoce rizikových systémů a obecné systémy umělé inteligence. Požadavky na kategorii vysoce rizikových systémů se dotýkají, například, následujících oblastí:

• Správa dat - je nutné zavést vhodná opatření k zajištění kvality dat, relevance a dostatečné reprezentativnosti.
• Lidský dohled - systémy umělé inteligence by měly být navrženy a vybaveny pokyny, které zajistí odpovídající lidskou kontrolu a umožní efektivní lidský dohled.
• Řízení rizik - při rozhodování o tom, jak je systém umělé inteligence navržen, jak funguje a jak je používán, by se mělo usilovat o zmírnění rizik, která umělá inteligence představuje.
• Technická dokumentace a vedení záznamů - před uvedením systému na trh by měla být shromážděna a přezkoumána vhodná technická dokumentace; po uvedení na trh by mělo být zajištěno automatické zaznamenání událostí (logů) provozu systému.
• Robustnost, přesnost a bezpečnost - systémy umělé inteligence by měly být testovány, navrženy a nasazeny tak, aby dosáhly odpovídajících úrovní přesnosti, robustnosti a kybernetické bezpečnosti. 

Odpovědné a etické nasazení systémů umělé inteligence navíc vyžaduje zavedení robustních procesů a postupů. Níže následuje přehled toho, co to může obnášet pro zavádějící subjekt ve veřejném sektoru:

• Posouzení dopadů na základní práva: Jakmile organizace veřejného sektoru používají systémy umělé inteligence s vysokým rizikem, měly by v konkrétních případech předem provést posouzení podle FRIA (tzv. posouzení dopadu na základní práva), aby se zhodnotilo, jaký dopad může mít konkrétní systém na práva a svobody dotčených stran. Na základě výstupu hodnocení by se měla naplánovat vhodná ochranná opatření ohledně způsobu použití systému a jak se případně odvolat.
• Vyhodnocení AI systému: Zavádějící subjekty ve veřejném sektoru by měly mít pro AI nástroje, které zvažují pořídit, zavedený důkladný hodnotící rámec.To znamená provedení důkladného hodnocení každého nástroje, potenciálních rizik a souladu s požadavky Aktu o umělé inteligenci. 
• Procesy zadávání veřejných zakázek: Hodnotící rámec by se měl promítnout do procesů zadávání zakázek při výběru AI řešení. To znamená definovat kritéria pro zadávání zakázek, metodologií a hodnotících metriky v souladu s požadavky Aktu o umělé inteligenci. 
• Sledování norem a předpisů: Vzhledem k tomu, že se předpisy týkající se umělé inteligence neustále vyvíjejí, je pro subjekty veřejného sektoru nezbytné sledovat připravované normy evropských normalizačních organizací, jakými jsou CEN (Evropský výbor pro normalizaci) a CENELEC (Evropský výbor pro normalizaci v elektrotechnice). Tyto normy poslouží jako orientační směrnice či návod pro zajištění souladu systémů umělé inteligence, které by organizace veřejného sektoru měly zapracovávat do svých hodnotících rámců a zadávacích procesů.

Zajištění souladu s Aktem o umělé inteligenci ve veřejném sektoru, jak pro poskytovatele, tak pro zavádějící subjekty, bude vyžadovat zavedení komplexní správy systémů umělé inteligence v průběhu jejich celého životního cyklu. To může znamenat značné investice do zdrojů, technologií a získání odborných znalostí. Je nezbytné zvýšit kvalifikaci zaměstnanců a základní úroveň gramotnosti v oblasti umělé inteligence, zvlášť Aktu o umělé inteligenci, a tím zaručit použití adekvátních nástrojů a technologií pro dokumentaci a hodnocení systémů umělé inteligence

Kromě toho existuje nepovinný ale doporučovaný aspekt pro veřejný sektor, coby zavádějící subjekt systémů umělé inteligence vytvořených jinými subjekty. Zavádějící subjekt může zavést opatření pro ověřování a výběr systémů umělé inteligence, které jsou v souladu s Aktem o umělé inteligenci. Tím posílí soulad s regulačními normami a zajistí, že systémy umělé inteligence splňují potřebné požadavky.

Vaše další kroky

Následující kroky mohou sloužit pro veřejný sektor jako návod, jak se nejen orientovat ve složitém prostředí implementace a správy umělé inteligence, ale zároveň zajistit soulad s Aktem o umělé inteligenci. Ve své organizaci:

1. Začněte tím, že budete řešit potřebné nové dovednosti v digitální gramotnosti. Investujte do školicích programů, abyste zvýšili kvalifikaci stávajících zaměstnanců a přilákali nové talenty s odbornými znalostmi v oblasti technologií umělé inteligence. Zvažte požadavky Aktu o umělé inteligenci týkající se AI gramotnosti.
2. Zmapujte a identifikujte všechna využití systémů umělé inteligence klasifikována jako vysoce riziková. Ujistěte se, že tyto systémy umělé inteligence jsou vyvíjeny v souladu s Aktem o umělé inteligenci a že jste v případě potřeby provedli posouzení dopadu na základní práva.
3. Definujte a implementujte jasný proces zadávání zakázek pro výběr systémů umělé inteligence, které byste chtěli v budoucnu používat. Tento proces by měl zahrnovat nejen jasné definice, podle kterých se budou hodnotit dodavatelé a nástroje umělé inteligence, ale také vhodné metodologie využití těchto technologií.
4. Vzhledem k nepřetržitě se rozvíjející regulaci umělé inteligence udržujte aktivní povědomí o doplňujících dokumentech Aktu o umělé inteligenci a normách, které vznikají v evropských normalizačních organizacích, jakými jsou CEN a CENELEC. Mějte přehled o tom, jak se vaše odvětví vyvíjí a jak v souvislosti s tím mění právní předpisy.
5. Vytvořte si plán, jak vyřešit případné chybějící kapacity, nástroje nebo procesy tak, abyste zabezpečili vytvoření, pořízení a nasazení systémů umělé inteligence v souladu s požadavky Aktu o umělé inteligenci a širšími právními požadavky na veřejný sektor.

Tento článek je součástí série s názvem „Dopad Aktu o umělé inteligenci na veřejný sektor“. Další poznatky o přístupu k Aktu o umělé inteligenci založeném na rizicích ve veřejném sektoru naleznete na tomto odkazu. Mimo jiné se můžete seznámit s poznatky o úloze veřejného sektoru v rámci implementace a vymáhání práva Aktu o umělé inteligenci v následující části série. Cílem této série není poskytnout právní analýzy či výklady.