Systémy AI, vysoce rizikové systémy a AI akt pro praxi ve společnostech a úřadech

Konrad Wolfenstein

před 10 měsíci

Systémy umělé inteligence, vysoce rizikové systémy a zákon o umělé inteligenci pro praktické využití ve firmách a veřejných orgánech – Obrázek: Xpert.Digital

Právo EU v oblasti umělé inteligence: Nové pokyny od Evropské komise – Co by firmy měly vědět hned teď

Systémy umělé inteligence, vysoce rizikové aplikace a zákon o umělé inteligenci ve firmách a veřejných orgánech

Dne 11. února 2025 zveřejnila Evropská komise komplexní pokyny k praktickému provádění zákona EU o umělé inteligenci. Tyto pokyny mají pomoci společnostem a veřejným orgánům lépe porozumět požadavkům zákona a dodržovat je. Zvláštní důraz je kladen na zakázané praktiky umělé inteligence, vysoce rizikové systémy a opatření k zajištění souladu s předpisy.

Klíčové aspekty pokynů

Zakázané praktiky umělé inteligence

Zákon o umělé inteligenci (AI Act) výslovně zakazuje určité aplikace umělé inteligence, které představují nepřijatelně vysoká rizika. Tyto zákazy platí od 2. února 2025. Patří mezi ně mimo jiné:

Systémy umělé inteligence, které používají manipulativní nebo klamavé techniky
Systémy, které cíleně zneužívají zranitelnosti určitých jednotlivců nebo skupin
Systémy sociálního bodování
Umělá inteligence dokáže předvídat potenciální trestné činy bez jasných důkazů
Nekontrolované scrapingování obličejových snímků z internetu pro biometrickou identifikaci
Systémy rozpoznávání emocí na pracovišti nebo ve vzdělávacích institucích
Biometrické systémy identifikace v reálném čase ve veřejných prostorách (s několika výjimkami pro orgány činné v trestním řízení)

Tyto zákazy mají zajistit, aby technologie umělé inteligence byly používány eticky a zodpovědně a neporušovaly základní práva.

Praktické uplatnění pokynů

Pokyny Evropské komise o délce 140 stran obsahují řadu praktických případových studií, které mají pomoci společnostem a veřejným orgánům správně klasifikovat jejich systémy umělé inteligence. Ačkoli tyto pokyny nejsou právně závazné, slouží jako reference pro dozorové orgány při monitorování a vymáhání předpisů.

Význam pro firmy a úřady

Společnosti a úřady se musí aktivně zapojit do dodržování pokynů, aby:

zkontrolovat vaše stávající systémy umělé inteligence, zda nedošlo k porušení předpisů
Provést potřebné úpravy včas
Vybudovat interní struktury pro dodržování předpisů, aby se předešlo sankcím

Nedodržování předpisů může mít vážné důsledky. Sankce mohou dosáhnout až 35 milionů eur nebo 7 % celosvětového ročního obratu společnosti, podle toho, která částka je vyšší.

Další kroky

Než budou směrnice plně implementovány, musí být ještě přeloženy do všech úředních jazyků EU a formálně přijaty. Podniky a veřejné orgány by nicméně měly proaktivně podniknout kroky k přípravě na postupné zavádění zákona o umělé inteligenci. Plné uplatňování zákona je naplánováno na 2. srpna 2026.

Kategorizace rizik systémů umělé inteligence

Zákon EU o umělé inteligenci rozděluje systémy umělé inteligence do čtyř rizikových tříd, z nichž každá má odlišné regulační požadavky:

1. Nepřijatelné riziko – Zakázané systémy umělé inteligence

Tyto systémy jsou v EU zcela zakázány, protože představují významnou hrozbu pro práva a svobody občanů. Mezi příklady patří:

Systémy umělé inteligence pro sociální bodování
Manipulativní umělá inteligence, která nevědomě ovlivňuje chování uživatelů
Biometrická identifikace v reálném čase ve veřejných prostorách pro účely vymáhání práva (s několika výjimkami)
Systémy umělé inteligence, které zneužívají zranitelnosti dané věkem, postižením nebo socioekonomickým statusem

2. Vysoké riziko – nutná přísná regulace

Tyto systémy musí splňovat přísné požadavky a před uvedením na trh projít testy shody. Patří mezi ně:

Umělá inteligence jako bezpečnostní prvek v kritických produktech, jako jsou zdravotnické prostředky, vozidla nebo stroje
Samostatné systémy umělé inteligence s dopady na základní práva (např. kontroly úvěruschopnosti, prověřování žádostí, vymáhání práva, soudní správa)

Tyto aplikace podléhají rozsáhlým požadavkům týkajícím se transparentnosti, řízení rizik, kvality dat a lidského dohledu.

3. Omezené riziko – povinnosti transparentnosti

Tyto systémy musí uživatele informovat, že interagují s umělou inteligencí. Mezi příklady patří:

Chatboti
Deepfakes, které se používají k vytváření nebo manipulaci s mediálním obsahem.

4. Minimální nebo žádné riziko – Bezplatné použití

Takové systémy nepodléhají žádným specifickým právním závazkům; doporučuje se však dobrovolný kodex chování. Mezi příklady patří:

Videohry s umělou inteligencí
Filtr spamu

Vysoce rizikové systémy umělé inteligence a jejich regulace

Zákon o umělé inteligenci definuje vysoce rizikové systémy umělé inteligence jako ty, které mají významný dopad na bezpečnost, zdraví nebo základní práva lidí. Ty lze rozdělit do dvou hlavních kategorií:

1. Umělá inteligence jako bezpečnostní komponenta nebo samostatný produkt

Systém umělé inteligence je klasifikován jako vysoce rizikový, pokud:

Funguje jako bezpečnostní prvek výrobku, který spadá pod harmonizační předpisy EU, nebo
Podléhá posouzení shody, protože představuje potenciální nebezpečí.

Mezi příklady takových produktů patří:

Umělá inteligence v lékařských zařízeních (např. diagnostických systémech)
Asistenční systémy řidiče podporované umělou inteligencí
Umělá inteligence v průmyslové výrobě pro hodnocení rizik a zajištění kvality

2. Samostatné vysoce rizikové systémy umělé inteligence se společenským významem

Tyto systémy jsou uvedeny v příloze III zákona o umělé inteligenci a ovlivňují kritické oblasti společnosti, jako například:

a) Kritická infrastruktura

Umělá inteligence pro řízení a monitorování energetických sítí nebo dopravních sítí

b) Vzdělání a zaměstnání

Umělá inteligence pro automatizované hodnocení zkoušek
Umělá inteligence pro výběr uchazečů nebo hodnocení výkonu zaměstnanců

c) Přístup k finančním a sociálním dávkám

Kontroly úvěruschopnosti s využitím umělé inteligence
Systémy pro posuzování nároku na sociální dávky

d) Vymáhání práva a justice

Umělá inteligence pro analýzu důkazů a podporu vyšetřování
Systémy podporované umělou inteligencí pro kontrolu hranic a řízení migrace

e) Biometrická identifikace

Systémy pro biometrickou vzdálenou identifikaci
Systémy rozpoznávání emocí v prostředích kritických z hlediska bezpečnosti

Všechny tyto vysoce rizikové aplikace umělé inteligence podléhají přísným požadavkům týkajícím se řízení rizik, transparentnosti, zpracování dat, technické dokumentace a lidského dohledu.

Zákon EU o umělé inteligenci: Jak se firmy mohou připravit na přísná nařízení týkající se umělé inteligence

Zákon EU o umělé inteligenci stanoví jasný rámec pro používání technologií umělé inteligence a klade zvláštní důraz na ochranu základních práv. Společnosti a veřejné orgány se musí s novými předpisy důkladně seznámit a podle nich přizpůsobit své aplikace umělé inteligence, aby se vyhnuly sankcím. Obzvláště přísné požadavky platí pro vysoce rizikové systémy, které by měly být integrovány do procesů vývoje a implementace v rané fázi.

Neustálé sledování legislativy a proaktivní opatření k dodržování předpisů jsou nezbytné pro zajištění zodpovědného používání umělé inteligence a zároveň pro podporu inovací v rámci právního rámce. Nadcházející roky ukážou, jak si zákon o umělé inteligenci vede v praxi a jaké další úpravy by mohly být nutné.

Vhodné pro:

Váš globální partner pro marketing a rozvoj podnikání

☑️ Naším obchodním jazykem je angličtina nebo němčina

☑️ NOVINKA: Korespondence ve vašem národním jazyce!