Wat is een hoog-risico AI-systeem volgens de AI Act?

Kort antwoord

Een AI-systeem is hoog-risico als het valt in een van de categorieën uit Annex I of Annex III van de AI Act. Annex I gaat over AI ingebouwd in al gereguleerde producten zoals medische hulpmiddelen en machines. Annex III gaat over zelfstandige AI-toepassingen op gevoelige terreinen zoals werving, krediet, onderwijs en biometrie. De categorie bepaalt welke verplichtingen gelden en wanneer die ingaan.

Twee lijsten, twee deadlines

De AI Act maakt een duidelijk onderscheid tussen twee soorten hoog-risico systemen.

De eerste groep valt onder Annex I: AI die is ingebouwd in producten die al onder sectorale EU-wetgeving vallen. Denk aan medische hulpmiddelen, speelgoed, liften, voertuigen en industriële machines. Voor deze systemen geldt de deadline van 2 augustus 2028.

De tweede groep valt onder Annex III en artikel 6(2): zelfstandige AI-toepassingen op terreinen waar fouten grote gevolgen kunnen hebben voor mensen. Voor deze systemen geldt de deadline van 2 december 2027. Dat is al uitgesteld ten opzichte van de oorspronkelijke datum van 2 augustus 2026, maar de verplichting komt er zeker aan.

Welke toepassingen staan in Annex III?

De wet noemt acht domeinen. Voor het mkb zijn de meest relevante:

• Biometrie: gezichtsherkenning, emotiedetectie, biometrische categorisering van personen
• Onderwijs en beroepsopleiding: systemen die leerresultaten beoordelen of toegang tot opleidingen bepalen
• Werkgelegenheid en personeelsbeheer: AI bij werving, selectie, promotie of ontslag
• Toegang tot essentiële diensten: kredietscoring, verzekeringspremies, sociale uitkeringen
• Rechtshandhaving: risicoprofilering van personen
• Migratie en grenscontrole: risicobeoordelingen van reizigers
• Rechtsbedeling: AI die rechters of arbiters ondersteunt bij beslissingen
• Kritieke infrastructuur: AI die veiligheidscomponenten beheert in energie, water of transport

Voor de meeste mkb-bedrijven zijn de eerste vier domeinen het meest relevant. Gebruikt u een AI-tool bij het screenen van sollicitanten, het beoordelen van kredietaanvragen of het automatisch beoordelen van studenten? Dan bent u waarschijnlijk in hoog-risico-territorium.

Wat maakt een systeem hoog-risico, de technologie of de toepassing?

De toepassing. Een taalmodel als zodanig is niet hoog-risico. Maar als u dat taalmodel inzet om cv's te rangschikken en kandidaten te selecteren, valt die specifieke toepassing onder Annex III. De wet kijkt naar wat het systeem doet en in welke context, niet naar welke technologie eronder zit.

Dit is een belangrijk punt voor mkb-bedrijven die standaard SaaS-tools gebruiken. U bent als deployer verantwoordelijk voor de toepassing. Artikel 26 legt deployers concrete verplichtingen op, ook als u de software niet zelf hebt gebouwd.

Welke verplichtingen gelden voor hoog-risico systemen?

Als uw systeem hoog-risico is, gelden onder andere de volgende eisen uit de AI Act:

• Artikel 9: een risicobeheersysteem opzetten en bijhouden
• Artikel 10: werken met kwalitatief goede en representatieve trainingsdata
• Artikel 11: technische documentatie bijhouden
• Artikel 14: menselijk toezicht mogelijk maken en aantoonbaar inrichten
• Artikel 16: verplichtingen voor providers, waaronder registratie in de EU-database
• Artikel 25: verdeling van verantwoordelijkheden in de keten vastleggen
• Artikel 26: verplichtingen voor deployers, waaronder monitoring en rapportage van incidenten

Deze eisen zijn niet vrijblijvend. Ze moeten aantoonbaar zijn ingericht voordat u het systeem in gebruik neemt.

Wat als u twijfelt of uw systeem hoog-risico is?

De wet biedt in artikel 6 een uitzondering: een systeem dat technisch gezien in Annex III valt, is toch niet hoog-risico als het geen significante invloed heeft op de uitkomst van een beslissing over een persoon. De provider moet die uitzondering dan wel aantoonbaar onderbouwen en documenteren.

In de praktijk is deze uitzondering smal. Als het systeem ook maar een rol speelt in een beslissing over werving, krediet of toegang tot een dienst, is de kans groot dat het toch hoog-risico is. Voorzichtigheid is hier de juiste houding.

Wat betekent dit voor uw planning?

De deadline voor Annex III-systemen is 2 december 2027. Dat lijkt ver weg, maar de verplichtingen vereisen documentatie, risicoanalyses en aantoonbaar menselijk toezicht. Dat bouwt u niet in een week. Bedrijven die nu al hoog-risico AI gebruiken, doen er verstandig aan om dit jaar te inventariseren welke systemen eronder vallen en wat er nog moet worden ingericht.

Voor Annex I-systemen is de deadline 2 augustus 2028. Ook daar geldt: begin op tijd.

Volgende stap

Weet u nog niet zeker of uw AI-toepassingen hoog-risico zijn? Begin met een eerlijke inventarisatie van wat u gebruikt en waarvoor. De gratis zelfscan op nuchter.ai helpt u om uw situatie in kaart te brengen zonder juridisch jargon.