​

Risico’s per KI systeem

In 2021 kwam de Europese Commissie met het idee voor de AI Act. Deze wet moet ervoor zorgen dat KI-systemen die we in Europa gebruiken, veilig zijn en voldoen aan onze normen en waarden.

Wat precies een KI-systeem is, is nog niet helemaal duidelijk. Maar de laatste ideeën zeggen dat dit een systeem is dat zelfstandig kan werken en dingen kan voorspellen of beslissen die onze wereld beïnvloeden. Hieronder vallen bijvoorbeeld chatbots, zelfrijdende auto's, maar ook zoekmachines en gezichtsherkenning.

De AI Act werkt met risico’s: hoe hoger het risico van een KI-systeem, hoe meer regels er gelden. Deze risico’s worden bepaald door wat we met de technologie willen doen en waar we deze gebruiken. Er zijn vier risiconiveaus:

​

1. Onaanvaardbaar risico

2. Hoog risico

3. Beperkt risico

4. Minimaal risico

​

KI-systemen die een onaanvaardbaar risico vormen, worden verboden. Bijvoorbeeld een systeem dat mensen een score geeft op basis van hun gedrag, zoals in China, of camera's die op afstand mensen kunnen identificeren. Ook systemen die emoties kunnen herkennen, bijvoorbeeld op het werk of op school, worden verboden.

De meeste regels van de AI Act gaan over KI-systemen met een hoog risico. Dit zijn systemen die een gevaar kunnen zijn voor onze gezondheid, veiligheid of rechten. Denk aan systemen voor infrastructuur, werk, essentiële diensten, rechtshandhaving, migratie en onderwijs. We gaan straks verder in op de strenge regels die hiervoor gelden.

Bij KI-systemen met een beperkt risico moeten we vooral weten dat we met een KI-systeem te maken hebben. Denk bijvoorbeeld aan chatbots van webshops of nepvideo's (deep fakes).

​

Voor KI-systemen met een minimaal risico zijn er geen regels. Het is wel aanbevolen om gedragscodes op te stellen. Voorbeelden hiervan zijn spamfilters en KI in videogames.

Hoogrisico KI-systemen in onderwijs

Bepaalde KI-toepassingen in het onderwijs worden gezien als systemen met een hoog risico. In de originele tekst van de AI Act waren dit systemen die beslissen welke leerlingen en studenten worden toegelaten en beoordeeld. Maar, als de wijzigingen doorgaan, dan vallen ook adaptieve leermiddelen en fraude detectiesystemen hieronder.

Er is wel een extra regel: het KI-systeem moet een groot risico vormen voor de gezondheid, veiligheid of rechten (zoals het recht op onderwijs of het recht om niet gediscrimineerd te worden) om als hoog risico te worden gezien. De Europese Commissie gaat richtlijnen maken om te bepalen wanneer er sprake is van zo'n groot risico.

Hoewel we de definitieve tekst van de AI Act nog niet hebben en het niet helemaal duidelijk is wanneer iets een groot risico is, is het goed mogelijk dat sommige toepassingen die op school worden gebruikt, als hoogrisico KI-systemen worden gezien. Bijvoorbeeld als een systeem met algoritmen bepaalt wat het niveau van de leerling is, en daar de lesstof op aanpast.

​

Regels bij hoogrisico-systemen

Welke regels er zijn, hangt af van wie je bent in de wereld van KI. De meeste regels zijn er voor de mensen die KI-systemen maken. Zij moeten aan allerlei eisen voldoen, zoals het zorgen voor een systeem om de kwaliteit te bewaken, het delen van technische informatie, het systeem registreren in een database, storingen en incidenten melden, en laten zien dat het KI-systeem voldoet aan de AI Act.

​

Scholen zijn meestal niet de makers, maar de gebruikers van een KI-systeem. Ook voor deze gebruikers zijn er regels bij hoogrisico-toepassingen. Ze moeten bijvoorbeeld:

• het KI-systeem gebruiken zoals in de handleiding staat

• zorgen dat de inputdata goed is en past bij het doel

• toezicht houden op het KI-systeem

• logbestanden bewaren

• mensen vertellen als er beslissingen over hen worden genomen met behulp van KI

• een assessment uitvoeren om de impact op rechten te beoordelen

Als scholen een KI-systeem gebruiken dat als een hoogrisico-toepassing kan worden gezien, dan moeten zij dus aan deze regels voldoen.

 

Wanneer gaat de nieuwe wet in?

De tekst van de AI Act is nog niet af. Er zijn al meer dan 3.000 wijzigingen voorgesteld. Het Europees Parlement heeft op 14 juni overeenstemming bereikt over haar wijzigingen. In de komende maanden gaan de partijen onderhandelen over de definitieve tekst. We verwachten dat er eind 2023 een akkoord is over de AI Act en dat deze midden 2024 ingaat. Daarna krijgen organisaties 2 jaar de tijd om zich aan de nieuwe wet te houden.

Kennisnet houdt de ontwikkelingen rond de AI Act in de gaten en zal je laten weten wat de impact van deze nieuwe wet is op scholen en universiteiten zodra er meer duidelijk is.