Embedded Files
De Tweede Kamer der Staten-Generaal speelt een cruciale rol in de Nederlandse democratie door vragen te stellen aan de regering en verantwoording te eisen over beleid en uitvoering. Het beantwoorden van deze vragen is een tijdrovend proces. Wij willen onderzoeken in hoeverre generatieve AI-modellen Kamervragen effectief kunnen analyseren en beantwoorden. In theorie zou Learning Lion dit proces vereenvoudigen, door beleidsmedewerkers te ondersteunen in het vinden van relevante documenten en het genereren van tekstvoorstel. Door gebruik te maken van traditionele zoekmethoden in combinatie met semantisch zoeken, en door eerder gestelde vragen te identificeren, levert het systeem meer consistentie en bespaart het tijd.
Doelen
Learning Lion-Kamervragen zal op verschillende manieren de beleidsmedewerkers ondersteunen in het proces van het beantwoorden van de kamervragen, door:
Het versoepelen van het zoekproces van relevante bronnen die nodig zijn voor het beantwoorden van een Kamervraag.
In het huidige zoekproces worden niet altijd alle relevante bronnen gevonden omdat zoeken in de database van eerder behandelde Kamervragen nu gaat met zoektermen die precies moeten matchen. De combinatie van traditionele zoekmethdoen met semantisch zoeken zou dus een meerwaarde kunnen zijn, doordat dit ook zoekresultaten oplevert die ongeveer dezelfde betekenis hebben als de zoekterm (bijvoorbeeld: ‘messen’ en ‘zwaarden’). Niet alleen worden er dus meer relevante bronnen gevonden, maar ook het zoekproces wordt hiermee versneld.
Consistentie in het beantwoorden van Kamervragen.
Door een RAG-model, zorg je ervoor dat eerder gestelde Kamervragen of vergelijkbare vragen worden gevonden. Op deze manier kan je ervoor zorgen dat eenzelfde of een vergelijkbare vraag op dezelfde manier wordt beantwoord en dat dus dezelfde beantwoordingslijn wordt gevolgd. Ook zorg je ervoor dat het beantwoorden van Kamervragen toegankelijker wordt voor mensen met minder domeinkennis.
Een tekstvoorstel doen met bijbehorende relevante bronnen
Doordat een RAG-model gekoppeld is aan een voorgetrainde LLM, kan er een tekstvoorstel worden gedaan voor een Kamervraag op basis van de gevonden bronnen. Dit geeft beleidsmedewerkers een richting in het beantwoorden van een Kamervraag. Door een bronvermelding toe te voegen heeft de beleidsmedewerker inzicht in welke bronnen er zijn gebruikt om het concept te genereren waardoor er controle kan plaatsvinden.
Ontwerp van Learning Lion Kamervragen
Het AI-systeem ondersteunt bij het opstellen van antwoorden op Kamervragen, wat de efficiëntie van het werk kan bevorderen. Het systeem bestaat uit drie onderdelen:
Retrieval
Op basis van de query (gehele Kamervraag plus eventuele extra relevante informatie (bijvoorbeeld de titel, een beschrijving van, of keywords uit een bijbehorend nieuwsartikel)) van de gebruiker doorzoekt het AI-systeem eerder gestelde schriftelijke Kamervragen (met beantwoording). Deze documenten zijn opgehaald uit de API van het Open Data Portaal. Dit gebeurt op basis van traditionele zoekmethoden in combinatie met semantisch zoeken. Dergelijke bronnen kunnen de gebruiker ondersteunen om bijvoorbeeld de beantwoordingslijn helder te krijgen.Tussenstap
De gebruiker beslist welke brondocumenten er wel en niet worden meegegeven in de generation-stap. De gebruiker heeft in deze stap opnieuw de mogelijkheid om zelf extra relevante informatie toevoegen die ook meegenomen moet worden bij het genereren van het antwoord.Generation
Op basis van de brondocumenten van de opgehaalde (retrieved) relevante stukken tekst uit de schriftelijke Kamervragen (met beantwoording) plus eventuele extra toegevoegde eigen bronnen (zoals nieuwsartikelen of sentiment) wordt een tekstvoorstel gegenereerd voor het beantwoorden van de query door een LLM (Large Language Model). N.B. De aanvullende eigen bronnen/informatie mogen uitsluitend aan het taalmodel worden verstrekt indien dit juridisch is toegestaan. Het streven is om bij het tekstvoorstel een bronvermelding toe te voegen, zodat er voor de gebruiker inzichtelijk is op basis waarvan de output is gegenereerd. Dit werkt transparantie in de hand.
Verantwoord gebruik van generatieve AI voor het doen van tekstvoorstellen voor Kamervragen
Bij het ontwerpen van het RAG-systeem zien wij deze technologie als een hulpmiddel dat ondersteuning biedt aan beleidsmedewerkers en de werklast kan verlichten, maar het proces ook reproduceerbaarder, betrouwbaarder en tijdsefficiënter maakt. Dit houdt echter wel in dat de beleidsmedewerker kritisch moet zijn tegenover de output die het model levert. Momenteel is deze technologie en de manier hoe wij dit implementeren volgens de AI-verordening nog geen hoog risico, maar als in de toekomst de antwoorden die het model genereert direct gebruikt worden zonder dat deze gecontroleerd worden op feitelijke waarheid, wordt het risico aanzienlijk hoger.*
Databehoefte
In de use case Kamervragen wordt er door de retriever gezocht in een database met eerder gesteld schriftelijke Kamervragen met beantwoording. Deze komen uit de API van het Open Data Portaal van de Tweede Kamer. Hierbij wordt geen onderscheid gemaakt in de verschillende ministeries.
Alleen de data vanaf 2011 t/m eind 2023 worden gebruikt. Dit heeft een aantal redenen:
De data lijkt op verschillende manieren gestructureerd. Er is een oude opmaak en een nieuwe. Deze is veranderd rond 2010/2011.
Om het AI-systeem te kunnen valideren is het belangrijk om een set Kamervragen te hebben die voor het AI-systeem 'onbekend' is. Op deze manier kan je de antwoorden van het AI-systeem vergelijken met de originele antwoorden. Hierom is de cut-off date gezet op eind 2023.
Binnen deze scope zal ook gekeken worden naar de invloed van verschillende tijdsperiodes van de data op de performance van het AI-systeem. Daarom krijgt de gebruiker in de User Interface drie opties waaruit hij kan kiezen: data vanaf 2010, data vanaf 2018 en data vanaf 2021.
Hoe ziet de data eruit?
In de API zitten documenten die elk een unique document ID hebben. Deze documenten hebben verschillende formats (zoals .pdf of .docx). Deze zien er in de nieuwe opmaak uit zoals op de afbeelding hiernaast.
Bovenaan de pagina staat een nummering in de reeks Kamervragen per vergaderjaar (in dit geval: 1314). Daarna volgt een inleiding waar onder andere de aanleiding van de vraag staat beschreven en wie de vraag stelt aan welke minister. In dit geval: “Vragen van de […] 25 maart 2024)”.
Daarna volgt een opsomming van subvragen met bijbehorende antwoorden, waarbij steeds eerst de vraag wordt weergegeven en daarna het antwoord. Deze hebben hetzelfde nummer:
Uitdagingen
Er zijn verschillende uitdagingen als het om het verwerken en verwerken van deze data gaat:
In de Kamervragen zijn soms foutjes geslopen. Bijvoorbeeld: vraag 3 staat netjes uitgetypt en gemarkeerd als vraag 3, maar antwoord 3 staat niet aangegeven en volgt na een kopie van vraag. Dit soort afwijkingen kunnen we nog niet goed verwerken.
In de Kamervragen wordt er altijd verwezen naar een bepaald artikel. Dit artikel is erg belangrijk om de context van de Kamervraag te begrijpen en de vraag inhoudelijk goed te kunnen interpreteren. De inhoud van dit artikel staat niet in de Kamervraag zelf en moet dus op een andere manier worden meegegeven aan het AI-systeem.
Condities (operationele omgeving)
De belangrijkste conditie waaraan voldaan moet worden is het beheer van lokale GPU’s die in staat zijn om dit model te laten functioneren. Dit is de fysieke operationele vereiste, en hiernaast bestaan er ook nog vereisten voor het gebruik van het systeem zelf:
Naleving van wettelijke normen en voorlopige standpunten
We moeten ervoor zorgen dat de AI-tools voldoen aan alle relevante privacy-, en auteurswetten. Dit kan worden bereikt door regelmatig impact assessments (bijvoorbeeld een Data Protection Impact Assessment of een Impact Assessment Mensenrechten en Algoritmes) uit te voeren om voortdurende naleving te waarborgen.Transparantie van de modellen
Het moet voor gebruikers duidelijk zijn hoe het systeem werkt en hoe beslissingen of antwoorden tot stand komen.
Betrouwbaarheid:
Om deze technologie een levensvatbaar alternatief te maken voor bestaande AI-toepassingen, is betrouwbaarheid een van de belangrijkste vereisten. Om dit te bereiken moeten hoge prestaties worden gegarandeerd en moet het model minimale bias vertonen. De kwaliteit van de output moet goed genoeg zijn om ervoor te zorgen dat het een goed alternatief biedt voor Chat-GPT zodat het gebruik hiervan door beleidsmedewerkers kan worden voorkomen. Daarnaast moeten ondersteunings- en onderhoudsprotocollen worden geïmplementeerd om problemen snel aan te pakken.
Toegankelijkheid
Het product moet toegankelijk zijn voor alle medewerkers, met een gebruiksvriendelijke interface, uitgebreide trainingen voor medewerkers, en extra ondersteuning om effectief gebruik van de AI-tools te faciliteren.
*Dit is slechts een inschatting. Wij hebben geen juridische achtergrond en kunnen hier (nog) geen uitsluitsel over geven.
Google Sites
Report abuse