Demodag Kamervragen
18 december 2024
Donderdag 12 december was de demo-dag voor onze Proof of Concept voor de use case Kamervragen. Hierin vertelde we kort iets over de inhoud van de use case en onze ontwerpkeuzes. Daarna presenteerde we onze oplossing (lokaal en open-source) en gaven we een korte demonstratie van de functionaliteit.
Het was nog even spannend of alles zou werken, want de server die we nodig hebben om een afdoende taalmodel te laten draaien, is nog steeds niet verbonden met het internet. Hierdoor waren we genoodzaakt een creatieve oplossing te bedenken.
Op de afbeelding zie je hoe we het systeem toch werkend hebben gekregen voor de demo.
Op het kantoor hebben we een laptop met een krachtige GPU server staan. Daar wordt de retrieval-stap op gedraaid. Vervolgens wordt de generation-stap met een klein taalmodel uitgevoerd op de laptop met een groter taalmodel in de cloud van UbiOps (middlewareplatform) die vergelijkbare instellingen heeft als onze beoogde server. Zodra de server die we nodig hebben in de lucht is, kunnen we daarheen migreren.
