Hoe kan je AI leren PGM te gebruiken?
Voor het project onderzochten we hoe we AI kunnen leren de PGM-software te gebruiken. Om AI nieuwe vaardigheden en kennis te geven kan je kiezen uit AI-skills of een MCP-integratie. Wij begonnen met het overwegen van een MCP (Model Context Protocol) server voor PGM. MCP is een manier om AI toegang te geven aan externe tools of services. Voor PGM zouden we een MCP-server kunnen opzetten waarmee de AI kan communiceren en die de netberekeningen uitvoert.
MCP bleek echter om twee redenen niet geschikt voor dit project. Ten eerste moet alle data van de MCP-server door de context van de AI. Je kunt de PGM-API dus niet direct aansluiten, en omdat elk netwerk zijn eigen eigenaardigheden heeft, wordt het onpraktisch om alle functionaliteit vooraf vast te leggen. Ten tweede neemt de AI bij MCP zelf de beslissingen over de berekeningen, waardoor de stappen minder inzichtelijk zijn en je minder controle houdt.
Hoe hebben we de skill gemaakt?
Daarom kozen we voor AI-skills. Een AI-skill is een set instructies die de AI vertelt hoe een specifieke taak moet worden uitgevoerd, vergelijkbaar met het schrijven van een prompt. De AI-skill voor PGM helpt de gebruiker om PGM te programmeren en werkt direct in jouw omgeving. Daardoor heb je veel meer inzicht in en controle op het werk wat gedaan wordt. Deze skill, PGM-assistant, is opgezet als pair-programming skill, waarbij de AI je helpt om samen netberekeningen en analyses uit te voeren met PGM. Hiervoor hebben we de skill informatie gegeven over alle functionaliteiten die in PGM zitten en hebben we veelvoorkomende taken uitgelegd.
Tijdens het project hoorde ik van een veelvoorkomend probleem waar gebruikers van PGM regelmatig tegen aan lopen. Bij het uitrekenen van een scenario op je netwerk kan je soms een fout krijgen, een SparseMatrixError. De oorzaak hiervan is redelijk wiskundig, maar het komt vaak doordat er in de data over je netwerk net een node of datapunt verkeerd staat, waardoor PGM het niet kan uitrekenen. De gebruiker moet dan op zoek gaan naar wat precies de oorzaak is van de fout. Dit kan veel tijd kosten, want de netwerken zijn vaak duizenden nodes groot. Precies dit soort terugkerend probleem is een perfecte kans om een AI-skill voor te maken. Daarom bouwden we een tweede skill: PGM-Issue-Analysis. Die volgt een vast stappenplan om tot de kern te komen en geeft vervolgens aan waar het probleem zit, zodat de gebruiker snel verder kan.
Inzichten
Tijdens het project leerden we dat AI vaak al aardig wat kennis had van PGM en er al redelijk mee kon programmeren. Waarschijnlijk omdat PGM al ruim vijf jaar publiek op GitHub staat en dus in de trainingsdata van de modellen zit. Alleen zagen we ook dat AI toch vaker oude standaarden of niet de juiste methodes gebruikt van PGM. Dit is dan ook de belangrijkste waarde die onze AI-skill toevoegt. Het zorgt ervoor dat AI de juiste functies en best practices van PGM gebruikt. Daarnaast is de tweede skill, de PGM-Issue-Analysis, een mooi voorbeeld van hoe je AI kan gebruiken om een veel voorkomend en iteratief probleem op te lossen.
.svg){kind=small}