Testautomatisering met AI begint bij architectuur

AI kan razendsnel code schrijven. Ook testautomatisering. Maar sneller code produceren betekent niet automatisch dat je betere tests krijgt.
‍

Laat je AI een website bouwen, dan kun je als mens relatief eenvoudig controleren of het resultaat doet wat je hebt gevraagd. Bij testautomatisering is dat lastiger. Een assertion kan technisch correct ogen, maar iets anders verifiëren dan functioneel bedoeld. Een test kan groen worden terwijl hij eigenlijk niets waardevols controleert. Zeker wanneer degene die de opdracht geeft de gegenereerde code zelf niet volledig kan beoordelen.
‍

Voor ons begint testautomatisering met AI daarom niet bij codegeneratie, maar bij architectuur.

‍
AI moet binnen de architectuur werken
‍

Binnen Cerios gebruiken we SPARTA: Simply Powerful Automated Regression Test Architecture. Daarbovenop hebben we Spartaficial ontwikkeld: de AI-laag waarmee agents onze bestaande automation-capabilities kunnen gebruiken.
‍

Daarbij geven we een agent niet onbeperkt de opdracht: “automatiseer dit proces maar”. De agent moet zich houden aan dezelfde architectuur en bouwstenen als onze automation engineers.
‍

Die controle begint zelfs voordat de agent gaat uitvoeren. Met skills leggen we guardrails vast. Een Grill Skill daagt bijvoorbeeld eerst onze eigen opdracht uit. Wat wil je precies testen? Wat is het risico? Wat moet daadwerkelijk worden geverifieerd? Welke aannames maak je?
‍

De agent gaat dus niet direct rennen omdat iemand een prompt invoert. Eerst moet de opdracht scherp genoeg zijn.
‍

Dat is voor ons een belangrijk principe: niet alleen human in the loop, maar the right human in the right loop.
‍

Browser, API, mobile én Windows desktop
‍

Veel moderne testautomatisering begint bij browser en API. Maar bedrijfsprocessen houden daar niet op.
‍

Een proces kan vanuit een webportaal via API’s en events door een landschap bewegen, waarna het resultaat zichtbaar wordt in een native mobiele app of Windows-desktopapplicatie. Daarnaast kunnen controles nodig zijn op databases, messaging of via shellcommando’s.
‍

Daarom hebben we binnen dezelfde architectuur meerdere automation engines beschikbaar gemaakt. Ook native mobile en Windows desktop zijn operationeel.
‍

Juist op dat laatste zijn we trots: agentic Windows desktop testing.
‍

Voor de agent zijn dit geen losse testtools die ieder een eigen manier van werken vereisen. Het zijn capabilities die binnen dezelfde architectuur beschikbaar zijn.
‍

Een agent kan daardoor als gebruiker A een handeling uitvoeren in een browser, vervolgens analyseren wat er door een event-driven architectuur gebeurt en daarna in een Windows-applicatie als gebruiker B controleren of het proces correct is aangekomen.
‍

Eerst analyseren, daarna een regressietest bouwen
‍

Die agentische analyse werkt inmiddels daadwerkelijk.
‍

De agent kan applicaties openen, ermee interacteren en tijdens het proces relevante informatie verzamelen. Daarbij proberen we bewust token-aware te werken, dus zuinig met wat er naar het taalmodel gaat: niet iedere DOM, desktop snapshot of complete technische context hoeft telkens naar een taalmodel. De agent krijgt de informatie die op dat moment nodig is.
‍

Tijdens de analyse leert de agent hoe het proces door de keten loopt. Vervolgens gebruikt hij de bestaande SPARTA-bouwstenen om daar een onderhoudbare regressietest van te maken.
‍

Dat verschil is belangrijk. Het eindresultaat is niet een los AI-script dat toevallig vandaag werkt. Het wordt onderdeel van dezelfde automation-architectuur als de rest van het testframework.
‍

Waarde in complexe ketens
‍

Deze aanpak gebruiken we inmiddels bij meerdere organisaties en in verschillende domeinen, waaronder pensioenen, energie, zorg, financiële dienstverlening en complexe overheids- en infrastructuurketens.
‍

Juist daar bestaat een bedrijfsproces meestal niet uit één scherm of één technologie. Event-driven architecturen, verschillende gebruikersrollen en meerdere applicatietypen komen samen.
‍

AI helpt ons om zulke processen sneller te analyseren en automatiseren. De architectuur, skills en bestaande bouwstenen zorgen ervoor dat die snelheid niet ten koste gaat van controle.
‍

Voor ons is dat de essentie van Spartaficial: niet AI zoveel mogelijk testcode laten schrijven, maar AI gecontroleerd gebruik laten maken van automationkennis die al in de architectuur is vastgelegd.
‍

‍