Waarom exploratory testing meer is dan rondklikken
Wie voor het eerst hoort over exploratory testing, denkt al snel aan vrijblijvend rondklikken zonder plan. Dat misverstand is hardnekkig. Het kost testers waardevolle testtijd.
Exploratory testing als gestructureerde aanpak
Exploratory testing is geen alternatief voor een aanpak, het ís een aanpak. Eén die draait om het ontdekken van wat je nog niet weet. Donald Rumsfeld noemde dit de "unknown unknowns", de aspecten van software waarvan je niet eens weet dat je er niets van weet. Traditionele testmethoden, waarbij je vooraf zoveel mogelijk bedenkt en beschrijft, kunnen die blinde vlekken per definitie niet dekken. Exploratory testing wel.
Dat maakt het geen vervanging van andere technieken, maar een aanvulling op het deel van het testwerk dat scripts en testgevallen overlaten aan het toeval.
Wat het in de praktijk betekent
Exploratory testing zonder structuur is rondklikken. Met structuur is het een krachtige techniek. Die structuur zit in de voorbereiding en vastlegging, niet in een vooraf uitgeschreven script.
Een testcharter beschrijft wat je gaat verkennen, welke vragen je wilt beantwoorden en welke risico's je wilt blootleggen. Dat stuurt de sessie zonder hem vast te zetten. Tijdens de sessie noteer je wat je tegenkomt: bugs, onverwacht gedrag, vragen, nieuwe risico's, ideeën voor vervolgonderzoek. Na afloop heb je niet alleen bevindingen, maar ook een beeld van wat je hebt gedekt.
Een hulpmiddel dat daarbij goed werkt is de Product Coverage Outline (PCO): een mindmap-achtig overzicht van alles wat het product doet en wat je kunt testen. Het maakt blinde vlekken zichtbaar, gebieden die je anders over het hoofd zou zien.
Wanneer het het meest oplevert
Exploratory testing levert het meeste op waar het onbekende het grootst is. Bij nieuwe functionaliteiten die nog niet eerder zijn gezien. Na grote wijzigingen, waar het risico zit in hoe de nieuwbouw zich verhoudt tot de rest. Bij complexe systemen met veel afhankelijkheden, waar vaste scripts de samenhang niet kunnen dekken.
Het past ook goed bij ervaren testers die hun kennis willen inzetten in plaats van vooraf beschreven stappen te volgen. De kennis en intuïtie van de tester zijn de motor van exploratory testing, niet een belemmering.
Meer weten
"Explore It!" van Elisabeth Hendrickson en "Lessons Learned in Software Testing" van Kaner, Bach en Pettichord zijn een goed startpunt. Presentaties van James Bach en Michael Bolton zijn vrij beschikbaar en geven een scherp beeld van hoe exploratory testing in de praktijk werkt. Voor de PCO is de video van Huib Schoots (YouTube), waarin hij er een opbouwt en toelicht, een nuttige referentie.
Exploratory testing is geen noodgreep als de testgevallen op zijn. Het is een volwaardige testaanpak voor de risico's die je anders niet vindt.
