Voorjaarsevenement 2015 - Boodschappers van de Koning
Korte samenvatting van de Presentaties
Lost Art of Story Telling – New Paradigm for Learning in Testing –
There was a time when stories were used as a means to transfer knowledge from one generation to another. As Ursula K. LeGuin said "There have been great societies that did not use the wheel, but there have been no societies that did not tell stories.” This is how tradition, knowledge and more importantly wisdom has been captured, cataloged and passed on. This talk will take a look at some incidents that took place in the speaker’s testing life, the lessons that could be learned and how telling these incidents as stories would allow easy recording and propagation of the lessons contained within. The talk will also share some ideas about how modern equivalent of “sitting around the fire, swapping stories” can be implemented in the modern corporate context. Some ideas about how the next step in evolution of testing thought from structured and formal techniques to heuristics can be story telling.
Krijg je boodschap over de Bühne! Rapportages herdacht! – Bram Bronneberg
Maakt het iemand eigenlijk uit wat of hoe we hun product testen? Hoeveel testgevallen we uitgevoerd hebben of hoeveel hertests we gedaan hebben? Nee… en waarom zouden ze ook. Men wil alleen maar vertrouwen hebben in het product en antwoord op de vraag: Kunnen we releasen, kunnen we in productie?
Wij als testers zijn erg goed in ons werk. We kunnen rondjes testen rondom de rest van het team toch? Dat zie ik tenminste vaak bij testers waarmee ik samenwerk. Allemaal vakmensen met liefde voor het vak die graag laten zien wat ze kunnen en gedaan hebben. Ik zie echter zelfden een tester die de business daadwerkelijk vertrouwen geeft dat het product waarde toevoegt en de business doelstelling ondersteund. De meeste van ons rapporteren het aantal bevindingen, welke er open staan en wat de ernst classificatie is. Wellicht nog iets over geplande testuitvoer tegenover daadwerkelijke maar dan houd het meestal wel op.
Maar geeft je dat nu vertrouwen? Kan iemand vanuit de business zonder “testkennis” die harde cijfers en grafieken wel interpreteren?
Binnen dit praatje gaan we in op waarom cijfers en grafieken vaak niet werken en verschillende vormen van rapportage en waarom deze echt werken!
Managementstijlen en rapportagevormen: Hoe mijn boodschap af te stemmen op de ontvanger – Jan Jaap Cannegieter
Verschillende managers hebben verschillende managementstijlen. Om de effectiviteit van een rapportage te vergroten moet je deze aan laten sluiten bij de stijl van jou manager. Hiervoor moet je managementstijlen in kunnen schatten en verschillende rapportagestijlen beheersen.
De presentatie start met vier manieren hoe je dezelfde boodschap kunt brengen. Als voorbeeld nemen we een negatief vrijgaveadvies, het voorbeeld is gebaseerd op een prijkvoorbeeld uit een project waar ik testmanager was. Na de vier manieren stel ik de vraag wat de beste manier is, het goede antwoord is: dat hangt ervan af. Waar vanaf? Van de managementstijl / persoonlijkheidsprofiel van de ontvanger.
Vervolgens introduceer ik het DISC-model waarin vier managementstijlen / persoonlijkheidsprofielen worden onderkent.
De gedragsaspecten van de vier stijlen worden toegelicht en met behulp van bekende Nederlanders zoals Louis van Gaal en Piet Hein Donner gekenschetst.
In het laatste onderdeel van de presentatie worden de kenmerken van de rapportage per managementstijl met de zaal opgesomd. Hoe ziet per stijl een rapportage eruit? Dit doe ik interactief met de zaal.
Aan het einde van de presentatie grijp ik terug naar het begin van de presentatie: de vier verschillende negatieve vrijgaveadviezen, welke hoort bij welke managementstijl?
Doel van de presentatie is de deelnemers duidelijk maken dat er geen algemeen toepasbare beste manier van rapporteren is. Het hangt van de kenmerken van de ontvanger af. Met het DISC-model en de vier voorbeelden van een vrijgaveadvies kunnen de deelnemers na de presentatie aan de slag.
From Jester to Courtier: the professional test messenger – Rick Tracy
Are you ever confounded by your messages not being received well?
Do you ever get the idea that others do not understand your reports?
How do we fulfil our role as informers for quality?
Listen in and participate as we discuss the best way to turn being a messenger into an art form.
Testers often seem to run against barriers when communicating test results or trying to create proactive tests. This barrier serves not only for frustration to the tester but also confusion and misalignment for stakeholders.
This session aims to close the gap between testers and their target audiences by shining a spotlight on common issues and potential solutions. Instead of simply passing on information, we will help each other learn how to craft a professional message.
The group will be encouraged to share experiences, frustrations, and solutions as I take them through some of my and my colleagues’ experiences in moving from simplistic to informative test result communication. We’ll go over some Do’s and Don’ts, discuss contexts, and review the attitudes which lead to successful communication.
Overall this session aims to make communication not only a vital part of our professional work, but an enjoyable one as well.
Het testrapport is dood: Leve de Informatie! – Gerlof Hoekstra
Als het goed is, levert testen een schat op aan nuttige informatie, waar alle betrokkenen hun voordeel mee doen. Jammer genoeg presenteren we die informatie vaak in saaie, onbegrijpelijke rapporten waardoor de boodschap totaal niet overkomt. Leer hoe het ook anders kan.
In de jaren dat testen volwassen is geworden zijn er allerlei gewoontes (best practices?) ontstaan, die wij langzamerhand zonder nadenken als een soort standaard zijn gaan hanteren. Ook op gebied van testrapportage zie je dat. Veel testrapportages bevatten wel veel gegevens, maar geven de lezer weinig inzicht over wat er eigenlijk echt aan de hand is. Vervolgens wordt op basis daarvan de testmanager gevraagd om een kwaliteitsadvies of nog erger, een go/no-go advies te geven. In mijn visie is dat een teken dat de testinformatievoorziening gefaald heeft. In deze presentatie gaan we aan de hand van voorbeelden uit de praktijk na wat er mis is met veel testrapportages. Hoe cijfers en grafieken maar al te gemakkelijk verkeerd kunnen worden geïnterpreteerd en hoe voorzichtig je moet zijn met test-technische termen als coverage. Vanuit daar gaan we kijken naar hoe het beter kan: wat zijn de ingrediënten van een goede testrapportage, wat is een geschikt formaat om het te presenteren en welke tools kun je daarbij gebruiken. Tot slot gaan we in op de soft skills: hoe breng je de (soms niet fijne) boodschap zodat er ook daadwerkelijk iets gaat bewegen? Als je het goed doet, overkomt je misschien wat mij laatst overkwam; toen ik mijn opdrachtgever vroeg wanneer hij het eindrapport wilde hebben antwoordde hij: ‘Laat maar zitten. Ik hoef geen rapport meer. Ik weet al precies wat me te doen staat.’
Scrum, de bijsluiter – Egbert Bouman
Scrum is een fantastisch middel maar heeft ook bijwerkingen. Vooral op de discipline onafhankelijk testen en de manier waarop je je als tester positioneert en rapporteert. Kom naar deze presentatie en voortaan kun je perfect anticiperen op bijwerkingen.
Wat is scrum?
Scrum is een anti-lineair middel voor flexibel ontwikkelen van (software)producten.
Wanneer gebruikt u scrum?
Scrum helpt bij vastzittende IT, pijnlijke projecten, trage vernieuwing, lage productiviteit en gefrustreerde communicatie.
Bijwerkingen
Testarmoede, Scrumdamentalisme, Schaalpijn,
Documentatiedeficiëntie en artifact allergie, Regressiestuwing, Maintenance Migraine, Verstopping, Loslaatstress en egokramp
Egbert Bouman en zijn collega’s hebben talloze organisaties begeleid bij het invoeren van Scrum en onafhankelijk testen. Wij hebben in onze praktijk 18, soms milde en soms pijnlijke en gevaarlijke, bijwerkingen geïdentificeerd. Enkele ervan zijn hierboven genoemd. We zullen in deze presentatie alle 18 bijwerkingen toelichten en illustreren met praktijkvoorbeelden.
Waarschuwing: deze presentatie is niet geschikt voor mensen met een zwakke maag. Elke deelnemer ontvangt daarom een doosje Scrumpillen. Met bijsluiter.
Testen wordt monitoren – Ide Koops
Als het gebruikte softwareontwikkelproces wijzigt naar een vorm van Continuous Delivery dan doe je er goed aan om de mensen met testexpertise in te zetten op het inrichten van het continu monitoren (=rapporteren) van de kwaliteit van je opgeleverde software, je omgevingen en je software ontwikkelproces. Alleen zo kun je grip houden op een snel veranderende complexe omgeving zonder je ontwikkelproces fors te vertragen door losse momenten van testen, rapporteren en de feedbackloop daarvan.
Nu Continuous Delivery (en aanverwante ‘smaken’) zich steeds breder verspreid als het raamwerk voor software ontwikkeling in de toekomst worden testen en het inzichtelijk maken van de kwaliteit steeds meer onderdeel van de ‘Definition of Done’. Grip krijgen op de kwaliteit van een IT landschap wat continu in beweging is, kun je alleen krijgen door er continu een peilstok in te steken. Niet alleen door te testen op een testomgeving voor je naar productie gaat, niet alleen door reactief te reageren op incidenten, maar door continu een vinger aan de pols te houden. En daarover op 1 of andere manier te rapporteren aan de stakeholders. Het team zelf, de business, het management, en wellicht wel de gebruikers van het product.
Een nieuw vak binnen de IT? Monitoring? Nee, veel testers hebben denkpatronen, werkwijzen en ervaringen die waardevol zijn bij het inrichten van monitoring in een Continuous Delivery omgeving. Deze presentatie gaat over de raakvlakken tussen deze skills van testers en datgene wat nodig is voor monitoring en ook de overeenkomsten van sommige testtechnieken met vormen van monitoring. Immers, met monitoring rapporteer je continu.
Insight in reliability – Bryan bakker
Less is more… Minder informatie verstrekken, maar wel de juiste informatie op de juiste manier, is vele malen sterker dan alle details te tonen.
Iedereen heeft wel eens problemen met de reliability (betrouwbaarhied) van bepaalde producten ervaren: een auto die niet meer start, een smartphone die door reset gaat, een TV die vast loopt… Heel vervelend natuurlijk, maar reliability problemen zijn soms meer dan alleen vervelend. Denk aan vliegtuigen, medische apparaten, of de auto die wel start maar niet meer remt…
Inzicht verschaffen in de reliability, en de ontwikkeling van deze reliability (bekend als reliability growth) tijdens een ontwikkeltraject van een complex product is niet eenvoudig. Deze presentatie beschrijft een case-study van een medisch apparaat, waarbij (software) reliability testen uiteraard de nodige aandacht krijgen.
Tijdens dit project is gekozen voor een eenvoudige manier van rapportage over de reliability testen om de stakeholders (met name management) inzicht te verschaffen in de reliability van het product.
Hierbij is gebruik gemaakt van het Crow-AMSAA model.
Om op een eenvoudige manier te rapporteren, was het belangrijk om in het voortraject al de juiste metingen te bepalen, om zo de nodige gegevens te verkrijgen. De presentatie zal dit traject ook toelichten.
Andere stakeholder (bijv. ontwikkelaars) hebben behoefte aan andere test rapportage, hier zal ook aandacht aan worden besteed.
Heraut of Hero – Hans Vedder
Inhoud en vorm bepalen voor een groot gedeelte de kracht van de testrapportage. Je hebt als boodschapper ook de juiste vaardigheden nodig. Wil jij graag de held van het project zijn? Pak de testrapportage dan eens anders aan en leer bijvoorbeeld van de manier hoe de herauten van weleer dat aanpakten, opdat jij straks naast ‘testheraut’ ook ‘projecthero’ bent!
Hans Vedder neemt u mee naar de tijd dat de herauten belangrijke boodschappers van de koningen waren en hij trekt een parallel met de tijd, waarin we nu leven. Waarin zitten de verschillen en wat heeft dat voor impact op de kracht, vorm en inhoud van de boodschap? En wat is het lot van de boodschapper zelf? Hoe breng je een slechte boodschap (wapenbrief) over, zonder dat het je de kop kost?
Het blijkt dat voor het overbrengen van informatie extra, andere en gecompliceerde vaardigheden nodig zijn dan die je bij het uitvoeren van softwaretests gebruikt. Heraut in testland wordt je niet zomaar, daarvoor heb je bepaalde vaardigheden nodig. Bijvoorbeeld: alles weten van de heraldiek en etiquette. Hoe overhandig je een ‘wapenbrief’ en op welke manier geef je de testrapportage de juiste kracht? Mondeling of schriftelijk, continue of alleen op belangrijke momenten?
In ‘Heraut of Hero?’ wordt op aangename en begrijpbare wijze uit de doeken gedaan hoe je als boodschapper ook de held van je project kan worden. Wij moeten beseffen dat wij als testers meer dan alleen boodschappers zijn. Zo kan ook jij, na het beleven van deze presentatie, minder prettige boodschappen verkondigen en toch alle credits ontvangen!
Als je een boodschapper bent, moet je wel een boodschap hébben! – Bart Broekman
Als je wilt dat er iets gedaan wordt met jouw testrapportage, moet je niet volstaan met het invullen/opleveren van standaardrapportages. De denkfout is dat “rapportage” hetzelfde is als “het document ‘testrapport’”. Dwing jezelf om je af te vragen welke boodschap je te vertellen hebt en of dit rapport dat adequaat over de bühne brengt.
De meeste testmanagers weten dat “rapportage” één van hun hoofdverantwoordelijkheden is. Veel mensen verwarren dat met “produceren van een rapport” of nog erger “invullen van het template ‘testrapportage’”.
Nadat ik toegelicht heb waarom je jezelf daarmee in het hokje plaatst van “ach ja, daar heb je hém weer”, geef ik diverse praktijkvoorbeelden over hoe je wel kan scoren met rapportage:
1. Je moet wel iets te vertellen hebben. Wat is het probleem waarvoor je aandacht wilt hebben en waar je vindt dat iets aan gedaan moet worden?
2. Op welke manier zou je inzichtelijk kunnen maken dat dit probleem werkelijk bestaat en wat de (eventueel toekomstige) gevolgen ervan zijn? Bij voorkeur: met wat voor plaatje of grafiek?
3. Welke gegevens moet ik hiervoor verzamelen.
En loop vervolgens terug: Maak je plaatje; Vertel je verhaal.
Dynamische testrapportage – Guido Boskaljon
Testrapportages zijn er voor de voortgang. Voortgang die je wilt tonen aan de klant. Wat is de stand van zaken van het project. In een Agile omgeving waar dev/ops, continuous integration en continuous deployment aan de orde van de dag is, is een dynamische (realtime) testrapportage steeds belangrijker. Behaviour Driven Development kan hierbij een belangrijke rol spelen.
In deze presentatie wil ik graag de kracht van de testrapportage tonen in een sterk ontwikkelende Agile omgeving. Een omgeving waar we steeds meer groeien naar continuous deployment. De testrapportage is niet meer de sheet met bugs waarmee je bij je developer aan komt zetten, of waarmee je aantoont hoeveel risico er in de livegang zit. De testrapportage is een dynamisch, voor iedereen toegankelijk en altijd up-to-date beeld van hoe we er voor staan. De klantvraag wordt steeds meer afgestemd op de gebruiker en dat betekent dat je ieder moment een productiegang moet kunnen faciliteren. Dit vraagt om een hoge mate van transparantie die een juist vertrouwensniveau kan bouwen met de business.
Door het toepassen van Behaviour Driven Development worden in 3 amigo sessies zowel User Stories als acceptatiecriteria op elkaar afgestemd. De tester dient zijn testen functioneel inzichtelijk te maken door deze te automatiseren en de resultaten voor iedereen inzichtelijk te maken in een deployment pipeline. Zo weten alle betrokkenen wat er getest wordt en wat de testresultaten zeggen over de vraag: kunnen we met deze versie van de software naar productie?
Performancetestrapport, formaliteit of meerwaarde? Joerek van Gaalen
Al sinds jaar en dag stellen we volledige en uitgebreide performance testrapportages op. Steeds vaker wordt een rapport steeds meer een formaliteit. Het wordt steeds belangrijker om continu te rapporteren. De vorm kan en moet veranderen, van statisch naar dynamisch rapport.
Performance testrapportages bevatten vaak veel detail. Er is niet alleen een management summary waarin staat of de performance binnen de grenzen valt en een go / no-go advies, maar ook worden de testen meestal in detail beschreven. Steeds vaker krijgen we de wens om met een beperkter rapport te komen. In de presentatie wil ik het probleem van beperkte rapportages aangeven.
Ook worden performancetesten steeds vaker in de sfeer van agile en continuous delivery uitgevoerd. Het is dan al vaak niet eens meer mogelijk om de tijd te nemen om uitgebreid een rapportage op te stellen. De behoefte is anders. Waar doe je goed aan en hoe ga je hiermee om.
Maar hoe kunnen we op een hele andere manier aan deze veranderende behoefte voldoen. Sneller een eenvoudiger rapporteren. In de presentatie wil ik voorleggen hoe je van statisch rapporteren (een document) naar dynamisch kan (online rapport, automatisch samengesteld).
Ik wil hier in de presentatie niet alleen de mogelijkheid overbrengen, maar ook discussiëren over de mogelijkheden, noodzaak, gevaren van een nieuwe manier van rapporteren.
Speel open kaart! Information Radiator als ultieme vorm van testrapportage – Berry Kersten.
Binnen Agile softwareontwikkeling is communicatie binnen en buiten het team belangrijk. Op de juiste manier rapporteren over relevante zaken is essentieel om een soepel proces te vormen. Vaak wordt in traditionele valkuilen gestapt. Door de opzet van een Information Radiator zijn (test)rapportages eenvoudig en eenduidig beschikbaar.
In een Agile omgeving wordt werkende software meer gewaardeerd dan allesomvattende documentatie. Hieronder vallen ook (test)rapportages. Zijn rapportages dan niet meer nodig? Absoluut wel! Maar de manier is afhankelijk van de context. Bovendien kunnen rapportages ruis veroorzaken als ze verkeerd geïnterpreteerd worden. Rapportages zijn binnen Agile werken mijn inziens belangrijk omdat ze een hulpmiddel kunnen zijn om de communicatie binnen en buiten het team te bevorderen, zodat het gehele software ontwikkelproces soepel verloopt. Maar hoe kun je testrapportages maken zonder onnodige overhead die ook nog eens effectief zijn? Een oplossing is het gebruik van een Information Radiator; soms ook wel Big Visible Chart genoemd. In feite betekent dit op een visuele manier rapporteren over bijvoorbeeld: projectstatus, bevindingen of metrieken. Een goede Information Radiator is zo simpel dat iedereen in één oogopslag kan zien hoe het gesteld is met de voortgang (van het project, het product, de tests, et cetera). Alles is hierbij transparant. In deze presentatie laat ik zien wat Information Radiators zijn en hoe ze ingezet kunnen worden. Tevens reflecteer ik mijn eigen ervaring en opinie om de voor- en nadelen te benoemen.
Testrapportage: Boodschappers van de Koning of de Nieuwe kleren van de Keizer? – Bart Knaack
Als testrapportage ons belangrijkste product is, waarom wordt er dan maar zo weinig acht op geslagen? Raken we wel de juiste snaren? Verkopen we onze resultaten wel op de juiste manier? Kortom, doen we testen wel recht aan met de manier waarop we de resultaten presenteren? In deze presentatie krijg je de tips en trucs voor het rapporteren met impact.
In alle testhandboeken, methodieken en testtrainingen wordt aangegeven dat de testrapportage ons belangrijkste product is. HET advies over de Go/NoGo beslissing. Our finest hour, onze claim to fame, de vijf minuten in de zon, het doel van ons leven….. De praktijk is echter vaak anders…. We testen, doen bevindingen, rapporteren daarover in onze voortgangsrapportages (die niet altijd gelezen worden). Er worden bevindingen opgelost en als ‘men’ het product acceptabel vindt, gaat ‘men’ in productie en als wij in onze testrapportage een ‘NoGo’-adviseren, dan wordt dit advies 9 van de 10 keer overruled ‘omdat men toch in productie wil gaan’ en ‘dan maar accepteert dat er in productie nog wel wat fouten zullen optreden…..’. En als het dan misgaat is iedereen weer vergeten wie ook weer besloten heeft om in productie te gaan en ‘is er toch weer slecht getest’.
Dit roept toch wel de vraag op of die testrapportage nu wel echt ons belangrijkste product is en zo ja, hoe we deze rapportage dan zo kunnen inrichten dat ze ook gelezen, begrepen en gewaardeerd gaat worden? Op welke manier kunnen we onze boodschap duidelijk maken als dit niet via de testrapportage gaat? Kortom, hoe krijgen we onze boodschap over de buhne, zonder dat we onze waardigheid verliezen….
In deze presentatie gaat Bart Knaack op de verschillende manieren om de uitkomst van testen op zo’n manier te kunnen presenteren dat deze impact heeft en dat het duidelijk is waarom we testen....
Testrapportage, waarom eigenlijk? – Jurian van de Laar
Testrapportage wordt vaak als vanzelfsprekend ervaren, vaak ook als het belangrijkste onderdeel van ons werk, maar is het dat ook? Door deze vraag te stellen, wil ik doordringen tot de kern: waar gaat het nu echt om en wat gaat er mis? Daarbij ook specifieke kenmerken en voorbeelden uit mijn praktijk (medisch, gereguleerde omgeving)
In mijn functie als Test Lead ben ik verantwoordelijk voor het ontwikkelen van een Test Strategie voor een cluster van R&D afdelingen. Daarbij heb ik gemerkt dat het onderwerp ‘test documentatie’ een belangrijke rol speelt. Daar bestaan, zelfs in een professionele organisatie met een volwassen test proces, nog veel vragen over. In de Test Strategie ben ik daar duidelijkheid in aan het scheppen. In de medische wereld, een door wetgeving gereguleerde omgeving, is niet alleen de klant koning, maar ook auditors. Documentatie is ‘bewijs’ en dat moet kloppen! Maar wat moet je nu eigenlijk rapporteren? Daarnaast hebben op onze afdelingen de ontwikkelaars en ontwerpers een grote verantwoordelijkheid in testen gekregen. Aan wie moeten zij rapporteren? Hoe werken zij samen met testers en welke verantwoordelijkheid hebben testers dan nog in het samenstellen van test rapportages? In dit kader en in deze dynamiek wil ik de zin en onzin van testrapportage laten zien. Gelukkig heb ik in mijn vorige functie als senior consultant veel gezien, veel ervaring opgedaan en veel trainingen gegeven. Genoeg stof om eens een ‘top 10 van test rapportage do’s en don’ts te presenteren!
I broke your software and this is how – Dave van Stein
Deze presentatie gaat over hoe effectief de resultaten van een security test te rapporteren.
Security testing is becoming a standard phase in every software development project. The resulting report is often a thick pdf containing a lot of gibberish making solving the issues difficult. This presentation will provide some insights in effectively reporting technical issues resulting in a report that a customer is able to read and understand.
De sheets zijn in het engels, de presentatie kan zowel in nederlands als engels worden gegeven.
Ik heb er geen boodschap aan – 20 manieren om je rapportage aan te passen aan je publiek – Thomas Veltman
Het belangrijkste doel van rapportage is om je boodschap zo te verpakken dat je publiek hem zo begrijpt als jij hem hebt bedoeld. Gemakkelijk gezegd – maar in de praktijk soms lastig. Belangrijke les is om niet teveel vast te houden aan een vaste manier van rapporteren. Zoek een oplossing die bij jou situatie past!
Rapporteren is een van de belangrijkste vaardigheden van een goede tester. Juist omdat elke situatie om een andere rapportage vraagt, is veel aandacht en creativiteit gevraagd. In deze presentatie worden een aantal handvaten geboden om je rapportage aan te passen aan je publiek.
Aan de hand van een groot aantal praktijkvoorbeelden wordt aangegeven welke verschillende manieren en zijn om te rapporteren.
Daarbij moet je denken aan verschillen in publiek – het kan gaan om:
- Business mensen
- Beheer
- Gebruikers
- Ontwikkelaars
Maar ook verschillende testvormen vragen verschillende rapportagevormen. Denk daarbij aan:
- Functionele test
- Usability test
- Performance test
- Testautomatisering
Belangrijke les hieruit is dat er niet één perfecte rapportagevorm bestaat die altijd toepasbaar is. Er zijn vele mogelijkheden en deze presentatie inspireert de lezer om eens verder te kijken dan het standaard word-sjabloon. Het belangrijkste blijft echter altijd de boodschap te richten op degene naar wie je rapporteert.