Evidence Based Coaching: welke effecten zijn van belang, hoe deze te meten?

Evidence Based Coaching: welke effecten zijn van belang, hoe deze te meten?

Afgelopen jaar stelde onze collega Alexander Waringa in een column in dit e-Magazine de noodzaak van een kritische reflectie op de effectiviteit van de eigen coachingsmethoden aan de orde. Hij eindigt zijn betoog met een fundamenteel probleem: het is nog niet volledig helder hoe we deze effectiviteit eigenlijk moeten gaan meten. 

Inderdaad, waar gaat het eigenlijk om? Om het behalen van vooraf gestelde doelen? Hoe stel je vast of die doelen ook daadwerkelijk behaald zijn? Zijn de effecten van de onvolprezen Cognitieve Gedrags Therapie (CGT) vergelijkbaar voor personen die zich melden voor coaching, zoals Ben Tiggelaar beweert? Is er geen wezenlijk verschil tussen de  vraag naar psychotherapie en de vraag naar coaching? De studies die Grant (2009) bespreekt in zijn overzicht van gecontroleerd onderzoek naar de effecten van coaching laten een bonte verzameling van effectmaten zien, varieerend van “illness intrusiveness” en "burnout” tot studieresultaten van MBA studenten en “informed decisions in prostate specific anti-gen screening” door huisartsen. 

Alexander stelt voor met elkaar in discussie te gaan, onder andere over de vraag naar het meten van de effectiviteit van coaching. Hierbij een eerste aanzet. Ik zou de mogelijke (gewenste) effecten van (werkgerelateerde) coaching in drie groepen indelen.

Effecten in drie groepen meten

Ten eerste: In het algemeen stelt de coachee prijs op een interventie die leidt tot een afname van onaangename psychische symptomen zoals uitputting, depressiviteit en angstige spanning. Uiteraard op voorwaarde dat de aspirant coachee er ook daadwerkelijk last van heeft, zoals degenen die zich juist vanwege deze symptomen aanmelden (min of meer te vergelijken met aspirant-psychotherapie clienten).

Ten tweede:  Ook zal hij of zij het prettig vinden als er een toename is van positieve gevoelens, werksatisfactie en in het algemeen een grotere ‘quality of life’, met name wanneer de (werk)situatie nog niet geheel ideaal is.

Ten derde: Last, (zeker) not least:  het zou mooi zijn wanneer de coachee effectiever in het werk zou worden. Dit is niet alleen van belang de coachee zelf maar zeker ook voor andere stake-holders, zoals werkgever, leidinggevende, collega’s, medewerkers en clientele. Laten we de drie groepen van effecten eens langslopen: hoe zijn ze te meten, in hoeverre zijn ze toegepast binnen onderzoek naar coaching? 

Coaching bij psychische symptomen

1. Psychische Symptomen. Onderzoek naar de effecten van behandelingsmethoden in de geestelijke gezondheidszorg richt zich in de eerste plaats op  onaangename psychische symptomen zoals uitputting (burnout) en depressiviteit en problematisch gedrag, zoals sub-assertiviteit en verlegenheid. Minder aandacht is er voor dominantie en hufterigheid. Zoals gezegd zijn deze resultaten in de eerste plaats relevant voor de coaching van personen die last hebben van dit soort symptomen. Dit is lang niet het geval bij allemaal, maar wel degelijk bij een deel van de aspirant-coachees. We bevinden ons hier op het grensgebied van coaching, counseling en psychotherapie (De Jong, 2007).

In kaart brengen van symptomen is mogelijk

Er kunnen diverse  redenen zijn om je met dit soort klachten bij een coach te vervoegen en niet bij een GZ-psycholoog of andere  psychotherapeut. Het kan zijn dat de symptomen niet zwaar genoeg zijn (“sub-klinisch”) voor deze vormen van hulpverlening. Er kan sprake zijn van een al dan niet realistische vrees voor stigmatisering als patient. Tenslotte kan de toegankelijkheid en beschikbaarheid van coachingsprogramma’s binnen het bedrijf een rol spelen. Meta-studies aan het begin van deze eeuw lieten al zien dat Cognitieve Gedrags Therapie bij een specifieke subgroep, gestresste managers, leidde tot afname van burnout en tot verbetering van (subjectieve) werkomstandigheden. Ontspanningsoefeningen bleken bruikbaar bij gestresste arbeiders (Van der Klink, Blonk, Schene, en Van Dijk,  2001). Een potentieel probleem is dat vrijwel alle onderzoek op het gebied van psychische klachten gebaseerd is op zelfbeschrijving. Gelukkig blijken dit soort zelfbeschrijvingen redelijk valide te zijn.    

Coaching op positieve reacties

2. Positieve (werkgerelateerde) reacties. Positieve emoties zijn al lange tijd voorwerp van onderzoek. Maar binnen het kader van de “positieve psychologie is er een toegenomen aandacht voor specifieke positieve emoties zoals “flow” en “engagement”, in het bijzonder bij bekeerde clinici zoals de voorvechter van de positieve psychologie, Martin Seligman  (Schaufeli en Bakker, 2007).                                                                                                          

Zowel de klassieke als nieuwe methoden zijn voor praktijk van coaching van belang. Werktevredenheid en haar determinanten hebben als sinds jaar en dag de aandacht binnen de psychologie van Arbeid en Organisatie. Interessant is dat van deze klassieke maat gebruikt wordt gemaakt in het eerder besproken recente onderzoek, gepubliceerd in het kersverse Journal of Positive Psychology (Grant, Curtaye en Burton, 2009). 

Coaching op effectiviteit

3. Effectiviteit van de coachee. In het onderzoek van Grant en collega’s gaven deelnemers spontaan op dat ze dachten dat hun managementvaardigheden verder ontwikkeld waren. Dat is mooi, maar het is ook wel van belang verbetering in vaardigheid en effectiviteit uit andere bronnen te vernemen. Dat was in dit onderzoek niet het geval. Helaas komen we zoiets in ander onderzoek ook maar zelden tegen. Terecht waarschuwt Alexander Waringa ervoor je teveel op de subjectieve indruk van de deelnemer te  verlaten. Onderzoek naar “self-efficacy”, de subjectieve eigen inschatting van het vermogen een bepaalde taak aan te kunnen, laat zien dat deze inschatting alleen valide is wanneer de persoon ook feedback heeft met betrekking tot de resultaten van eerdere taakvervulling.

Het is niet voor niets dat in klassieke onderzoeken naar effectiviteit (ook) gebruikt wordt gemaakt door beoordelingen door anderen, zoals leidinggevenden en collega’s, (Schmidt en Hunter, 1998) en “last not least” medewerkers en clienten (360 graden feedback). 

Effectiviteit is te meten via vragenlijsten

In een onderzoek met een veel groter aantal deelnemers dan dat van Grant en collega’s bleek  inderdaad een significante verandering in beoordelingen van de effectiviteit van leiders na een coachingstraject (Tach, 2002). Helaas, een controlegroep ontbrak in dit onderzoek. Daarom is een veel ouder onderzoek van Wexley en Nemeroff (1975)  waarin dat wel het geval is interessant. Een deel van de deelnemers aan een leiderschapstraining ontving een vorm van coaching waarin plannen werden gemaakt voor de toepassing van het geleerde in de dagdagelijkse praktijk en werd overlegd hoe eventuele moeilijkheden in de toepassing  konden worden opgelost.

Na afloop werden beide groepen door hun medewerkers beoordeeld op sociaal leiderschap. Ook gaven de medewerkers aan hoe het stond met hun eigen werksatisfactie. De managers die aan deze sessies deelnamen scoorden na afloop zowel hoger op de beoordelingen van sociaal leiderschap als op werktevredenheid van hun medewerkers dan de controlegroep.  

Ook verandering in kennis en kunde kunnen gemeten worden

Prestatie op de taak als zodanig  (“task performance”) en bijdrage  aan de (team) samenwerking (“contextual performance”) worden in sterke mate door kennis en vaardigheid bepaald. Deze kan worden gemeten met simpele professionele kennistestjes: aldus gemeten kennis was de hoeksteen van de “theory of work performance” van Schmidt en Hunter (1998) in hun klassieke literatuuroverzicht. Ook een zelfbeoordeling, “team self-efficacy” bleek predictief voor proces en prestatie van (management) teams (De Jong, Bouhuys en Barnhorn, 1999). Ook “situational judgement tests” waarbij de respondent aangeeft welke reactie de beste is in een bepaalde praktijksituatie voorspellen taakprestatie en samenwerkeningskwaliteit (Morgeson, Reider & Campion, 2005).

Het kan daarom misschien geen kwaad meer aandacht te geven aan de ontwikkeling van kennis en (team) vaardigheden als effectmeting van coaching. 

Samenvattend:

1. Er is al heel wat ervaring met het meten van verandering in onaangename psychische reacties, zoals uitputting, depressiviteit etcetera als effect van bepaalde vormen van coaching bij een specifieke subgroep coachees. Een potentieel probleem is dat het hier om “self-report” gaat. Een troost is hierbij dat de gebruikte instrumenten een redelijk grote validiteit laten zien. Het blijkt overigens dat subjectieve verandering, gemeten met  retrospectieve metingen een grote overeenkomst vertonen met veranderingen in voor- en nametingen. Dit biedt leuke perspectieven voor de verdieping van de simpele na-meting.  

2. Er zou meer gebruik kunnen worden gemaakt van metingen van positieve subjectieve ervaringen, zoals de klassieke werksatisfactie en positieve stemming en nieuwkomers zoals “engagement”.

3.  Er is zeer veel winst te behalen op het gebied van effectiviteit, Niet alleen (veranderingen in) effectiviteit volgens de visie van verschillende “stakeholders, niet altijd met dezelfde belangen. Iets lastiger, maar niet altijd onmogelijk is het meten van “objectieve” prestatie. Een vrijwel onontgonnen terrein is het meten van veranderingen in kennis en kunde, belangrijke determinanten niet alleen van effectiviteit, maar ook van welzijn. Deze instrumenten zouden in veel grotere mate ingezet kunnen worden bij onderzoek van coaching, niet alleen in “randommized controlled” studies, maar ook in simpeler evaluatie onderzoek. En niet alleen voor het vaststellen van de effecten van coaching, maar ook voor speuren naar de diverse processen die tot deze effecten leiden. Maar daarover later meer.      

Door: Rendel D. de Jong, lid Commissie Wetenschappelijk Onderzoek NOBCO, Universiteit Utrecht, RINO Utrecht.       

Lees ook: Coaching en de  Positieve Psychologie: Tips voor de praktijk en onderzoek naar effectiviteit van externe “Professional Executive Coaches”, De Jong (2010) e-Magazine NOBCO september 2010.

Bronnen:

Grant, A.M., Curtaye, L., & Burton, G. (2009) Executive coaching enhances goal attainment, resilience and workplace well-being: a randomized controlled study. The journal of Positive Psychology, 4, 396-407.

Jong, R.D. de (2007) Counseling en coaching. In W. Schaufeli en A. Bakker (Red.) De Psychologie van Arbeid en Gezondheid. Houten: Bohn, Stafleu van Loghem, 149-168.

De Jong, R.D.,  (2010) Coaching en de  Positieve Psychologie: Tips voor de praktijk en onderzoek naar effectiviteit van externe “Professional Executive Coaches”, Column in Nieuwsbrief Coaching

Jong, R.D. de, Bouhuys, S.A., & Barnhorn, J.C. (1999) Personality, self-efficacy, and functioning in management teams: A contribution to validation. International Journal of Selection and Assessment, 7, 46-49.

Morgeson, F.P., Reider, M.H., & Campion, M.A. (2005) Selecting individuals in team settings: the importance of social skills, personality characteristics, and teamwork knowledge. Personnel Psychology, 58, 583-611. 

Schaufeli, W., & Bakker, A. (2007) Burnout en bevlogenheid. In W. Schaufeli en A. Bakker (Red.) De Psychologie van Arbeid en Gezondheid. Houten: Bohn, Stafleu van Loghem, 341-358.

Schmidt, H.L., &  Hunter, J.E. (1998) The validity and utility of selection methods in personnel psychology: practical and theoretical implications of 85 years of research findings. Psychological Bulletin. 124, 262-274.    

Tach, E.C. (2002). The impact of executive coaching and 360 feedback on leadership effectiveness. Leadership & Organization Development Journal, 23, 4, 205-214.

Waringa, A., (2010) Het placebo-en-jojo effect in coaching. Column in Nieuwsbrief Coaching 

Wexley, & Nemeroff, (1975)Effectiveness of positive reinforcement and goal setting as methods of management development.  Journal of Applied Psychology, 60, 446-450.

 

Terug naar overzicht