paulvanderlaken.com

Data Science, Machine Learning & Visualization

Engagement, motivatie, en vragenlijstonderzoek

P ∼ A × M × O, aldus de strategische HRM literatuur: Het presteren van personeel in een organisatie is een functie van vaardigheden (Ability), motivatie (Motivation) en mogelijkheden (Opportunity). De motivatie van medewerkers om te presteren wordt in dezen tegenwoordig veelal verbonden aan het concept work engagement. Deze heeft de eerdere medewerkerbetrokken- en tevredenheid van de troon gestoten. Vragenlijsten vormden lange tijd de kern van onderzoek naar dergelijke constructen, maar langzaamaan lijkt dit te veranderen door de opkomst van geavanceerde IT systemen. Wellicht terecht, want eenmaal jaarlijks een vinger aan de pols met een engagement survey is weinig informatief en louter reactief. Zodoende is een trend zichtbaar, naar pulse surveys, sampling, A/B testen en meer continue feedback systemen. Echter gelden voor dit soort meetinstrumenten dezelfde best practices en psychometrische eigenschappen als golden voor het traditionelere vragenlijstonderzoek. Zodoende neig ik te concluderen dat de vragenlijstaanpak binnen HR nog niet vergeten moet worden.


Monitoren & dashboards

Binnen een grote organsiatie werd een vragenlijst gebruikt om te meten in hoeverre mensen goed gesettled waren op hun nieuwe positie. Op basis van 4.000 ingevulde vragenlijsten kon ik achterhalen welke concepten wel en niet accuraat werden gemeten in deze vragenlijst. Met deze informatie kon de vragenlijst worden geoptimaliseerd om zo veel mogelijk valide en betrouwbare informatie op te leveren met zo weinig mogelijk vragen. Daarnaast kon ik statistisch advies bieden omtrent de ontwikkeling van dashboard metrics. Zodoende kon het verantwoordelijke team met het nieuwe dashboard realtime monitoren wat er goed en minder goed ging in het socialisatieproces.


Productiviteit en werkdruk

Bij een organisatie met 2.500 medewerkers kon ik per bedrijfsonderdeel de vragenlijstgevens koppelen aan de daadwerkelijke bedrijfsprestaties. Hierdoor kon er worden achterhaald welke karakteristieken van het werkklimaat voorspellend waren voor een goede bedrijfsprestatie op een later tijdstip. Andersom kon er ook worden vastgesteld dat een hoge bedrijfsprestatie op tijdstip 1 zowel positieve als negatieve gevolgen had voor het werkklimaat en de werknemermotivatie op een later tijdstip. Hierdoor kon HR beleid worden gevormd met als doel niet alleen een gunstig werkklimaat te creëren, maar ook het betreffende personeel bevlogen te houden ondanks de toegenomen werkdruk.


Continue metingen

In een recent gepubliceerde paper over nieuwe statistische methodiek binnen de HR functie, bespreken mijn co-auteurs en ik enkele voorbeelden van veranderingen in HR data verzameling en nieuwe inzichten die zij kunnen generen. Een van de besproken voorbeelden omvat de min of meer continue metingen van work engagement die men zou kunnen verzamelen met nieuwe technologie zoals wearables, personeelsapps of sentiment analyses. Hoewel deze case in essentie hypothetisch is, is zij gebaseerd op daadwerkelijk experimenten in de organisatiecontext en wordt er uitgebreid besproken hoe dit soort metingen deel kunnen uitmaken van voorspellende modellen voor het ontwikkelen, het presteren en de retentie van medewekers.


VBBA2.0

Op basis van de responses van meer dan 150.000 medewekers uit meer dan 1.000 Nederlandse organisaties tussen 2006 en 2009 heb ik de psychometrische validiteit van de 42 vragenlijstschalen van de VBBA2.0 kunnen achterhalen. De VBBA2.0 bleek een zeer accuraat meetinstrument voor onder andere medewerkers’ vitaliteit, ervaren organisatieklimaat en arbeidsvoorwaarden, werk- en taakeisen, en hulpbronnen in het werk.Een samenvatting van het academisch gebruik van de VBBA toonde aan dat de schalen konden worden ingezet om een verscheidenheid aan relevante uitkomstmaten te voorspellen (e.g., presteren, ontwikkeling, verzuim, verloop). Dit project was in opdracht van Professor Dr. Marc van Veldhoven en onderzoeksbureau SKB en heeft geresulteerd in handleiding voor gebruikers, in boekvorm.


Vragenlijsten en training

Bij een grote vervoerder werd er besloten het trainingsevaluatieproces grondig te veranderen. In samenwerking met de organisatie heb ik een korte standaard vragenlijst ontwikkeld die deel ging uitmaken van iedere trainingsimplementatie. Iedere medeweker die een training bijwoonde ontving deze vragenlijst zowel voor als na de training. Met de gegevens waren we in staat de trainingen te clusteren in verschillende categorien. Zo waren er een aantal trainingen waar de medewekers niets aan leken te hebben, hoewel andere programma’s zeer hoog werden aangeprijsd. Ook waren er een aantal programma’s die wel bevielen, maar die weinig opleverden qua nieuwe kennis. Hoewel de resultaten van dit onderzoek geen harde business impact bevatte kreeg de organisatie wel grip op de waarde van het huidige trainingsaanbod.


Informatie uit open text antwoorden

Bij een producent van consumer goods werden traingsevaluaties al gedurende lange tijd verzameld door middel van open vragen. Duizenden medewekers per jaar gaven vrije feedback op vragen als “Wat was het meest waardevol in deze training?” en “Hoe zou deze training verbeterd kunnen worden?”. Helaas kostte het doorspitten van deze feedback enorm veel tijd en waren binnen de L&D functie niet de capabiliteiten aanwezig om dit proces te automatiseren. Samen met dit team heb ik zodoende een algoritme geschreven dat per cursus de belangrijkste thema’s uit de text data extraheerde. Met dit algoritme kon het L&D team nu real-time zien wat de belangrijkste suggesteerde verbeterpunten per training waren en hoe deze veranderden over tijd.