Hoe draagt ​​het bias-gedeelte van de contaminatie van het criterium bij tot een onjuiste hoge-validiteitscoëfficiënt?

Vroeger werd de term criteriumverontreiniging gedefinieerd als dat deel van het feitelijke criterium dat niet overlapte met het uiteindelijke criterium. Verder werd erop gewezen dat vervuiling van het criterium uit twee delen bestaat, fout en vertekening. Fout, per definitie; wordt meestal beschouwd als willekeurige variatie en kan niet, behalve bij toeval, correleren met iets, inclusief de voorspellingsvariabele. Het bias-gedeelte van criteriumverontreiniging is echter systematische variatie en kan correleren met de voorspeller. Dit is te zien aan ons model, waar de predictor-gecorreleerde contaminatie (die daarom een ​​voorspeller-gecorreleerde vooringenomenheid moet zijn) bijdraagt ​​aan een onecht hoge verkregen validiteit.

Welke soorten vertekening gaan waarschijnlijk in op criteriumvervuiling en welke soorten zijn ook geneigd om gecorreleerd te zijn met de voorspellende variabele? Wellicht helpt Brogden en Taylor (1950) de formele definitie van criteriumbias te gebruiken om deze vraag te beantwoorden.

Ze definiëren vooringenomenheid in termen van "elke variabele, behalve fouten in de meet- en steekproeffout, waardoor een afwijking van verkregen criteriumscores wordt verkregen uit een hypothetische" echte "criteriumscore. Afbeelding 6.4 illustreert dit punt. Dergelijke voorspanningsfactoren komen vaker voor dan men zou vermoeden en er moet goed op worden gelet. Ze kunnen optreden vanwege een verscheidenheid aan omstandigheden en als een functie van een aantal variabelen.

1. Mogelijkheid voorbias:

Dit soort criteriumbias verwijst naar die situaties waarin factoren buiten de controle van de werknemer de geproduceerde hoeveelheid aanzienlijk beïnvloeden. Voorbeelden van opportuniteitsbias zijn talrijk. In verkoopwerkzaamheden kan het specifieke rayon of de verkoopteller invloed hebben op het verkoopvolume van een medewerker, misschien zelfs meer dan zijn eigen bekwaamheid. In fabriekswerk kan opportuniteitsbias worden toegeschreven aan eenvoudige dingen als de kwaliteit van de gereedschappen en de staat van de machines die een arbeider heeft, of hij nu de dagploeg of de nachtploeg moet uitvoeren, waar zijn werkplek zich bevindt, hoe goed zijn verlichting is, en een verscheidenheid aan andere variabelen.

Kort gezegd, tenzij de werkomgevingen en de taken identiek zijn, heeft het vergelijken van werkprestatierecords tussen individuen beperkingen. Als de werkprestaties in dergelijke omstandigheden gecorreleerd zijn met voorspellende apparaten, kan men niet echt weten of de resulterende correlatie een correlatie is met de echte werkprestatie of in de eerste plaats een correlatie met bijvoorbeeld de kwaliteit van iemands werkplek. Hoewel opportuniteitsbias niet noodzakelijk correleert met de voorspeller, zal deze, zelfs als deze geen voorspellende waarde heeft, van invloed zijn op de verkregen validiteit.

Andere meer subtiele voorbeelden van opportuniteitsbias kunnen vaak worden gevonden door nader onderzoek van de voorspellende waarde van items als leeftijd en ervaring. In veel banen krijgen mensen die ouder zijn en die meer ervaring hebben betere prestatiescores, simpelweg door omstandigheden van vakbonds-anciënniteit, doordat deze mensen de betere werkstations, betere salestafstanden, enzovoort krijgen.

2. Group Characteristic Bias:

Een andere belangrijke bron van criteriumbias betreft de kenmerken van de groep waartoe een persoon behoort. Als een persoon bijvoorbeeld tot een groep behoort die de productiviteit van zijn leden kunstmatig beperkt, zal er een duidelijke vertekening van criteriadata zijn. Evenzo, als een persoon tot een groep behoort die vooraf op a priori basis is voorgeselecteerd en als die groep vervolgens wordt vergeleken met een groep die niet is geselecteerd, is elke selectievariabele die betrekking heeft op de a priori variabele geschikt om onechte geldigheid aan te tonen.

Brogden en Taylor (1950) geven een voorbeeld van de situatie waarin een uitvoerende macht heeft bepaald dat alle ingehuurde kantoorjongens een middelbare schoolopleiding moeten volgen. Als voor een testvalidatie een groep huidige werknemers wordt vergeleken met een steekproef van sollicitanten, is het bijna zeker dat elke voorspeller die waarschijnlijk correleert met de hoeveelheid onderwijs, geldigheid zal vertonen!

Het probleem van leeftijd en baanbezit is een andere illustratie van de kans op voorkeur. Wanneer de baan er een is waarin de productiviteit de neiging heeft te stijgen met extra ervaring en waar een breed scala aan ervaringen bestaat (dat wil zeggen, er zijn zowel ervaren als onervaren werknemers), is het onvermijdelijk dat het criterium (productiviteit) en ervaring gecorreleerd zijn . Het criterium is dus beïnvloed door het kenmerk van ervaring, en elke voorspeller die waarschijnlijk correleert met ervaring heeft de neiging om met een oneigenlijk hoge geldigheid te eindigen.

3. Bias in waarderingen:

Een van de vaker gebruikte criteria in de industrie - een beoordeling van competentie door supervisors - is ook onderhevig aan vooringenomenheid. Hierbij moet worden opgemerkt dat alle gebruikelijke bronnen van vooringenomenheid in productierecords waarschijnlijk ook de beoordelingen van individuele competentie beïnvloeden. Kunnen toezichthouders bij het maken van hun bevoegdheidsbeoordelingen aanpassingen maken voor ongelijke kansen bij beoordeelde personen? Als ze dat kunnen, zullen hun ratings leiden tot een minder bevooroordeeld criterium dan het werkelijke productie-record zou zijn.

Het vaakst genoemde biasing-effect in ratings is het fenomeen dat bekend staat als het 'halo-effect'. Kort gezegd verwijst dit naar de situatie waarin een beoordelaar een persoon als uitmuntend beschouwt op basis van alle kenmerken, alleen omdat hij (de persoon die wordt geëvalueerd) één persoon heeft karakteristiek.

Als een persoon bijvoorbeeld uitstekend heeft gepresteerd op één aspect van de werkprestatie, zou er een halofout zijn gemaakt als we ervan uitgaan dat de persoon ook goed moet zijn voor alle andere aspecten van zijn werk. Halo-fouten komen vaak voor wanneer een beoordelaar wordt gevraagd personen te beoordelen met aangename persoonlijkheidskenmerken ("Als een persoon aardig is, moet hij ook capabel zijn") en prettige eigenschappen ("Als een meisje mooi is, moet ze ook getalenteerd zijn"). Uiteraard kunnen testen die sterk correleren met beoordelingen met een halo-afwijking eenvoudigweg correleren met de halo-variabele in plaats van met "echte" functiecompetentie.

4. Kennis van Predictor Bias:

Wanneer Criterium-gegevens worden verkregen met behulp van beoordelingen, is de meest ernstige fout die kan optreden, dat de beoordelaar voorafgaande kennis heeft van de voorspellingsscores. Dit wordt kennis van predictor bias genoemd. Als een beoordelaar de scores kent die de personen op de voorspellingsvariabele hebben behaald, is het heel goed mogelijk dat hij zijn criteriumoordelen laat beïnvloeden door deze kennis. Een dergelijke fout kan een toename van een volledig onechte aard in de verkregen validiteit veroorzaken.

Helaas is dit type fout niet alleen het ernstigst in criteriumbeoordelingen (omdat het per definitie een voorspelling is die altijd voorspellend gecorreleerd zal zijn), maar ook is het een van de meest frequent gevonden fouten. Voorbeelden zijn misschien het gemakkelijkst om schoolinstellingen te vinden, waarbij leraren een oordeel vellen over het academische talent van hun studenten nadat ze hun toelatingstest scores hebben gezien.

Men kan niet genoeg benadrukken dat het altijd nodig is om voorspellende informatie geïsoleerd te houden van individuen die criteriumgegevens leveren. Supervisors mogen daarom nooit toegang krijgen tot de testbatterijscores van een aanvrager. Als een dergelijke contaminatiebias eenmaal is opgetreden, kunnen alle volgende pogingen om de test empirisch te valideren gemakkelijk resulteren in overmatig opgeblazen correlatiecoëfficiënten.