Een beslissingsgerichte benadering van de voorspeller en het criterium van industrieën

Het probleem van selectie kan vanuit een enigszins ander perspectief worden bekeken dan het gebruikte. Deze tweede benadering blijkt interessant omdat we zullen zien dat de geldigheid van de voorspeller niet zo belangrijk is als een variabele bij de selectie, zoals het traditionele gezichtspunt doet vermoeden. Ons nieuwe perspectief is er een gebaseerd op een beslissingsleermodel. We moeten beginnen met het object opnieuw te formuleren in een typische selectiesituatie. In veel selectiesituaties willen we een snijscore op onze voorspeller vastleggen die zal resulteren in het minimaliseren van onze beslissingsfouten.

Impliciet in dit soort situaties is de aanname dat de selectieratio willekeurig kan worden gemanipuleerd; dat wil zeggen, het is niet voor een bepaalde waarde "gefixeerd". Ook impliciet is het idee dat onze criteriumvariabele zinvol kan worden gescheiden in twee of meer afzonderlijke groeperingen zoals 'succesvol' en 'onsuccesvol'. Ons doel is om de snijscore (die hetzelfde is als het manipuleren van de selectieratio) te manipuleren om om het aantal fouten te minimaliseren dat wordt gemaakt in ons proces om te beslissen of een persoon moet worden ingehuurd of afgewezen.

Eerder wezen we erop dat er twee verschillende soorten beslissingsfouten waren in het selectieparadigma, valse positieven en valse negatieven, zoals hieronder getoond:

Ons doel is dan om het afkappunt te vinden dat zal resulteren in het kleinste aantal totale fouten. Voor het gemak gaan we ervan uit dat beide soorten fouten even kostbaar worden geacht. Dat wil zeggen, we hebben geen reden om de voorkeur te geven aan het maken van een fout-positieve fout ten opzichte van een fout in de fout, of omgekeerd. Door deze aanname te doen, is het mogelijk om het probleem rechtstreeks te werpen in termen van het minimaliseren van het totale aantal van beide soorten fouten in plaats van de twee typen fouten te moeten wegen door hun respectieve "kosten".

Locatie van het afkappunt:

Om te illustreren hoe het probleem van het vinden van een optimale locatie voor onze knipscore kan worden benaderd, moet u rekening houden met het geval waarin we een bepaalde geldigheid hebben (bijvoorbeeld ongeveer 0, 70) en een bepaald percentage huidige werknemers als succesvol beschouwt (vaak aangeduid in deze context als de "basisrente").

Dit kan als volgt worden weergegeven:

De volgende stap is om dezelfde gegevens in een iets andere vorm te presenteren. Ten eerste weten we dat onze totale groep werknemers verondersteld wordt een normale verdeling te hebben in termen van hun voorspellerscores. Ten tweede, en even belangrijk, wordt aangenomen dat beide subgroepen (succesvol en niet succesvol) normale verdelingen hebben. Door naar het bovenstaande voorbeeld te kijken, kan gemakkelijk worden afgeleid dat de gemiddelde voorspellerscore van de succesvolle groep hoger zal zijn dan die van de niet-geslaagde groep.

We kunnen dit als volgt schetsen:

Beide distributies zijn even groot omdat ze op hetzelfde aantal mensen zijn gebaseerd (dwz 50 procent in elke groep). Er is een algebraïsche relatie tussen het verschil tussen de gemiddelden van de twee subgroepen zoals op deze manier bekeken en de grootte van de correlatiecoëfficiënt. Als de groep betekent dat ze significant van elkaar verschillen (bijvoorbeeld op een significantieniveau van 0, 05), dan zal de correlatiecoëfficiënt ook significant zijn op hetzelfde niveau.

Als we ons diagram een ​​stap verder nemen, kunnen we de twee frequentieverdelingen van de subgroepen naast elkaar op dezelfde basislijn plaatsen, zoals hieronder wordt weergegeven.

Nadat we dit hebben gedaan, kunnen we nu terugkeren naar onze oorspronkelijke vraag: waar vinden we een grenswaarde voor de voorspeller zodat het totale aantal fouten wordt geminimaliseerd? Het blijkt dat de wiskundige oplossing voor dit probleem resulteert in een heel eenvoudig antwoord: het afkappunt dat de totale fout minimaliseert, is het punt waarop de twee distributies elkaar kruisen.

Dit kan eenvoudig worden aangetoond op een conceptueel niveau door te kijken naar de drie hieronder geïllustreerde gevallen. Hetzelfde verschil tussen de gemiddelden (dat wil zeggen, dezelfde correlatie) wordt in elk geval gebruikt - alles wat is gewijzigd, is de locatie van het afkappunt op de voorspeller.

In afbeelding (a) wordt het aantal valse positieven (fouten die boven de grens liggen) gegeven door het gebied B. Het aantal valse negatieven (successen die onder de grenswaarde liggen) wordt gegeven door het gebied A. Aldus,

Totale fout = A + B

Voor illustratie (b) wordt het aantal valse positieven gegeven door B en het aantal valse negatieven wordt gegeven door A + C. Dus,

Totale fout = A + B + C

Voor illustratie (c) wordt het aantal valse positieven gegeven door B + C en het aantal valse negatieven wordt gegeven door A. Dus,

Totale fout = A + B + C

Aangezien de inspectie van alle drie de illustraties snel bevestigt dat het gebied A + B voor alle drie de gevallen hetzelfde is, is het duidelijk dat de fout met een bepaalde hoeveelheid C wordt verhoogd wanneer de cut-off wordt verplaatst (in beide richtingen) vanaf het punt waarbij de twee distributies elkaar kruisen.

Enkele ongebruikelijke gevolgen:

We hebben nu een algemeen principe voor het vinden van een snijscore die het totale aantal fouten in een selectiebeslissingssituatie minimaliseert, namelijk op het snijpunt.

Het blijkt dat, zolang beide soorten fouten even kostbaar worden geacht, dit een zeer algemene regel is en niet wordt beïnvloed door:

(1) De relatieve groottes van de twee groepen (dwz percentage als succesvol beschouwd), of

(2) De respectieve varianties of dispersies van de twee distributies.

Dit leidt tot enkele interessante en zeer belangrijke aspecten van het algemene voorspellingsprobleem met betrekking tot de relatie tussen testvaliditeit en testnut. Rorer, Hoffman, LA Forge en Hsieh (1966) hebben drie van zulke interessante zaken naar voren gebracht.

Zaak 1:

Zowel de gemiddelden als de varianties van de twee groepen verschillen van elkaar. Stel dat onze succesvolle groep even groot is als de niet-geslaagde groep en een significant hoger gemiddelde heeft op de voorspeller, maar de variantie is veel kleiner.

Een diagram van een dergelijke situatie is als volgt:

Ons principe van het vaststellen van afkappunten zegt dat we ze moeten plaatsen waar de twee distributies elkaar kruisen. Merk op dat dit in dit specifieke geval twee keer gebeurt. We hebben dus een bovenste cut-off en een lagere cut-off. We moeten alleen die mensen selecteren die binnen het interval tussen cut-offs vallen in termen van hun testscore. Alle andere afkappunten zullen resulteren in een grotere totale fout dan zou worden verkregen met die op de kruispunten.

Case 2:

Groepen hebben dezelfde middelen maar verschillende varianties. In dit zeer interessante geval verschillen de twee groepen niet in termen van hun gemiddelde voorspellerscore - dat wil zeggen dat de niet-succesvolle werknemers het net zo goed doen op de test als de succesvolle werknemers. Dit houdt in dat de correlatiecoëfficiënt nul is tussen de voorspeller en het criterium. We hebben echter ook verklaard dat de twee groepen verschillen in termen van hun variabiliteit.

Als we aannemen dat de succesvolle groep de groep is met de kleinere variabiliteit voor doeleinden van expositie, kunnen we dit als volgt schematisch weergeven:

Hoewel de twee groepen dezelfde gemiddelde criteriumscore hebben, is het mogelijk om afkappunten te ontwikkelen die de voorspelling verbeteren ten opzichte van wat momenteel wordt genoten door de huidige methoden, omdat de twee distributies op twee punten snijden vanwege hun ongelijke variabiliteit. We hebben dus de unieke situatie waarin er geen schijnbare geldigheid zou zijn (gemeten aan de hand van een correlatiecoëfficiënt), maar waarbij de voorspelling aanzienlijk kan worden verbeterd door gebruik te maken van geschikte cut-offs.

Case 3:

Groepsmiddelen zijn aanzienlijk verschillend, maar de groepsgrootte is ook sterk verschillend. Stel dat we te maken hebben met een situatie waarin de basisrente van onsuccesvolle werknemers erg klein is, dat wil zeggen dat ongeveer 90 procent van onze huidige werknemers als succesvol wordt beschouwd. Een dergelijke situatie wordt getoond in het volgende diagram.

Hier hebben we een andere unieke situatie. Hoewel de groep betekent dat deze substantieel verschillend kan zijn en dus een substantiële correlatie tussen criterium en voorspeller geeft, zal het niet mogelijk zijn om een ​​cut-off vast te stellen die zal resulteren in het verminderen van fouten ten opzichte van wat momenteel wordt verkregen met de huidige werkwijzen. Vanwege het gemarkeerde verschil in grootte tussen de twee groepen, zien we dat de twee distributies elkaar op geen enkel punt snijden.

Onder ons huidige selectiesysteem maken we slechts 10 procent van de tijd fouten. Als we onze cut-off van links naar rechts verplaatsen in case 3 (deze bevindt zich in de uiterste linkerhoek om mee te beginnen, aangezien we momenteel al deze mensen selecteren), zullen we natuurlijk beginnen met het elimineren van enkele van de onsuccesvolle mensen die momenteel worden gebruikt in het huidige systeem.

Tegelijkertijd gaan we echter werknemers afwijzen die succesvol blijken te zijn. Als we naar het diagram kijken, zien we snel dat deze toename van foutnegatieven groter zou zijn dan de corresponderende afname van fout-positieven, ongeacht waar we onze cut-off plaatsen. Elke test-gebaseerde cut-off zal dus resulteren in meer fouten dan we hebben zonder de test, hoewel de test zeer geldig is.