Ön véletlenszerűen bombázza a technikai interjúkat. Mindenki csinálja. Itt vannak az adatok.

Amikor nap mint nap több száz technikai interjút hallgat, elkezd észrevenni a mintákat. Vagy ebben az esetben a minták hiánya.

Megtaláltam azonban egy nagyon következetes dolgot, és ezt alkalmaztam egy ivás játék alapjaként:

  • Minden alkalommal, amikor valaki azt gondolja, hogy az interjú kérdésére a válasz hash-táblázat, vegyen egy italt.
  • És minden alkalommal, amikor a válasz valóban a hash table, vegyen két italt.

De ne próbáld ki ezt a játékot. Majdnem meghaltam játszva.

Azért töltöm a napjaimat technikai interjúk hallgatásával, mert pár évvel ezelőtt társ-alapítóvá váltam az interviu.io, egy interjúplatform, ahol az emberek név nélkül gyakorolhatják a technikai interjúkat, és közben munkát találhatnak.

Ennek eredményeként rengeteg adathoz férek hozzá arról, hogy ugyanazok az emberek hogyan teljesítenek interjútól interjúig. Annyi volatilitást fedeztem fel, hogy ez megkérdőjelezi az egy interjú eredményeinek megbízhatóságát.

Hogyan szereztük meg ezeket az adatokat

Amikor egy kérdező és egy interjúalany találkozik a platformunkon, együttműködő kódolási környezetben találkoznak hanggal, szöveges csevegéssel és faliújsággal, és egy technikai kérdésbe ugornak.

A platformon készített interjúk kérdései általában abba a kategóriába tartoznak, amellyel egy háttér-szoftvermérnöki szerep miatt egy telefon képernyőjén találkozhat. Az interjúkészítők általában olyan nagyvállalatok keverékéből származnak, mint a Google, a Facebook és a Yelp, valamint a mérnöki tevékenységre koncentráló startupok, mint az Asana, a Mattermark, a KeepSafe és még sok más.

Minden interjú után a kérdezők néhány különböző dimenzióban értékelik az interjúalanyokat, beleértve a technikai képességeket is. A technikai képességeket 1-től 4-ig terjedő skálán értékelik, ahol 1 "meh" és 4 "elképesztő!" Platformunkon a 3 vagy annál magasabb pontszám általában azt jelentette, hogy az illető elég jó volt ahhoz, hogy előrelépjen.

Ezen a ponton azt mondhatod, hogy ez szép és minden, de mi a nagy baj? Sok vállalat gyűjti ezt a fajta adatot a saját vezetékeivel összefüggésben.

Ez az, ami különlegessé teszi az adatainkat: ugyanaz az interjúalany több interjút is készíthet, amelyek mindegyike más kérdezővel és / vagy más céggel készül. Ez megnyitja az ajtót néhány érdekes és kissé kontrollált összehasonlító elemzéshez.

1. találás: Az interjúktól az interjúkig tartó teljesítménye ingatag

Kezdjük néhány képpel. Az alábbi grafikonon minden személy ikon az átlagos interjúalany értékét mutatja egy olyan interjúalany számára, aki legalább 2 interjút készített a platformon.

Egy dolog, amit nem mutatunk be ebben a grafikonban, az az idő múlása, így láthatja az emberek teljesítményét az idő múlásával. Amolyan forró rendetlenség.

Az y tengely a teljesítmény szórása, tehát minél magasabbra megy, annál ingatagabb az interjúteljesítmény.

Mint látható, az interjúalanyok nagyjából 25% -a következetes teljesítményt nyújt, a többiek pedig mindenhol.

Ha megnézi a fenti grafikont, a zaj ellenére valószínűleg kitalálhat néhány embert arról, hogy mely embereket kívánja megkérdezni.

De ne feledje, hogy mindegyik átlagot jelent . Tegyük fel, hogy ehelyett csak egy adatpont alapján kellett döntést hoznia. A dolgok ott kockazatosak.

Ahhoz, hogy valóban hazavezesse ezt a pontot, meg kell látogatnia ennek a grafikonnak az igazán jó interaktív változatát. Itt bővítheti mindenki teljesítményét, és megnézheti, hogy az egyes interjúkban hogyan teljesítettek az egyes emberek. Az eredmények meglepetést okozhatnak Önnek! Például:

  • Sok ember, aki legalább egy 4-et kapott, legalább egy 2-t is kapott.
  • Ha jól teljesítőket nézünk (átlag 3,3 vagy magasabb), akkor is meglehetősen sok variációt látunk.
  • A dolgok nagyon homályossá válnak, ha az „átlagos” előadókat vesszük figyelembe (átlag: 2,6 és 3,3 között).

? Látogassa meg az igazán jó interaktív vizualizációt?

Kíváncsiak voltunk arra, hogy a volatilitás változik-e egyáltalán az emberek átlagos pontszámával. Más szavakkal, a gyengébb játékosok ingatagabbak voltak, mint az erősek? A válasz nem. Amikor a standard deviáció és az átlag közötti regressziót futtattuk, nem tudtunk értelmes kapcsolatot kialakítani (R-négyzet ~ = 0,03), ami azt jelenti, hogy az emberek mindenhol vannak - függetlenül attól, hogy átlagosan milyen erősek.

Számomra, ha megnéztem ezeket az adatokat - aztán úgy tettem, mintha felvételi döntést kellett volna hoznom egy interjú eredménye alapján -, úgy éreztem, hogy egy kulcslyukon keresztül bepillanthatunk egy gyönyörű, pazarul kinevezett szalonba. Néha egy műalkotást lát a falon, néha az ital választékot, néha pedig csak egy kanapé hátulját.

Tehát egy valós életben, amikor megpróbálja eldönteni, hogy eljuttat-e valakit a helyszínre, valószínűleg két dolgot próbál meg elkerülni - a hamis pozitív (tévedésből embereket visz be a rúd alá) és a hamis negatívumok (az emberek elutasítása). akinek be kellett volna érnie).

A legtöbb vezető vállalat interjúk paradigmája az, hogy a hamis negatívumok kevésbé rosszak, mint a hamis pozitívok. Ennek van értelme ugye? Elég nagy csővezetékkel és elegendő erőforrással, még magas hamis negatív arány mellett is, mégis megkapja a kívánt embereket.

Magas hamis pozitív arány mellett olcsóbb lehet a felvétel, de folyamatban visszafordíthatatlan károkat okoz a termékében, a kultúrában és a jövőbeni felvételi normákban. És természetesen azok a vállalatok, amelyek egy egész iparágra vonatkozóan meghatározzák a felvételi normákat és gyakorlatokat , rendelkeznek a nagy csővezetékekkel és a kimeríthetetlennek tűnő forrásokkal.

A magas hamis negatív ráta optimalizálásának sötét oldala azonban a jelenlegi mérnöki munkaerő-felvételi válság formájában emeli a fejét. Egyetlen interjúpéldány jelenlegi inkarnációjában ad-e elegendő jelet? Vagy a tehetség iránti nagy kereslet közepette elutasítunk képzett embereket, mert mindannyian egy nagy, ingatag grafikont nézünk egy apró kulcslyukon keresztül?

Tehát, tekintve a hiperbolikus moralizálást, ha figyelembe vesszük az interjú teljesítményének ingatagságát , milyen esélyek vannak arra, hogy egy jó jelölt megbukjon az egyéni telefon képernyőjén?

2. találás: Annak esélye, hogy egyetlen interjút megbukik a múltbeli teljesítmény alapján

Az alábbiakban láthatja az átlagos teljesítmény megoszlását az interjúalanyok körében.

Annak kiderítéséhez, hogy egy adott átlagos pontszámmal rendelkező jelentkező megbukik-e egy interjún, néhány statisztikai munkát kellett elvégeznünk.

Először az interjúalanyokat bontottuk kohorszokra az átlagos pontszámuk alapján (0,25-re kerekítve). Ezután minden kohorszra kiszámoltuk a kudarc valószínűségét, azaz 2 vagy kevesebb pontszámot kapunk. Végül, hogy megkerüljük a kezdeti adathalmazunkat, amely nem óriási, átkutattuk adatainkat.

Újramintavételi eljárásunk során az interjú eredményét multinomiális eloszlásként kezeltük. Más szavakkal, úgy tettünk, mintha minden interjú egy súlyozott, négyoldalas szerszám tekercs lenne, amely megfelel az adott jelölt kohorszának.

Ezután egy csomószor újra dobtuk a kockát, hogy minden kohorszhoz új, „szimulált” adatkészletet hozzunk létre, és ezen adatsorok segítségével kiszámítottuk az egyes kohorszok új kudarc valószínűségeit. Az alábbiakban láthatja a folyamat 10 000-szeres megismétlésének eredményeit:

Mint látható, a fenti eloszlások nagy része átfedésben van egymással. Ez azért fontos, mert ezek az átfedések azt sugallják, hogy nincsenek statisztikailag szignifikáns különbségek e csoportok között (pl. 2,75 és 3 között).

Természetesen sokkal több adat megjelenésével világosabbá válhatnak a kohorszok közötti elhatárolások. Másrészt, ha valóban óriási mennyiségű adatra van szükségünk a meghibásodási arány eltéréseinek felderítéséhez, ez azt sugallhatja, hogy az emberek teljesítményükben lényegében nagyon változatosak.

A nap végén, bár magabiztosan kijelenthetjük, hogy jelentős a különbség a spektrum alsó vége (2,25) és a felső vége (3,75) között, a középső emberek esetében a dolgok zavarosak.

Mindazonáltal ezen eloszlások felhasználásával megkíséreltük kiszámítani annak valószínűségét, hogy egy bizonyos átlagos pontszámmal rendelkező jelölt egyetlen interjút megbukjon:

Az a tény, hogy az emberek, akik általában elég erősek (pl. Átlagosan ~ = 3), az idő 22% -ában elronthatják a technikai interjúkat, azt mutatja, hogy a folyamaton mindenképpen van mit javítani. És ezt tovább súlyosbítja a spektrum közepén lévő általános morgás.

Tehát az interjúk elítéltek?

Általában, amikor az interjúkra gondolunk, eszünkbe jut valami, amelynek megismételhető eredményekkel kell rendelkeznie, és erős jelzést kell hordoznia. Az összegyűjtött adatok azonban más történetet mesélnek el.

És ez a történet mind a toborzói anekdotikus tapasztalataimmal, mind a közösségben visszhangzó érzelmekkel visszhangzik.

Zach Holman Startup Interjúja F ***** találat az interjú folyamata és a kitöltendő munka közötti kapcsolat megszakadásáról.

A TripleByte remek urai hasonló következtetésekre jutottak saját adataik megnézésével.

Az inkonzisztens interjú eredményeinek egyik legnyomorítóbb kifejezése a közelmúltban a rej.us-ról származik.

Fogadhat, hogy sok embert, akiket az A vállalat elutasít egy telefon képernyője után - de jobban járnak egy másik telefon képernyőjén, és végül valahol hagyományosan jó hírűek lesznek - 6 hónappal később elütik az A vállalat toborzói.

És mindenki legnagyobb erőfeszítései ellenére egy felvételi eljárás zavaros, ingatag és végső soron sztochasztikus masszázsköre vonul tovább.

Tehát igen, ez minden bizonnyal az egyik lehetséges következtetés, hogy maga a technikai interjúk valóban eleve ítélve van, és nem ad megbízható, determinisztikus jelzést egy interjúpéldány számára. Az algoritmikus interjúk élénk vita tárgyát képezik, és mélyen érdekeltek vagyunk abban, hogy szétválasztjuk egymást.

Egy dolog, amiért nagyon izgatottak vagyunk, az az interjúk teljesítményének követése az interjú típusának függvényében, mivel egyre több különböző interjútípus / megközelítés történik a platformon. Valójában egyik hosszú távú célunk az, hogy valóban belemerüljünk adatainkba, megnézzük a különböző interjústílusok táját, és komoly adatvezérelt állításokat tegyünk arról, hogy milyen típusú technikai interjúk vezetnek a legmagasabb jelhez.

Addig is hajlamos vagyok arra az elképzelésre, hogy az összesített teljesítményre támaszkodni sokkal értelmesebb, mint egy ilyen, önkényes interjú alapján ilyen fontos döntést hozni.

Az összesített teljesítmény nem csak a jellemzően gyenge teljesítmény korrekciójában segíthet, hanem kiszűrheti azokat az embereket is, akik végül véletlenül jól teljesítenek egy interjúban, vagy azokat, akik idővel alávetik magukat a fenevadnak és megjegyzik a Cracking the Coding Interview-t .

Tudom, hogy nem mindig praktikus (vagy lehetséges) összegyűjteni az összesített teljesítményadatokat a vadonban. De tegyük fel, hogy a jelölt teljesítménye határértékű - vagy ahol a teljesítményük nagyon eltér attól, amit elvárhat. Előfordulhat, hogy a végső döntés meghozatala előtt még egyszer interjút kell készíteni velük, különféle anyagokra összpontosítva.

Rengeteg további interjúteljesítmény-adatot gyűjtöttünk össze, amely még nem szerepel ebben az elemzésben, így ha kíváncsi arra, hogy az interjú teljesítménye továbbra is önkényes-e, maradjon velünk!

Szeretnél fantasztikus lenni a technikai interjúkon és a következő munkahelyedre állni? Csatlakozzon az interjúhoz.io.