Il test tecnico usato per assumere ingegneri di alto livello in Anthropic non funziona più perché Claude, il modello sviluppato internamente, è diventato più bravo dei candidati. Dove è una schiappa è nell’inventiva che gli umani possono mettere in campo.
È la stessa Anthropic a documentare quel che sta accadendo e a lanciare nello stesso tempo un ammonimento: rinunciate a quel che siete, umani, e perderete tutto.
Un test nato per misurare il lavoro reale
Il test elaborato nel 2024 dal team di performance engineering di Anthropic, è una prova che richiede di ottimizzare codice per un acceleratore IA simulato, con strumenti simili a quelli usati internamente e un limite di tempo definito. Serve ad osservare come una persona affronta problemi complessi e aperti, molto vicini al lavoro quotidiano.
Nel giro di un anno e mezzo oltre mille persone hanno completato il test e decine di ingegneri sono stati assunti anche grazie a questo strumento. Alcuni dei profili più efficaci, racconta Anthropic, avevano poca esperienza “su carta” ma avevano dimostrato capacità fuori dal comune proprio nel take-home.
L’equilibrio si è rotto con l’evoluzione dei modelli Claude. Prima Claude Opus 4, poi soprattutto Claude Opus 4.5, hanno iniziato a ottenere risultati migliori della maggior parte dei candidati umani, a parità di tempo.
Entro i vincoli temporali del test, Claude è arrivato a eguagliare le prestazioni dei migliori esseri umani. A quel punto il problema non era più individuare chi usasse o meno l’IA, ma il fatto che il test stesso non fosse più in grado di distinguere un candidato eccellente dall’output del modello più avanzato.
La svolta: test meno realistici ma più “resistenti”
Dopo diversi tentativi falliti, Anthropic ha scelto una strada radicale. Il nuovo test abbandona il realismo e punta su problemi volutamente insoliti, ispirati a puzzle di programmazione con set di istruzioni estremamente limitati, simili a quelli dei giochi Zachtronics.
Questi esercizi sono fuori distribuzione, poco rappresentati nei dati di addestramento dei modelli, e richiedono un tipo di ragionamento che oggi mette ancora in difficoltà Claude. Non simulano direttamente il lavoro quotidiano, ma permettono di recuperare un segnale utile nella selezione.
È un compromesso dichiarato. Lo stesso autore del test ammette che il vecchio sistema funzionava perché somigliava al lavoro reale, mentre il nuovo funziona perché introduce situazioni nuove e inusuali.
L’inventiva come vero vantaggio umano
Il caso Anthropic mostra che l’IA può diventare imbattibile quando il problema è ben definito, misurabile e riconducibile a schemi già noti. Ma mostra anche il suo limite più evidente: Claude è bravissimo a esplorare ciò che esiste, molto meno a inventare ciò che non c’è.
Quando i test diventano insoliti, quando le regole sono arbitrarie, quando il problema non assomiglia a nulla di già visto, entra in gioco qualcosa che oggi resta umano: la capacità di immaginare strade nuove, aggirare i vincoli, trasformare un limite in un’idea. Non è solo una questione di creatività artistica, ma di fantasia tecnica, di intuizione, di coraggio nel provare soluzioni che non emergono da una media statistica.
Per selezionare persone serve costringere i modelli fuori dalla loro zona di comfort. Ed è lì che l’inventiva umana torna a fare la differenza. Non perché l’IA sia “stupida”, ma perché non ha esperienza diretta del mondo, né il desiderio di sorprendere, né l’istinto di rompere gli schemi per vedere cosa succede.
In questo spazio — fragile, irregolare, difficile da misurare — c’è ancora margine per gli esseri umani.
