A novembre dello scorso anno uno sviluppatore aveva scoperto un web crawler html (un software che analizza i contenuti in rete) riconducibile ad Apple e che per qualche ragione vagava su Internet scandagliando i siti Internet. Sinora lo scopo del crawler era rimasto ignoto e a rendere più misteriosa la faccenda c’era un annuncio di lavoro pubblicato tre mesi dopo nel quale Apple spiegava di essere alla ricerca di un candidato in grado di fornire supporto a un progetto per il backend di una piattaforma di ricerca che avrebbe coinvolto “Milioni di utenti”.
Un documento di supporto tecnico pubblicato da Apple, spiega finalmente lo scopo del crawler: si tratta in realtà di uno strumento sfruttato da Siri e dai Suggerimenti Spotlight da Internet (iTunes, App Store, orari di programmazione dei film, luoghi vicini e altro ancora) disponibili con OS X 10.10 Yosemite. Dal punto di vista tecnico il crawler tiene conto delle regole impostate nel file obots.txt, dei meta tag riservati ai robot; se le istruzioni nel protocollo di esclusione robot (le regole utilizzate dai crawler per applicare restrizioni di analisi sulle pagine di un sito web) non tengono conto dell’Applebot, sono seguite le istruzioni specifiche per Googlebot.
L’Applebot dunque non serve ad Apple per creare un nuovo motore di ricerca universale in grado di competere con Google, ma per eseguire ricerche “intelligenti” sfruttando varie funzioni chiave dei suoi sistemi operativi.
