Tra le novità di iPadOS 14 c’è “Scribble“, una funzione per l’Apple Pencil grazie alla quale le note scritte a mano possono essere convertite automaticamente in testo digitale su iPad. È possibile scrivere a mano in qualsiasi campo di testo, dove sarà convertito automaticamente in testo digitale, per esempio si può rispondere a un iMessage o fare una ricerca veloce in Safari. I processi di scrittura e conversione avvengono direttamente sul dispositivo (in questo modo le informazioni restano riservate e al sicuro).
La funzione di selezione intelligente usa l’apprendimento automatico direttamente sul dispositivo per distinguere le note scritte a mano dai disegni, permettendo di selezionare il testo, tagliarlo e incollarlo in un altro documento, proprio come se fosse un testo digitale.
Il rilevamento dei dati funziona anche con il testo scritto a mano: vengono riconosciuti numeri di telefono, date e indirizzi, e gli utenti possono anche svolgere operazioni come toccare un numero di telefono per effettuare una chiamata, aggiungere un evento direttamente sul Calendario o mostrare una località in Mappe.
La funzione Scribble al momento supporta inglese, cinese tradizionale, cinese semplificato e nella combinazione cinese/inglese, permettendo di scrivere allo stesso tempo parole in inglese e cinese senza passare da una lingua all’altra.
Craig Federighi, vice presidente senior di Apple responsabile software engineering, parlando con i redattori di Popular Mechanics ha indicato alcuni dettagli su come è stata sviluppata la funzionalità Scribble.
Federighi ha spiegato che per la funzione in questione è stata sfruttata la raccolta dei dati. Nella fase di sviluppo Apple ha chiesto a persone di tutto il mondo di scrivere cose con l’Apple Pencil. “Per capire i tratti (della grafia, ndr), sono stati raccolti dati. Abbiamo individuato persone in tutto il mondo e chiesto loro di scrivere cose”, ha spiegato Federighi. “Gli abbiamo dato una Pencil, chiedendo loro di scrivere veloce, lentamente, inclinando la penna e tutte le variazioni”.
“Tale metodologia”, spiega ancora il manager di Apple, “si differenzia dall’approccio comparativamente semplice della scansione e dall’analisi della calligrafia esistente”. Esistenti esempi statici, secondo Federighi, non erano sufficienti per ciò che avevano in mente, avendo bisogno di trovare un modo per comprendere i segni e i tratti distintivi che formano ciascuna lettera. “Comprendendo i segni e come i tratti vengono riprodotti, è possibile evitare ambiguità sull’interpretazione di ciò che si sta scrivendo”.
Al pari di altri sistemi che usano l’apprendimento automatico, come accennato Scribble sfrutta tecnologie di machine learning direttamente sul dispositivo in tempo reale, una sfida non da poco a quanto fa capire Federighi, spiegando che questo è possibile grazie alla potenza computazionale del dispositivo, in grado di elaborare localmente un insieme di elementi estremamente complessi.
