Dopo Huawei colta in flagrante a pubblicizzare benchmark non veritieri lo scorso mese, un problema del tutto simile è stato identificato con gli smartphone Oppo. Test approfonditi eseguiti dal sito Tech2, hanno dimostrato che Oppo ha pubblicizzato risultati indicati come “artificiosi e fuorvianti” per lo smartphone Find X.
UL, l’azienda nota per il benchmark Futuremark, spiega di aver stabilito delle precise norme che disciplinano le modalità con le quali una piattaforma può interagire con i software di benchmarking. Lo scopo di tali regole è garantire che gli utenti ottengano risultati che riflettono con precisione le reali performance del dispositivo con app e giochi. “Dopo aver riesaminato i risultati dei benchmark di Tech2 ed eseguito test nei nostri laboratori, abbiamo deciso di eliminare dall’elenco i modelli interessati e rimuoverli dalle nostre graduatorie sulle prestazioni”.
I benchmark per i quali Oppo ha mentito riguardano non solo l’Oppo Find X ma anche Oppo F7. L’Oppo Find X era elencato al quarto posto nell’elenco dei migliori smartphone secondo in base al test sulle performance 3DMark Sling Shot Extreme. Ora non è più indicato in classifica, indicato generalmente senza punteggio alla fine della classifica. I vari modelli sono stati testati con la versione pubblica di 3DMark disponibile dal Google Play e una versione privata di 3DMark non disponibile per pubblico e produttori.
I punteggi indicati con la versione pubblica di 3DMark mostrano valori del 41% migliori rispetto a quelli che è possibile ottenere con la versione privata del benchmark benché misurino le prestazioni in modo identico. In pratica il dispositivo riconosce quando è in esecuzione il test 3DMark tenendo conto del nome dell’app, comportandosi in modo diverso da quanto dovrebbe normalmente fare, un comportamento vietato dalle regole per produttori previste dallo sviluppatore del benchmark.
UL si è messa in contatto con Oppo e quest’ultima ha ammesso che i loro dispositivi individuano l’esecuzione dell’app pubblica. “Se rileviamo che l’utente esegue applicazioni quali giochi o Benchmarks 3D che richiedono prestazioni elevate, permettiamo al SoC di funzionare a piena velocità consentendo un’esperienza più armoniosa”. Oppo si è giustificata spiegando ancora che “per applicazioni non note il sistema sfrutta le ottimizzazioni di default per le risorse”. E ancora: “Dopo che l’utente non opera attivamente per 5 o 10 secondi, il dispositivo limita le performance di sistema dal 70% all’80% delle performance massime (in base alle diverse piattaforme). Quando l’utente svolge un’operazione, viene immediatamente eliminato il limite delle performance affinché l’esperienza utente non venga influenzata”. In pratica, spiega UL, è possibile ottenere performance migliori toccando continuamente il display. Di questo non è stato tenuto conto per il benchmark della versione pubblica di 3DMark e il dover “tappare” continuamente lo schermo non è considerato un metodo di cui tenere conto per misurare le prestazioni di un dispositivo per le ovvie variabilità che questo comporterebbe.
Oppo promette di aggiornare i suoi sistemi, affinando il meccanismo che tiene conto dell’app eseguite ma soprattutto di non intricare i meccanismi di misurazione tenendo conto semplicemente del nome dell’app.
