Hvorfor vi ikke er interesseret i Galaxy S7 benchmarks

Har du hørt den, om den fyr, der blev begejstret for benchmark-ydeevnen for den ikke-testede processor i et ubekræftet miljø, der er på vej mod en uanmeldt telefon, som umuligt kunne være klar til produktion og officiel test endnu? Det er en ægte knælapper, du vil elske det.

Det er den tid på året, hvor vi begynder at få det stadige trick af oplysninger om telefoner, vi hører om i en officiel kapacitet i løbet af den næste måned eller to. Af åbenlyse grunde er Samsung Galaxy S7 højt på listen over ting, som folk vil høre mere om. Det fører til en masse ubekræftede rapporter, slørede cam lækager og vridning af hænderne om, hvad det hele betyder. Frem for alt hvad vi har benchmarks, er de mest nytteløse oplysninger, vi kunne få om uudgivet hardware med helt nye processorer.

Sandheden er de fleste smartphone-benchmarks er meningsløse, men tidlige ufærdige og uofficielle benchmarks er dobbelt så. Her er et hurtigt kig på hvorfor.

Vi er ikke i nærheden af ​​at se færdige produkter endnu

Alle benchmarks, vi vil se, dukke op i løbet af de næste par uger kommer fra to steder. Vi ser enten de Samsung-fremstillede Snapdragon 820-udviklerkort eller ufærdige prototyper af Samsung Galaxy S7. Ingen af ​​disse vil give dig nogen steder i nærheden af ​​de resultater, du får kørt benchmarking-apps på din detailenhed, når det er tid til at købe telefonen. Disse benchmark-numre før frigivelse har aldrig matchet resultaterne fra frigivelsesenheder, og det vil de aldrig gøre.

Almindelig og enkel, disse resultater fortæller dig intet.

Udviklertavler behøver ofte ikke at tage højde for, at de har strøm på batteriet, eller at de skal være opmærksom på ting som temperatur. Disse sæt er bygget til udviklere til hurtigt at optimere deres software til de nye behandlingsarkitekturer eller underliggende softwareværktøjer Qualcomm leverer i år til ting som bedre billedhåndtering i kameraer eller bedre lydstøtte. Benchmarks på udviklertavlen giver dig ikke engang en bred idé om, hvad disse chips er i stand til, fordi ofte OS'et, der kører på dem, ikke er særlig godt optimeret til at begynde med. Almindelig og enkel, disse resultater fortæller dig intet.

Forproduktionsenheder er heller ikke tegn på den virkelige oplevelse. Disse versioner af telefoner kører ofte uafsluttet software eller mangler oppustede apps som sikkerhedssoftware, der bremser telefoner bare ved at køre i baggrunden. Prototype benchmarks er ofte tættere på virkeligheden end dev-sæt, men stadig langt nok væk fra den virkelige verdens oplevelse, som de ikke er værd at tage alvorligt.

Kort sagt, indtil vi ser tal på detailenheder, skal du bare sige nej.

Benchmarks ofte manipuleres alligevel

I løbet af de sidste par år har vi set rapport efter rapport fra producenter af benchmark-apper fra producenterne, der bliver lidt skyggefulde over den måde, deres telefoner interagerer med disse ydeevne-apps. Vi har set en speciel kode, der øger processorens urhastighed kun når et benchmark kører, hvilket fører til numre, der intet er i nærheden af ​​den virkelige verdensoplevelse for disse telefoner. Samsung er ingen engel her - og det samme gælder for andre - det skete ved mere end én lejlighed, og uanset hvad mange brugere ikke synes at være interesserede.

Hvorfor blive begejstrede for benchmarks, når der er gentagne tilfælde, hvor producenter skriver kode for at øge deres antal på en måde, der ikke afspejler den virkelige verden på disse telefoner? Vi ved alle, at grunden til, at de fleste brugere kører benchmarks, er at konkurrere med de andre telefoner derude, som om deres telefoner er i en slags underlig digital stærk konkurrence, men hvad er poenget, når informationen ikke er reel?

Det eneste, der virkelig betyder noget, er, hvordan telefonen - uanset om det er Galaxy S7 eller noget andet - fungerer, når den er i din hånd, og gør de ting, du vil have den til at gøre, og hvis benchmarking-apps ikke kan måle dette nøjagtigt, fordi producenterne fudrer resultater, så har vi brug for bedre måder at måle ydeevne i den virkelige verden.

Den software, du installerer, når du bruger telefonen, betyder noget

At se benchmarks, som en anden post fra deres Galaxy S7, selv når det er en detailversion, og selvom der ikke er nogen software til at fudge resultater, er det stadig ikke nøjagtigt at fortælle dig, hvordan oplevelsen bliver, når du først er flyttet ind til din egen Galaxy S7. En telefon, der er frisk ud af kassen med intet andet end aktie-apps, der fungerer anderledes, når du har indlæst alle dine apps og begyndt at bruge dem. App-cache, kørsel af processer og endda adgang til data fra ekstern lagring vil alle have betydning for din telefons samlede ydelse.

Benchmarks viser dig, hvordan ting vil se ud, når du prøver at skubbe telefonen til dets grænser.

Dette betyder ikke, at benchmarks under forhold, der er tilstrækkelig nok, er totalt værdiløse, det betyder bare, at du stadig ikke ser hele billedet. Og det gør du ikke, da der virkelig ikke er en måde for benchmarks at give dig en god idé om, hvordan din telefon vil opføre sig, når den først er i din hånd og bliver brugt af dig. Hvad du får fra benchmarks, når de kommer fra detailapparater uden software, der skifter ydeevne, er et sløret kig på loftet for potentiel ydeevne. Du kan slags se, hvordan ting vil se ud, når du prøver at skubbe telefonen til dets grænser, hvilket kun virkelig vil ske med ressourceintensive spil eller have det sjovt med kameraindstillingerne. Du får ikke en fornemmelse af meget af noget andet.

Intet af dette er at sige, at du ikke skal begejstre Samsung Galaxy S7. Vi så en masse imponerende ting fra Samsung i det sidste år, og hvis rygterne om tre telefoner, der går mod verden med dette branding på én gang viser sig at være sandt, vil der være endnu mere grund til at være opmærksom på, hvordan disse telefoner udføre, så du bedst kan bestemme, hvilken oplevelse der er dig. Hvad det betyder, er, at benchmarks ikke vil tilbyde dig de oplysninger, du vil have på nogen pålidelig måde, og den bedste ting at gøre lige nu er at vente på, at disse telefoner begynder at gøre vej til folk, der kan vise dig, hvordan disse telefoner opfører sig i den virkelige verden.