I 2017, hvad betyder benchmark-numre endda ??

Opdatering, marts 2017: Dette indlæg er blevet opdateret med information om de nyeste telefoner og benchmark-teknikker.

Når det er tid for Samsung at vise os en ny telefon, taler om hardware uundgåeligt bringer emnet med benchmarks op. Galaxy S8, Samsungs showcase-telefon til 2017, er ikke anderledes. Og som forventet fik disse numre masser af mennesker ved at tale om dem bare ved at eksistere.

Tallene er i, men hvad betyder de?

Nogle samtaler om benchmarks er bare ledig skrav. "Åh, cool! Snapdragonet beregner" tingene "i en benchmark-applikation om såvel som Exynos" er sjovt at tale om. det er en interessant samtale, der fører til snak om, hvordan en ny telefon kan imødekomme eller overgå vores forventninger, fordi den bruger avanceret hardware til at gøre seje ting. Derfor er de fleste af os her for at tale om ting, der kører Android, og hvordan vi kan bruge dem til at berige vores liv.

Men nogle mennesker ser alvorligt på benchmark-numre og betragter dem som en vigtig del af en købsbeslutning. Vi bør alle tilskynde til dette, fordi det altid er dejligt at få folk begejstret for noget, men vi skal også tale om, hvad benchmark-numre virkelig betyder i den store tingsplan. En måde at forsøge at sætte tingene i perspektiv på er at sammenligne benchmarks for et par nye processorer, som Android-producenter vil købe til Apples seneste.

For alle, der er besat over, hvilken CPU der er bedre for Galaxy S8. pic.twitter.com/28TTXdIDhW

- Jerry Hildenbrand (@gbhil) 17. marts 2017

Dette betyder ikke, at en iPhone, der bruger A10, automatisk er en bedre oplevelse end en Galaxy S8 vil være. Der er så meget mere, der bestemmer, hvad der er bedre, og størstedelen af ​​det er brugerpræference. du kan lide det, du kan lide, og jeg kan godt lide det, jeg kan lide. Tal i en tweet ændrer ikke det, og tallene betyder ikke, hvad du måske tror, ​​de betyder.

Hvordan disse tal bliver

Benchmarks på mobiltelefoner benchmarking ikke nogen hardware, i det mindste ikke som vi tror, ​​de er. De har ikke adgang til selve hardwaren, fordi de bruger operativsystemets applikationslag. De har en vasketøjsliste over ting, de har telefonen ved hjælp af de API'er, der er eksponeret af operativsystemet, så beregner de, hvor godt det gjorde dem. Der er et mellemliggende lag af en slags at gennemgå for at komme til "hjernerne" bag operativsystemet, som er den del, der styrer hardware direkte. Så en benchmark-app benchmarking hardware gennem noget software.

Du har muligvis hørt folk fra iOS, der taler om Metal- eller Android-folk, der taler om en NDK. Dette er måder, hvorpå applikationer kan interface med hardwaren gennem det mellemliggende lag uden at skulle gennemgå den fulde softwarestakke. Bemærk, at benchmark-numrene for Samsungs Exynos 8895 og Qualcomms Snapdragon 835 er meget tæt på hinanden. De bruger begge den samme software, og ydelsesforskellene mellem dem minimeres på grund af det.

Hvis du køber en telefon, fordi du kan lide at køre benchmarks, skal du sandsynligvis købe en iPhone.

Apples "mellemlag" er bedre. Lad os smide det derude, hvor vi alle kan se det. Apple bygger sin egen processor med fokus på at gøre visse ting rigtig godt og bygger derefter software, der drager fordel af det. Google er nødt til at bygge software, der kan tilpasses til at arbejde med noget. Det er gjort et fantastisk job, og softwaren, der driver en Android-telefon, er en smuk ting, der er utroligt kompliceret. Noget som en benchmarking-app, der bruger Apples interface til hardware, har automatisk en fordel i forhold til Android, uanset hvem der har bygget den, fordi grænsefladen i sig selv er mere strømlinet og "hurtigere" med iOS. Det sker, fordi hardware og software var designet til at arbejde sammen og intet andet.

Du benchmarker telefonen som helhed, ikke kun processoren. Når det kommer til at knuse numre på hver CPU-kerne, gør iPhone 7 Plus det meget bedre.

Lad os se på disse kerner i Apples A10-processor. Den ting er unægteligt den bedste ARM-chip, der nogensinde er designet, når det kommer til rå ydelse pr. Kerne. Det skyldes, at hardwaren var designet til at gøre netop det, og softwaren blev designet til at bruge den. Vi har talt om ARM-arkitektur før, og A10 er et godt eksempel på, hvordan du kan skalere ARM til at gøre næsten alt hvad du vil. Således er Qualcomm 835 og Exynos 8895, de er netop designet med forskellige kriterier i tankerne.

Forskellen i benchmark-tal er ikke en ulykke

Vi sammenligner dem, fordi de alle er inde i en telefon, men Apple er tørstig efter at opbygge en ARM-processor, der kan drive en iPhone, en iPad og en MacBook. Qualcomm og Samsung bygger processorer til at sælge til andre virksomheder til små mobile enheder. Qualcomm og Samsung kunne bygge en processor, der udmærker sig i de samme områder som A10 og ville fungere godt til en Windows-bærbar computer. Qualcomm er faktisk interesseret i at gøre det, og Snapdragon 835 er virksomhedens første skridt mod dette mål.

Et par år fra nu, og vi ser en Snapdragon-chip, der kan arbejdes hårdt nok til at køre en fuldblæst laptop og stadig være effektiv nok til at blive brugt i en mobil enhed med et lille batteri. Vi ser også flere chips, der ikke er så magtfulde, er endnu mere effektive, når det kommer til batteribrug og er meget billigere. Dette vil være de CPU'er, som virksomheder, der laver telefoner, vil købe.

Når du tager et værktøj designet til kun at gøre visse ting i en bestemt rækkefølge og se, hvor "hurtige" de kan gøres, vinder A10 altid. Det skal altid vinde, og vi skulle ønske, at det altid skal vinde. En CPU designet til en 13-tommer MacBook skal udføre enkeltkerneberegninger hurtigere end en Exynos 8895. A10 er ikke den CPU, men det er et skridt i den retning. Og Apple er et techfirma, som vi burde ønske at gøre rigtig seje ting for at drive tech fremad, ligesom vi ønsker, at Samsung eller Google eller Microsoft skal gøre.

Qualcomm eller Samsung kunne bygge en ARM-processor, der er lige så kraftig som A10, men de har ingen grund til at gøre det.

Det lille snip af et benchmark-resultattavle, der ikke har nogen kontekst, som du ser ovenfor, viser den vigtigste ting: Disse numre har lidt betydning for, hvor godt noget som en telefon er at bruge. Brugeroplevelsen har lidt at gøre med hardware, fordi hardwaren har været god nok i et stykke tid nu. Indersiden af ​​en Galaxy S5 eller Nexus 7 eller Note 4 er mere end nok til at gøre de ting, vi forventer, at en telefon skal gøre, så længe softwaren er ved at snus. Du behøver ikke tage mit ord om det, bare snuble over til XDA, hvor folk, der ikke ønsker eller ikke har råd til at købe noget nyere, har bygget brugerdefineret software til hver. Vi beder ikke en telefon om at gøre noget kompliceret nok til at have brug for mere behandlingskraft, end disse enheder kan levere.

Jeg er overbevist om, at selv mobil VR ville være fint, hvis virksomheder var interesserede nok til at understøtte Vulkan korrekt på deres ældre processorer. Vi ved aldrig, fordi de involverede virksomheder eksisterer for at lave nye ting og sælge dem til os, og det er her, de fokuserer deres tid og penge. Nye chips er ikke kun designet til at være nye. De tilbyder alle små stigende stigninger i ydelse, sikkerhed og effektivitet, og disse små stigninger tilføjes over tid. Lige nu fokuserer ikke Moore's Law på firedoblingsydelse i hver generation, men fokuserer på at bruge bedre fremstillingsteknikker til at give mere energieffektive chips og præstationsgevinster er bare naturlig udvikling.

Hvad vi virkelig ser af disse benchmarks

Det, vi kan fjerne fra disse benchmark-scoringer, er, at den måde, en CPU-kerne beregner tingene og fungerer med GPU-kerner, ikke er ødelagt. Tal kan knuses lidt hurtigere med nyere hardware, der var designet til at være mere energieffektiv. Den måde, en CPU-kerne kan knuse et nummer på, er ikke længere flaskehalsen, så disse små forskelle og stigninger bliver ikke bemærket, når du ikke kører en benchmark-applikation. Nyere hardware er måske bedre end sidste år, og en processor er måske bedre end en anden. Resultatforøgelserne er reelle, men de oversættes ikke til en mærkbar forskel, når du bruger dem og vil ikke medmindre du springer over et par generationer. At gå fra en Qualcomm S4 Pro til en Qualcomm 835 bringer en bump i ydeevne, som du med det samme vil bemærke. At gå fra en Qualcomm 821 til en Qualcomm 835 gør det ikke.

Galaxy S8 bringer en brugeroplevelse, der er bedre end sidste års Galaxy S7. Mange af os her vil betragte det som en bedre oplevelse end Apple tilbyder med iPhone 7, mens mange vil føle det modsatte. Intet af dette skyldes en benchmark score.