Galaxy note 7 benchmarks og nørderne, der elsker at hader dem

Trods at have gennemgået en massiv tilbagekaldelse i øjeblikket, er Galaxy Note 7 stadig en af ​​de største telefoner på markedet. Og der er noget dybt i hjertet af enhver smartphone-nørde, der blinker hver gang de ejer en telefon, som nogen med enhver autoritetsmåling kalder "den bedste" og forsvarer denne erklæring på en måde, de er enige om.

Note 7 fans fik den følelse for nylig fjernet fra dem af de smarte folk hos XDA-Developers. Gennem en kombination af "virkelige verden" tests, benchmarks og systemovervågningsværktøjer fortalte XDA-forfatterne en fortælling om stammende ydeevne, der syntes at demonstrere denne skinnende nye telefon var på nogle måder ikke fortjente pladsen øverst på dyngen mange techanmeldere har placeret det.

Det er en sjov læsning, især hvis du kun forstår hvad du læser. Før du overvejer at smide din Note 7 tilbage i butikken, den kom fra med den hjemmelavede katapult, er der et par ting, du skal vide om benchmarks og "virkelige verden" -test.

Benchmark-apps er meningsløse

Hvis du bruger en benchmark-app til at fortælle dig, hvor stor eller frygtelig din telefon fungerer, får du ikke noget sted i nærheden af ​​et komplet billede. Benchmark-apps var tidligere dejlige til fejlfinding, eksisterende, så du kunne se, om der var sket en eller anden form for ydelsestab over tid eller skade på dit udstyr. I dag implementerer mange producenter speciel kode, der tvinger den hardware til at udføre over de typiske tærskler, når der bruges en benchmark-app, hvilket ændrer resultaterne uopretteligt. Du måler en version af den hardware, som din telefon ellers aldrig giver dig adgang til, så du får intet andet end et forsøg på den højeste score, når du kører benchmark-apps i dag.

Hvis du ser en note 7 fungere hvor som helst i nærheden så glat som en Nexus 6P, skal du overveje, hvor mange flere ting, som note 7 gør.

Disse ydelsesændrende softwareændringer fører til et meget større problem. Når du sammenligner en Galaxy Note 7 med en Moto Z Droid Edition og en Nexus 6P, sammenligner du tre forskellige oplevelser, der aldrig vil gøre det samme på samme tid. Samsung og Lenovo har begge baggrundsopgaver, der ikke kan replikeres på Nexus 6P. Funktioner, der ikke kan deaktiveres for at få en 1: 1-sammenligning af softwareydelsen. Hvis du ser en note 7 fungere hvor som helst i nærheden så glat som en Nexus 6P, skal du overveje, hvor mange flere ting, som note 7 gør. Bedre endnu, se på den umådeligt mere grundige Anandtech-gennemgang af Note 7-ydeevnen, da den sammenlignes med alle andre højtydende telefoner, og se, hvordan den regelmæssigt overgår Nexus 6P.

Der er værdi i at teste for ting som faldne rammer, og rapportering om de faldne rammer i sammenhæng er en vigtig ting at gøre, når dit mål er at uddanne og informere potentielle købere. Det er svært at sige, at det er, hvad der skete med præsentationen fra XDA i betragtning af manglen på kontekst eller korrekt sammenligning. Slipper note 7 flere eller mindre rammer end Galaxy S7 eller S7 Edge? Kunne dette være et spørgsmål, der er eksklusivt for Snapdragon-varianten af ​​denne model? Sker dette, fordi Samsungs nye Grace UI blev skyndet ud og kunne rettes i en fremtidig opdatering? Ingen af ​​disse spørgsmål besvares, fordi målet ikke var at informere.

Cherry picking i den "virkelige verden"

Ikke længe efter at XDA offentliggjorde deres fund, forsøgte et indlæg fra The Verges Vlad Savov at anvende en vis virkelighed på den første interneteksplosion. I denne Vladitorial blev det påpeget, at nogle af resultaterne på XDA ikke rigtig var fund. Specifikt at påstå, at en forskel på 200 ms ved lancering af apps var et eksempel på "pinlig ydelse" er fjollet og ikke repræsentativt for, hvordan folk rent faktisk bruger smartphones. XDA fyrede tilbage med flere data og forsøgte at styrke deres position. Modargumentet, at en forsinkelse på 200 ms vil tilføjes en telefon over tid på en sådan måde, at en Note 7-bruger ville gribe en Nexus 6P og blive forbløffet over hvor meget hurtigere den "føles" håndhæves af GIF'er, der demonstrerer disse præstationsforskelle.

Hvad der er fascinerende ved denne demonstration er kirsebærplukkningen. Samsungs software er langt fra perfekt; faktisk, efter at jeg har afinstalleret 13 apps fra min skinnende nye Verizon Note 7 og fundet otte mere, som jeg ikke kan deaktivere, vil jeg slags smadre min med en hammer lige nu. Når jeg sidder den telefon ved siden af ​​min frisk Nougat-fyldte Nexus 6P, er der absolut aspekter af denne note 7, der kan demonstreres hurtigere. Kameraet starter for eksempel rutinemæssigt et fuldt sekund hurtigere. Det ville ikke være vanskeligt at kirsebær plukke et halvt dusin eksempler, GIF dem op og skrive noget, der ligner bevis på, hvor overlegen Note 7 er over Nexus 6P.

Sagen er, at det ikke er, hvordan test i den virkelige verden fungerer. Pointen med den virkelige verdens testning, som navnet antyder, er at tilbyde ydeevneeksempler på, hvordan hele telefonen fungerer som om en "gennemsnitlig" bruger vil bruge telefonen. Det er vanskeligt at bruge disse data til at sammenligne en oplevelse med en anden, i stedet for at tilbyde en 1: 1-sammenligning af software, da den fungerer, som du tilbyder en 1: 1-sammenligning af oplevelsen, hvordan du bruger telefonerne føles. Visning af, hvordan en delingsmenu indlæses, især når disse telefoner helt klart ikke er konfigureret på samme måde med de samme apps, passer ikke rigtig til denne beskrivelse. Medmindre du selvfølgelig skubber en anden fortælling.

Bedre værktøjer og faktisk analyse

Den virkelige fejl i alt dette er en forkert antagelse om, at Samsungs Note 7 og Googles Nexus 6P er bygget til samme formål. Almindelig og enkel, det er de ikke. Googles Nexus-oplevelse har udviklet sig fra ren Developer Kit til en demonstration af Android Open Source-projektet med en håndfuld ekstra. Samsungs telefoner er ikke startet med AOSP på længe, ​​og der er ingen grund til, at virksomheden overvejer en anden vej lige nu.

Samsung-telefoner er Android-baserede og ikke Android.

Samsung-telefoner er Android-baserede og ikke Android. Som et resultat er Samsung-telefoner optimeret uanset hvilken måde de anser for mest vigtige. Lige nu er disse optimeringer til levering af unikke Samsung-funktioner som Samsungs kamera, Samsung Pay og de unikke S Pen-funktioner. Android, som jeg mener operativsystemet, prioriterer ikke disse ting. I de seneste udgivelser har der været fokus på ting som batteriforbrug, når du ikke bruger telefonen, sikkerhed på alle tidspunkter og en konsekvent 60FPS brugergrænseflade. Det er vanskeligt at argumentere for, at nogen af ​​disse ting ikke er vigtige, men hverken Samsungs Android eller Googles Android prioriterer alle disse ting.

Det, der kommer ned til, er hvad du som brugerplads prioriterer. Hvis du vil have den mest sikre telefon med en glat, ubegrænset grænseflade, vil du sandsynligvis have, at Google og HTC snart vil annoncere. Hvis du er interesseret i et fantastisk kamera og software, der er bygget til at tilbyde dig et væld af funktioner, som du måske eller måske ikke bruger, er Samsungs Galaxy Note 7 svært at slå lige nu. At prøve at hævde at note 7 fungerer på en eller anden måde underpresterende, fordi den ikke opfører sig som en telefon, den var ikke bygget til at opføre sig som er latterlig, uanset hvor hårdt du prøver at indpakke den fortælling i benchmarks.