Innehåll
Google Pixel 4 och Pixel 4 XL har företagets bästa programvarufunktioner och kamerafunktioner som någonsin är möjliga, delvis på grund av att Pixel Neural Core ingår. Det lilla chipet sitter bredvid Pixel 4: s huvudprocessor för att effektivt köra Googles kraftfulla maskininlärningsarbete. Dessa sträcker sig från bildbehandling till röstigenkänning och transkriptionsfunktioner.
Neural Core är dock inte Googles första spricka på en egen maskininlärningsprocessor för smartphones. Pixel 2 och 3 levereras med Pixel Visual Core, designad för att ladda av bilduppgifter som HDR + för förbättrad prestanda och energieffektivitet. Pixel 4s Neural Core bygger på denna grund med förbättrade kapaciteter och ett urval av nya användningsfall.
Missa inte: Här är vad Pixel 4s Astro-läge kan göra
Hur fungerar Pixel's Neural Core?
Google har ännu inte delat information om exakt vad som händer i sin Neural Core. Vi vet dock hur dess tidigare generation Visual Core fungerar och vilken typ av tekniker som vanligtvis används i maskininlärningsprocessorer.
Till skillnad från en traditionell CPU byggd för att hantera ett brett utbud av beräkningsuppgifter är maskininlärningsprocessorer (NPU), som Neural Core, optimerade för några specifika komplexa matematiska uppgifter. Detta gör dem mer som digitala signalprocessorer (DSP) eller grafikbehandlingsenheter (GPU) men optimerade för de specifika operationerna som används av maskininlärningsalgoritmer.
Fused multiply-accumulates är en mycket vanlig bild- och röst-ML-operation som du inte hittar bredskalig support för inuti en CPU. Till skillnad från moderna 32 och 64-bitars CPU: er utförs dessa data på datastorlekar på bara 16, 8 och till och med 4 bitar. Anpassade hårdvarublock krävs för att stödja dessa operationer med maximal effektivitet.
Neural Core accelererar bild- och röstalgoritmer som körs mindre effektivt på en CPU eller GPU.
Neural Core bygger dedikerade aritmetiska logikenheter i hårdvara för att hantera dessa instruktioner snabbt och med minimal strömförbrukning, snarare än att ta upp flera CPU-cykler. Chipet består troligen av hundratals av dessa ALU: er i flera kärnor, med delat lokalt minne, och en mikroprocessor som övervakar uppgiftsplanering.
Google kommer nästan säkert att ha optimerat sin senaste hårdvarukonstruktion kring algoritmer för assistent-, röst- och avbildningsprogramvara. Beroendet av Neural Core: s ALU-funktioner är därför Pixel 4: s senaste fotografifunktioner inte tar sig till äldre telefoner.
Vad kan Neural Core göra?
Neural Core verkar vara en viktig ingrediens i ett antal nya funktioner packade i Google Pixel 4 och Pixel 4 XL. Dessa förbättringar fokuserar främst på bild- och röstbehandling.
På fotograferingssidan innehåller listan dubbla exponeringskontroller, ett astrofotograferingsläge, live HDR + förhandsvisningar och Night Sight. Googles Pixel 4 utför dubbla exponeringsjusteringar och HDR + i realtid så att användare kan se resultaten från sina bilder innan de träffar slutaren. Detta pekar på en stor ökning av beräkningskraften för bilder jämfört med Pixel 3.
Dessutom introducerar dessa telefoner inlärningsbaserad vitbalans i sitt kamerasystem, som fixar gula nyanser som ofta är associerade med bilder med svagt ljus. Flera exponeringsupptagningar, himmelkänning och bildkombination används för Astro Night Sight-läget, vilket kräver en stor mängd bearbetning och bilddetektering smarts. Slutligen identifierar och rekommenderar Pixel 4: s Frequent Faces-funktion bättre bilder av människor du ofta fotograferar.
Pixel 4 kan också skryta med en uppdaterad assistent med sportiga förbättrade språkmodeller som nu kan köras nativt på enheten snarare än i molnet. Nya röstfunktioner inkluderar även fortsatta samtal, ljudtranskription via inspelnings-appen och förbättrad taligenkänning. Neural Core spelar sannolikt också en roll i telefonens 3D-ansiktslåsningsteknik.
Framtidens våg
Googles Neural Core är företagets mest kraftfulla bit av smarttelefonsilikon ännu, vilket möjliggör effektivare bildredigering i realtid än tidigare. Google är stolt över sin branschledande teknik för maskininlärning och Pixel 4: s största försäljningsställen förlitar sig på frukten av dessa investeringar.
Pixel 4 är dock inte den enda smarttelefonen som har en kraftfull maskininlärningsprocessor. Alla smartphones som drivs av en Snapdragon 855 erbjuder speciell maskininlärningsmaskinvara. Även om Google tydligt har olika behov och kanske ännu kraftigare krav för sina smartphones. Huawei's Kirin 990 har på samma sätt dubbla NPU-enheter som är tillräckligt kraftfulla för realtidsbokeh-videoeffekter och mer.
Maskininlärningsmaskinvara håller snabbt på att bli en hörnsten i flaggskeppens smartphone-bild, video och AI-funktioner. Google, med sina Pixel 4 och Neural Core, placerar precis nära toppen av förpackningen.
Nästa: Googles Pixel-kameror försöker inte vara kameror alls
