Innehåll

• Hur neurala nätverk fungerar
• Neurala nätverk i din smartphone
• AI skulle kunna utforma fotografiets framtid

Förutom beräkningsfotografering, högkvalitativ kamerahårdvara och bildsignalprocessorer, drivs avancerad mobilfotografering alltmer av maskininlärningsalgoritmer - även känd som artificiell intelligens (AI). Den här fotograferingstekniken lovar att förbättra kvaliteten i push mot DSLR-liknande kvalitet samtidigt som det erbjuder kreativa nya sätt att fotografera och redigera bilder och video.

Nyckeln till maskininlärning är användningen av neurala nätverk. Detta är en typ av algoritm som ofta liknar den mänskliga hjärnan. Denna jämförelse är utifrån ett neuralt nätverk förmåga att utbildas, genom att använda data, att känna igen mönster, vilket gör det möjligt att göra mycket exakta klassificeringar för komplexa datatyper som ljud och bilder.

När det gäller fotografering har förmågan att observera, lära sig, generera och klassificera ett brett spektrum av applikationer. Dessa applikationer kan inkludera funktioner som att bygga på beräkningsfotograferingstekniker för att förbättra efterbehandlingsalgoritmer, realtidsprogramvara bokeh med 4K-video eller till och med helt byta ut färgerna på kläderna du bär på.

Hur neurala nätverk fungerar

Neurala nätverk är ett oerhört komplext ämne, så vi kommer bara att täcka grunderna här. För mer avancerad läsning, kolla in guiderna här och här.

Neurala nätverk består av noder, vilket är en betydelse för var någon beräkning görs. Varje nod kombinerar en ingång med en vikt som förstärker eller dämpar betydelsen av den specifika noden. Flera noder fungerar ofta parallellt och skapar ett lager av noder som utför en större uppgift. Detta kan till exempel vara funktionsdetektering inom en bild. Flera noder och lager kan summeras tillsammans och vidarebefordras till andra noder och lager, vilket bildar ett djupare nätverk med mer kraftfulla funktioner.

Utgången från varje nod och lager skalas som en sannolikhetsfunktion. Genom att titta på många olika funktioner och attribut kan ett neuralt nätverk betygsätta ingången som en sannolikhetsmatch mot alla förväntade potentiella utgångar. Så här avgör algoritmer för bilddetektering om en bild ser mer ut som en katt eller en apelsin, men du måste berätta för vad den ska leta efter först.

Neurala nätverk är inte programmerade precis som traditionella datoralgoritmer. Istället tränas de på datasätt, som bilder, ljudfiler, etc. Vikterna på varje nod justeras gradvis över tid via en feedback-slinga, baserat på hur bra nätverket gjorde det att matcha ingångarna till rätt utgångar. Denna gradvisa "inlärning" av reglerna tar betydande förberedelser, tid och datorkraft, men ger fenomenalt noggranna resultat.

Neurala nätverk i din smartphone

Neurala nätverk kan köras på en mängd hårdvarukomponenter, inklusive CPU- och GPU-delar som är vanliga i en rad datorenheter, inklusive din smartphone. Vissa neurala nätverk kan emellertid kräva mer processorkraft än dessa hårdvarukomponenter kan ge, och dedicerad hårdvara kan ge den optimala bearbetning som behövs.

Inuti Qualcomm® Snapdragon ™ 855 mobilplattform, till exempel, hittar du den senaste Qualcomm® Hexagon ™ 690 Digital Signal Processor (DSP), med förbättrade vektorbehandlingsenheter och en ny Tensor Accelerator specifikt för maskininlärningsuppgifter. Andra Snapdragon Mobile Platforms har också Hexagon DSP-komponenten med olika funktioner. Med det sagt är neurala nät inte bara begränsade till att bara köra på DSP på Snapdragon och andra mobilplattformar. Vilken typ av processor som används beror på arbetsbelastningen.

Qualcomm Snapdragon 855 förbättringar av maskininlärning jämfört med föregående generation

Qualcomm Technologies öppnar upp sina DSP- och maskininlärningsmöjligheter för tredje parts utvecklare genom sin Qualcomm® Neural Processing SDK. Detta tillåter appar att köra neurala nät över någon av hårdvarukärnorna i en Snapdragon mobilplattform. Google Pixel-smartphones använder till exempel Hexagon DSP och sin egen Visual Core för att påskynda sin imponerande HDR + -fotograferingsfunktion. Qualcomm Technologies arbetar med mjukvaruförsäljare som Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho och mer, och stöder funktioner som sträcker sig från videobokeh till avatarskapande med maskininlärning som körs på DSP.

AI skulle kunna utforma fotografiets framtid

Nu vet vi hur neurala nätverk fungerar, den viktiga frågan är vad det kan göra för oss och våra fotografier?

Neurala nätverk används för att förbättra en rad vanliga fotografialgoritmer. Avbrus, till exempel, kan förbättras med utbildning för att erbjuda överlägsen bildstädning anpassad efter den specifika kameran eller typen av skott. På samma sätt kan ett nervnät för svagt ljus upptäcka ljusa och mörka delar av bilden, vilket möjliggör ljus- och färgförbättringar i specifika delar av scenen.

Mer avancerade fall är allt vanligare i smarttelefonfotografering. Superupplösta zoomar använder nervnät för att kombinera flera bilder till en enda högupplöst bild för överlägsen snygg digital zoom. Neurala nät kan också tränas för att exakt sy samman flera fotouppsättningar tillsammans för förbättrad HDR och nattbilder.

AI-fotografering kan inkludera superupplösningszoom, realtid bokeh och förbättrad bildkvalitet.

Video kan också dra nytta av antagandet av denna teknik. Objektdetektering i realtid är utformad för att göra det möjligt för appar att introducera bokeh-effekter från programvara direkt i video när du spelar in. Liknande tekniker stöder också realtidsbyte och borttagning av objekt. Detta inkluderar att byta ut bakgrunden i en video, ändra eller ta bort färger och till och med byta ut kläder eller överlagra digitala avatarer direkt i din video.

Kraften i neurala nätverk och AI-fotografering sträcker sig från kvalitetsförbättringar för att hjälpa till att stänga klyftan på DSLR till kraftfulla kreativitetsverktyg som hjälper till att producera unikt innehåll till en bris. Hur som helst, det är en kraftfull teknik som är grundläggande för framtida förbättringar på väg till mobilfotografering.

Nästa: Google Pixel 3 XL internationell giveaway!

Innehåll sponsrat av Qualcomm Technologies, Inc.

Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Qualcomm AI Engine och Qualcomm Kryo är produkter från Qualcomm Technologies, Inc. och / eller dess dotterbolag.