Innehåll
Live Caption är en av de coolaste Android-funktionerna ännu, och använder maskininlärning på enheten för att generera bildtexter för lokala videor och webbklipp.
Google har publicerat ett blogginlägg som beskriver exakt hur den här fina funktionen fungerar, och den består faktiskt av tre maskininlärningsmodeller på enheten, till att börja med.
Det finns en återkommande neuralnätverkssekvenstransduktionsmodell (RNN-T) för självigenkänning av tal, men Google använder också ett återkommande neuralt nätverk för att förutsäga skiljetecken.
Den tredje maskininlärningsmodellen på enheten är ett indraget neuralt nätverk (CNN) för ljudhändelser, som fågelskirping, folk som klappar och musik. Google säger att den tredje maskininlärningsmodellen härrör från sitt arbete med appen Live Transcribe-tillgänglighet, som kan transkribera tal- och ljudhändelser.
Minska effekterna av Live Caption
Företaget säger att det har vidtagits ett antal åtgärder för att minska Live Captions batteriförbrukning och krav på prestanda.För det första körs den fulla automatiska taligenkänningen (ASR) -motorn endast när tal faktiskt upptäcks, i motsats till att ständigt körs i bakgrunden.
”Till exempel, när musik upptäcks och tal inte finns i ljudströmmen, kommer etiketten att visas på skärmen och ASR-modellen lossas. ASR-modellen laddas bara tillbaka i minnet när talet finns i ljudströmmen igen, förklarar Google i sitt blogginlägg.
Google har också använt tekniker som beskärning av neurala anslutningar (skär ned talmodellen), vilket reducerar energiförbrukningen med 50% och låter Live Caption köras kontinuerligt.
Google förklarar att resultaten för taligenkänning uppdateras några gånger varje sekund när bildtexten bildas, men skiljetecken är olika. Sökgiganten säger att den levererar skiljetecken ”på textens svans från den senast erkända meningen” för att minska resursbehovet.
Live Caption är nu tillgängligt i Google Pixel 4-serien, och Google säger att det kommer att finnas ”snart” på Pixel 3-serien och andra enheter. Företaget säger att det också arbetar med stöd för andra språk och bättre stöd för innehåll i flera högtalare.
