Het probleem met veel tv-shows of films is dat ze geschoten worden in een breed scala aan beeldformaten. De zogeheten aspect ratio verschilt dan ook regelmatig van video tot video. Daarbij komt dat al die verschillende beeldformaten moeten worden weergegeven op veel verschillende schermen. Hierdoor is de kans aanzienlijk dat de kijker uiteindelijk een beeld krijgt voorgeschoteld dat zo niet bedoeld is door de maker.

Google denkt een einde te kunnen maken aan alle opgeblazen of versmalde gezichten op tv. De zoekgigant heeft een algoritme ontwikkeld dat de belangrijke elementen in beeld, waar de focus op ligt (zoals bijvoorbeeld een mens of een auto), in de juiste verhouding tot het beeld weergeeft. Hierdoor worden opvallende vervormingen op de voorgrond van het beeld tegengegaan. Beeldbewerkers kunnen handmatig aangeven welk gedeelte van het beeld belangrijk is en dus focus verdient, of dit laten bepalen door de software zelf.

Achtergrond oprekken

Om het beeld dan toch op het juiste formaat te kunnen schalen wordt de achtergrond van het beeld, het minst opvallende deel van de video, wel opgerekt. Google redeneert dat dit het minst in het oog springt waardoor kijkers zich niet hoeven te ergeren. Door het onderwerp van het beeld los te koppelen van de achtergrond kan het beeld natuurlijker geschaald worden en zo beter worden weergegeven op alle schermen.

Dit gebeurt via een techniek die Discontinuous Seam Carving wordt genoemd. Hiermee wordt onderscheid gemaakt tussen wat door Google saillante en non-saillante beeldelementen worden genoemd. Het beste werkt dit bij onscherpe achtergronden, water of bijvoorbeeld wolkenluchten. De techniek heet zo omdat de video wordt aangepast door het toevoegen of verwijderen van beeldnaden of (aaneengeschakelde) pixels.

Zwarte balken wegwerken

Op dit moment wordt dit probleem op verschillende manieren verholpen. Dat levert bijvoorbeeld zwarte balken op als een video met de aspect ratio 4:3 wordt weergegeven op een 16:9 scherm, en vice versa. Sommige tv's lossen dit probleem anders op door de hele video te schalen, wat het bekende opblaas of ei-hoofd effect tot gevolg heeft. Daarnaast wordt ook regelmatig het beeld bijgesneden waardoor er onderdelen van het originele beeld verloren gaan.

"Bij Google Research hebben we samen met Geogia Tech een algoritme ontwikkeld dat de video's 'resized' (of 'retarget') om aan te sluiten op elk mogelijk apparaatzonder het beeld bij te snijden, op te rekken of te voorzien van zwarte balken", schrijven Matthias Grundmann en Vivek Kwatra van Google Research. "Onze aanpak maakt gebruik van alle kostbare pixels die aanwezig zijn op het scherm, terwijl er wordt gestreefd naar het leveren van zoveel mogelijk videocontent zoals die origineel is bedoeld. Het resultaat is een video die zich aanpast aan de behoefte van de kijker, zodat de kijker zich niet hoeft aan te passen aan de video."

Actiescenes

Kwatra en Grundmann zetten hun project uiteen in een uitgebreide paper (pdf) waarin het algoritme tot in detail wordt besproken. De ontwikkelaars wijzen er wel op dat hun techniek ook niet altijd zaligmakend is. Het loopt bijvoorbeeld spaak bij scènes met veel actie. De software heeft dan moeite om aan te geven welk deel van de video wel, en welk deel niet geschaald kan worden.