Aanbevolen door jouw emoties
Wanneer was de laatste keer dat je samen met vrienden of familie thuis een film wou bekijken en de keuzestress zorgde voor discussies in de woonkamer? De gewone aanbeveling van Netflix is wel geschikt voor jou alleen, maar niet altijd voor het publiek naast je. Je kleine broertje kijkt namelijk niet zo graag naar enge horrorfilms en je oudere zus heeft de helft van de aanbevolen films reeds gezien. Zou het niet handig zijn dat je een selectie van films krijgt die meteen is afgestemd op iedereen voor de televisie? De app die hier wordt voorgesteld, maakt gebruik van verschillende toepassingen van gezichtsdetectie om dit te realiseren.
De app doet (bijna) alles voor jou
De app waarmee films kunnen worden bekeken op jouw smartphone, tablet of smart tv maakt een einde aan manuele aanmelding met logins en wachtwoorden. De camera boven het scherm detecteert automatisch de gezichten van de aanwezige personen. De app identificeert de mensen voor het scherm met behulp van gezichtsherkenning en meldt deze personen aan. Per gebruiker houdt het systeem informatie bij over het gezicht, de leeftijd, het geslacht en filmvoorkeuren. Het grote verschil met bestaande gebruikersprofielen is dat mensen hier nooit zelf manueel deze informatie moeten ingeven: de foto van het gezicht wordt automatisch genomen, leeftijd en geslacht worden geschat met gezichtsdetectiesoftware en filmvoorkeuren kunnen worden afgeleid uit leeftijd, geslacht en de kijkgeschiedenis van de gebruiker. De volledige app draait erom dat gebruikers nooit iets manueel moeten ingeven via het toetsenbord. Het enige wat ze moeten doen, is de app openen en op de startknop van hun gekozen film klikken.
Elk gezicht wordt geïdentificeerd met gezichtsherkenningssoftware. De gebruikers worden aangemeld en hun leeftijd en geslacht worden geschat.
Een aanbeveling op maat van alle aanwezige kijkers
Het systeem weet aan de hand van de verzamelde geschiedenis wie welke films reeds gezien heeft en zal bijgevolg nooit een film aanraden indien één van de aanwezige personen deze al bekeken heeft. De app weet ook dat jouw kleine broertje te jong is voor enge horrorfilms waardoor de aanbeveling ook deze films niet zal bevatten. Maar de app weet zelfs meer dan dat. Terwijl je naar een film kijkt, zal de camera ook continu beelden maken van de gezichten van de kijkers. Op deze foto’s past de app emotieherkenning, aandachtdetectie en gedragsanalyse toe. De emotieherkenning bestaat uit het detecteren van zes basisemoties: blijheid, verdriet, walging, angst, verrassing en boosheid. Analyse van het aandachtniveau registreert of het hoofd en de ogen van de kijkers gericht zijn naar het scherm. Tenslotte registreert de app ook het gedrag van de kijkers. Een kijker die vaak de mond of ogen bedekt of de ogen sluit tijdens het kijken naar een horrorfilm vindt de film waarschijnlijk te eng. Met al deze informatie kan de app voor elke kijker inschatten wat deze van de film vond. Indien iemand veel lacht tijdens een komedie en continu de aandacht houdt, weet de app dat deze persoon de film leuk vindt en kan het in de toekomst een gelijkaardige film aanraden voor deze persoon. Iemand die bij diezelfde film nooit lacht en vaak wegkijkt, vindt de film waarschijnlijk niet zo leuk en de app registreert dit in de kijkgeschiedenis van de persoon. Hoe meer films de gebruikers kijken, hoe meer informatie het systeem kan verzamelen over de voorkeuren en hoe beter het aanbevelingssysteem zijn werk kan doen.
De app genereert een lijst van aanbevolen films die afgestemd is op alle aanwezige kijkers.
Een testpubliek toont de emoties bij enkele grappige en enkele minder grappige fragmenten
Het volledige systeem werd getest door twintig testpersonen die naar zes korte filmfragmenten keken. De fragmenten werden zo gekozen dat ze elk één van de zes basisemoties in grote mate bevatten. Zo is er bijvoorbeeld een fragment waarin veel humor aanwezig is en een ander fragment waarvan mensen koude rillingen krijgen en verschillende keren verrast worden. Terwijl de testpersonen naar de fragmenten keken, werden foto’s van hun gezichten gemaakt waarop de emotieherkenning, aandachtdetectie en gedragsanalyse werd toegepast. De gebruikerstest leverde op die manier de nodige data voor de evaluatie van de app. Uit de testen bleek dat testpersonen voornamelijk de blije emotie tonen en minder emoties van angst, verdriet en boosheid. Het is dus makkelijker om de filmervaring van kijkers bij grappige films in te schatten dan bijvoorbeeld bij een horrorfilm. Uit de testen bleek ook dat de detectie van het aandachtniveau en gedragingen kunnen helpen bij de inschatting van de filmbelevenis van de kijkers.
De testpersonen tonen verschillende emoties en gedragingen bij het kijken naar de verschillende filmfragmenten.
De toekomst van televisiekijken
Dankzij de combinatie van de detectie van emoties, aandacht en gedrag kan de filmervaring van elke kijker worden bijgehouden. Bijkomende informatie over leeftijd en geslacht helpen het systeem om relevante aanbevelingen te genereren. De volgende keer wanneer jullie een film willen kiezen, zal deze app verschillende films voorstellen waarmee zowel je broertje en je oudere zus als ook jijzelf tevreden zijn. Gedaan met discussies tijdens het kiezen van de film en gedaan met manuele aanmeldingen. We zitten in de toekomst van televisiekijken en het enige wat jullie vanaf nu nog moeten doen, is jullie gezicht tonen en natuurlijk ook jullie emoties. Vergeet dus zeker niet te lachen voor de camera!
