Een van onze meest coole projecten is ons huidige “Realtime Deepfake” project. Het idee achter dit project is ooit bedacht door enkele van onze developers. Die hadden een bepaald applicatiegebied voor deze technologie in gedachten in een bepaalde branche.
Vervolgens ben ik met allerlei partijen in deze wereldwijde branche gaan praten en die bleken allemaal wild enthousiast te zijn. Vervolgens hebben we met een van deze partijen een licentiedeal gesloten en zijn we gestart om de technologie te bouwen. Tevens zijn we gezamenlijk aan het brainstormen over de wijze waarop we deze technologie precies in hun markt gaan commercialiseren. Onze partner gaat deze technologie straks wereldwijd vermarkten.
We hebben twee use cases in gedachten: (1) het mogelijk maken dat we specifieke personen in een realtime video “anonimiseren” door er ofwel een fictief hoofd op te plakken ofwel een masker en (2) het mogelijk maken dat een groep mensen gezamenlijk als het ware “in een film of video kunnen kruipen” net alsof ze er zelf in meedoen door hun hoofd (pasfoto) op het hoofd van een van de personages te plakken. Een soort Metaverse toepassing in de video wereld.
Wat je in de video ziet is een merge van allerlei verschillende A.I. technologieën. Je ziet een A.I. die gezichten kan herkennen en daarbinnen een soort wireframe van elk gezicht maakt (zodat we ook alleen de neus, ogen of oren kunnen aanpassen). Je ziet een A.I. die kan herkennen of het een man of een vrouw betreft. En je ziet een A.I. die herkent welke personages op de voorgrond in focus zijn (zodat als er 80 personages in de video in beeld zijn we alleen de hoofden op de voorgrond aanpassen).
Maar het meest complexe is dat dit allemaal real-time moet werken op live videostreams (op grote resolutie) en dat we het tevens willen draaien op het device van de consument (mobiel, laptop, desktop) zodat we geen videobestanden over het Internet naar een centraal cloud platform hoeven te sturen. Dit zou namelijk enerzijds heel erg duur zijn (Netflix is een top 5 klant van een cloud provider) en tevens vertraging opleveren bij realtime video beelden.
Als het straks allemaal draait, willen we ook kijken hoe we deze technologie (of varianten daarop) kunnen toepassen in andere branches. Dus als jullie creatieve gedachten hebben, zijn ze zeker welkom.
#genzai #ai #metaverse