INFO GOOGLE ALS HAUPTKONKURRENT VON SORA
Googles TextzuVideoGenerator galt einen Monat lang als neuer Branchenstandard – bis Sora vorgestellt wurde. Dennoch erzeugt auch Googles KIModell eindrucksvolle Videos, und es wird stetig weiterentwickelt. Im Rennen um den besten Text-zu-VideoGenerator ist Google mit Lumiere (lumierevideo.github.io) momentan der Hauptkonkurrent von OpenAI Sora.
Bis zu fünf Sekunden lange Videos Hinsichtlich ihrer Fähigkeiten ähneln sich Lumiere und Sora stark. Das aus dem GoogleVorgängerprojekt VideoPoet entstandene Lumiere kann Videos anhand von Texteingaben erstellen, bestehende Videos bearbeiten sowie Bildvorlagen digital zum Leben erwecken. Dabei lassen sich die Animationen beliebig im Stil anpassen. Lumiere-Videos haben derzeit eine Länge von fünf Sekunden und bestehen aus 80 Frames, wobei 16 Frames pro Sekunde dargestellt werden können. Google Lumiere können Anwender noch nicht selbst ausprobieren, da sich das KI-Tool genauso wie Sora noch in der Entwicklungsphase befindet. Auf der Lumiere-Webseite hat Google dafür schon zahlreiche Beispielvideos vorgestellt.
Zur Bildgenerierung bedient sich Lumiere genauso wie Sora eines Diffusionsmodells, das Bilddetails mittels maschinellem Lernen aus anfangs stark verrauschten Frames herausarbeitet. Für die Animation der Einzelbilder verwendet Google ein spezielles Verfahren, das auf der sogenannten Raum-Zeit-U-NetzArchitektur basiert (Space-Time U-Net oder STUNet). Anstatt wie viele andere Text-zuVideo-Generatoren Keyframes zum Rendern zu nutzen, generiert Lumiere mit Hilfe von STUNet das komplette Video in einem Durchgang, um die Bewegungsabläufe möglichst realistisch aussehen zu lassen.