Die AI Innovationen in Sachen Film und Video scheinen nun immer zu forcieren. Nach der rein technischen Machbarkeit der Generierung von audiovisuellen Inhalten, geht es nun vermehrt darum dies auch zugänglich zu machen, wie grad erst gestern im Artikel AI / KI Film und Video Apps. Nun logge ich mich heute bei meinem angestammten AI Video Generator Service Vidu ein und habe die nächste Neuerung vor Augen. Eigentlich eher eine Erweiterung, daher auch der Titel dieses Artikels, AI Video Erfahrungen.
Die Neuerung bei Vidu ist die Möglichkeit bis zu 10 Bilder über Image to Video in ein Video eingehen zu lassen (vormals waren es nach meinem Wissen immer nur zwei, ein Start- und ein Endframe). Und anstatt einer Beschreibung gibt es nun jeweils eine Beschreibung zwischen den aneinandergereihten Bildern. Dies galt es gleich auszuprobieren, bei knapper Zeit, weshalb typische und neue Fehler im dem Video zu sehen sind. Das muss an dieser Stelle betont werden: wenn nicht anders erwähnt, dann wurden die Videos immer nur mit einem oder wenigen Versuchen erstellt. Möglicherweise oder besser sicher, können hier aufgezeigt Fehler bei entsprechender Übung ggf. vermieden werden. Nichtsdestotrotz scheinen diese erstmal typisch.
Typische Fehler, die auch schon an anderer Stelle aufgefallen sind, sind unnatürliche Abläufe in den generierten Videos. Diese ergeben sich, wenn die AI die Szene nicht ergründen oder diese nicht logisch scheint. Beispiele in meiner Serie, die auf Straßenfotografie beruht, sind nicht nachvollziehbare Straßenverläufe oder die Aufforderung bei roter Ampel zu warten und die Ampel auf grün zu schalten und dann die Fahrzeuge anfahren zu lassen. Offenbar und wenngleich vermutlich einfach, kann die AI nicht den logischen Schritt vollziehen erst die Ampel grün leuchten zu lassen und dann erst die Autos fahren zu lassen, jedenfalls nicht bei meinen, mehreren Versuchen.
Dazu ein paar Beispielvideos und schließlich das neue aus 7 Fotos generierte Bild. Bei letzterem gab es eine Aufforderung das Auto (eigentlich das eingangs anfahrende, welches scheinbar verloren geht) aus neuer Perspektive zu zeigen, was dann zu einer Fahrt in den Gegenverkehr führt. Gut zu sehen ist auch die fehlende Logik bzw. die falsche Erkenntnis der Fahrbahn aufgrund der Perspektive des Fotos, welche den Bürgersteig im Mittelpunkt zeigt. So oder so, eine rasante Fahrt :))
Das Startbild zeigt das ursprüngliche Foto. Die Aufforderung war es, die Ampel auf grün zu schalten und die Autos dann fahren zu lassen. Auch ist zu sehen, dass die Fahrbahnen nicht korrekt zugeordnet werden. Der Fehler mit der Ampel lässt sich einfach vermeiden, indem ein Foto mit einer grünen Ampel verwendet wird. Denn ganz klar, der AI Video Generator will Bewegung schaffen.
Richtig kurios geht es hier ab. Zu zeigen ist die Logik der Straßenführung, dabei erfolgte bei dieser Anordnung der Bilder (gegenüber dem nächsten Video) eine Kehrtwendung. Die Ursache ist für mich spekulativ, offenbar kann die AI am Ende der Straße keinen Durchlass zur anderen Straße erkennen oder die Bilder nicht logisch verknüpfen.
Für dieses Video wurden die Fotos gegenüber dem obigen Video in umgekehrter Reihenfolge angeordnet, was gleich zu einem guten Ergebnis führte.
Hier nun das aus 7 Fotos generierte Video: Es geht wirklich rasant los. Zur Aufforderung die Kameraperspektive zu wechseln, schlittert die Kamera in den Gegenverkehr, rettet sich über den Bürgersteig und trickst noch etwas rum. Letztlich sollte das Auto im Dunkeln entschwinden, hält aber scheinbar korrekt an der roten Ampel.