AI/KI Film und Video Services

Hast du KI Services schon genutzt, wie rund 80% der deutschen oder auch internationalen Internet Nutzer? Bei dem Grad der Penetration geht es kaum mehr anders, schon aufgrund der neu gestalteten Ergebnisseiten der Google Suche. Hier sind die Ergebnisse auch zutreffend und sollten doch mal Unsicherheiten auftreten, dann, so die eigene Erfahrung, gibt es kein KI-Ergebnis bei der Google Suche. Ansonsten können die Ergebnisse bei der gezielten Nutzung von KI Chats allgemein bereichernd oder aber auch ernüchternd sein. Das ist keine negative Kritik, die Sache sollte einfach objektiv betrachtet werden. Es gibt auch einen Fachbegriff für falsche Ergebnisse, Halluzination (der künstlichen Intelligenz).

Und wie verhält es sich nun mit AI/KI im Bereich von Film und Video? Dies ist der Auftakt zu einer Artikelserie über KI-Services im Bereich Film und Video. Der erste Artikel ist den AI/KI Video Generatoren gewidmet, die sich nunmehr zum Teil auch als Film Generatoren bezeichnen. Schlagwort dazu ist Reference to Video, was den für Filme notwendigen Kontext zwischen Szenen ermöglicht.

Hierzu habe ich eine aktuelle Recherche durchgeführt und mir eine Reihe von Services angesehen, die auf unterschiedlicher Grundlage Videos generieren (Für alle, die nur Tools suchen, eine kommentierte Übersicht gibt es unter AI/KI Video und Film Generatoren.). Und tatsächlich beschreiben sich einige Services mittlerweile nicht mehr nur als Video Generation sondern auch als Film Generation Services. Wo ist der Unterschied? Filminhalte haben zumeist einen Kontext, was bei kurzen Videoclips nicht unbedingt notwendig ist. Generierte Videoclips können auch für sich alleine stehen und Emotion oder Witz enthalten. Sogar die Halluzination einer KI kann amüsant sein. Mittlerweile ist es aber soweit, Video Generation Services können auch Kontext haben und gezielt Inhalte generieren, die im größeren Kontext eines Filmes integriert werden können und dies auch in der erforderlichen Qualität.

Als ich vor rund anderthalb Jahren das erste Mal Tools zur Erstellung von Filmen recherchiert hatte, war dies noch nicht möglich. Die Recherchen führten aber zu meinem ersten komplett mit AI/KI erstellten Kurzfilm. Ziel der Recherche war es zu ergründen, wie KI für einen Film genutzt werden kann. Für Dialoge hatte ich mit einem Chatbot experimentiert und es ergab sich zufällig, dass ich bemerkte das sich der Chatbot an ein voriges Gespräch erinnerte. Diese Erkenntnis ist die Essenz des Videos. Umgesetzt wurde der Kurzfilm dann mit Sprachsynthese und die gewonnenen Audiofiles waren dann Grundlage für die Animation mittels AI Avatar Software. Nachstehend das Video.

Hier klicken, um den Inhalt von YouTube anzuzeigen.
Erfahre mehr in der Datenschutzerklärung von YouTube.


Es schien naheliegend, zumindest für mich als Anwender, zu vermuten das sich AI Software dahingehend entwickelt Inhalte zu merken und das irgendwann ein Punkt erreicht wird, ab dem Filme auf der Grundlage von Texteingaben generiert werden können. Vielleicht kommt es auch dazu, momentan scheint dies noch wesentlich zu komplex. Damals allerdings hatte wohl ChatGPT bereits damit angefangen Prompts zur Erhaltung von Kontext zu nutzen. Letzteres, die Nutzung von Prompts für Kontexte, ist nun dato zum State of the Art der Generierung von filmischen Inhalten geworden.

Kürzlich erst hat Midjourney, ein Pionier der Generierung von Bildern, in einer E-Mail mitgeteilt nun auch Video Generation Services anzubieten und dies gleich in fortgeschrittener Form. Mittels selbst zu erstellenden Prompts können Inhalte wie Personen oder Hintergründe etc. definiert werden und dann in entsprechenden Kontext gebracht werden. Es können also z.B. Person A und Person B unabhängig voneinander vor demselben Hintergrund erscheinen oder eine bestimmte Person vor unterschiedlichen Hintergründen. Die Machbarkeit ist der State of the Art, die Methoden können variieren. Die fachliche Bezeichnung für diese Methode ist Reference to Video. Es wird also nicht nur eine Vorlage zum Clip (Text to Video, Image to Video) sondern es werden Bilder oder sonstige Medien als Referenzen definiert, welche dann an unterschiedlichen Stellen verwendet werden. AI Video Anbieter in diesem Bereich sind Google Deepmind mit Veo bzw. insbesondere Flow, Hailuo AI, Midjourney, Pixverse, Sora von OpenAI, Vidu und der AI Video Pionier Runway (eine weitergehende Beschreibung der einzelnen Features der Services gibt es im Verzeichnis unter AI/KI Video und Film Generatoren).

Nochmals hervorzuheben sind die Feature von Runway. Bei Runway können auch Skizzen oder Storyboards zur Generierung von Filminhalten verwendet werden. Das ist im Bereich Film natürlich immens nützlich, stehen diese zumeist ohnehin zur Verfügung. Dazu möchte ich an dieser Stelle aber anmerken, dass nicht alle Services vollumfänglich sondern sofern überhaupt möglich nur mehr oder weniger sporadisch getestet wurden. Das aber im übrigen immer mit einem realen Ergebnis. So kann an dieser Stelle nicht gesagt werden ob Image to Video denselben Effekt haben kann, wie die Nutzung von Storyboards bei Runway. Vermutlich eher nicht oder nur ähnlich, wobei die Übergänge fliessend sind, wie die Showcases nahelegen.

Weitere neuere Features sind das automatische Anfügen von Sprache, wozu ich im oben eingebetteten Video noch mehrere Services nutzen musste. Auch das Anfügen von Soundeffekten ist eine neuere Funktion. Das nachstehende Video gibt ein Beispiel für das automatische Anfügen von Sprache. Dieses wurde mittels Image to Video mit Pixverse erstellt (Das Startbild entspricht dem originalen Bild.), die Sprachsynthese erfolgte automatisch basierend auf einen eingegebenen Text. Es war der erste und einzige Versuch. Ein Abgleich der Farben zwischen der gehobenen Hand und der Grafik hätte mit einer besseren Beschreibung vermutlich korrigiert werden können, worauf aber mangels Zeit verzichtet wurde. (Avatar für das eprima – Verzeichnis für Online Unterhaltung.)


Letztlich noch ein Beispiel eines schnell erstellten Videos mit aber durchaus beeindruckenden Ergebnissen für Image to Video mit Vidu. Auch hier war die Zeit knapp und es blieb beim ersten Versuch und so hat das Video einige, wenngleich durchaus amüsante Fehler. Auch dies wäre mit einer besseren Beschreibung sicher vermeidbar.

Hier das Bild (aus BerlinNFTQuiz), welches als Vorlage für den ersten Clip diente. Die verwendete Beschreibung war (die Bewegung innerhalb eines Bildes ist mittels Text zu beschreiben. Auch interessant wäre ein Versuch ohne Beschreibung.): „Schalte die Ampel auf grün und lasse die Autos fahren und einen Passanten schnell laufend hinter den Autos die Straße überqueren.“. Offenbar problematisch war es für die KI die richtige Ampel unter den Lichtern im Bild zu finden und die Strasse als zweispurig zu erkennen. Der Passant erscheint offenbar als weiteres Fahrzeug, welches komplett generiert und nicht Bestandteil des Ausgangsbildes ist.



Das letzte Beispiel inspirierte gleichfalls zu einer Überlegung für einen dystopischen Science Fiction Film. Ist KI vernetzt? Ja, sie lernt ja von Vorlagen auch aus dem Internet. Und wie definiert KI einen Passanten oder eine Person? Womöglich über die Intelligenz? Zumindest in einigen Science Fiction Filmen wurde thematisiert, wie denn ethisch mit künstlichem Leben umzugehen ist. Darf eine vermeintlich fühlende künstliche Intelligenz abgeschaltet werden oder gehen wir ihr auf den Leim, gestehen wir ihr Gefühle zu und lassen uns von deren Eigenleben überzeugen? Worauf ich aber hinaus will ist die Frage des Selbstverständnisses von KI, betrachtet diese sich selbst als eine Einheit, eine Entität? Hat die KI für das Video dem selbst generierten Auto die Eigenschaften einer Entität, eines intelligenten Wesens zugeschrieben und Auto mit Passant gleichgesetzt? Was ist, wenn künstliche Intelligenz sich irgendwann selbst als Entität definiert und die Prämissen setzt?

Ergänzende Informationen zu Web Stories

Der kürzlich veröffentlichte Artikel zum Google Storytelling Format bedarf einer Ergänzung. Denn die Geschichte von Web Stories ist mehr als wie im vorigen Artikel beschrieben eine reine Google Story, wenngleich Google schon immer an der Entwicklung des Web Stories Formates beteiligt war.

Web Stories gehen konkret auf das AMP Projekt zurück, welches aber wiederum von Google initiiert wurde. Jedoch waren daran auch weitere Entwickler beteiligt. Das eigentliche Ziel dieses Projektes war oder ist es noch immer ein besonders schnelles Format für das mobile Internet zu schaffen. Denn Web Stories on Google erscheinen, wie im vorigen Artikel beschrieben insbesondere in der Google App unter Discover. Und AMP steht für Accelerated Mobile Pages.

Im Rahmen dieses AMP Projektes wurde auch das Web Stories Format entwickelt, wozu es in der AMP Projekt Homepage die gleichnamige Seite Web Stories gibt. Tatsächlich hat Google bereits 2018 in dem Blog Artikel AMP Stories: Bringing visual storytelling to the open web über das neue Format berichtet.

Weil also Web Stories on Google nun nicht oder doch und jedenfalls nicht nur ein Google Storytelling Format darstellen und auch andere Entwickler an dem AMP Projekt mit gewirkt haben, diese Ergänzung des Artikels.

Nichtsdestotrotz gelten die im Artikel Google mit neuem Storytelling Format gemachten Feststellungen über die Bedeutung von Web Stories, die eben insbesondere aus dem Google Blog Post zur Unterstützung des Formates resultieren. Auch in Fachpublikationen rund um Marketing und Medien sind Web Stories ein großes Thema. Darin werden die Nutzung für Publisher und spezielle Formen der Suchmaschinen Optimierung für gute Platzierungen diskutiert. Hierzu, zur SEO für Web Stories, lassen sich zahlreiche Artikel finden und auch in der Seite des AMP Projektes selbst gibt es Informationen zur SEO for Web Stories.

FMarket.de Verzeichnis: FMarket News

Aktuelle Online Video News

In diesem Post gibt es eine kurze Zusammenfassung aktueller News rund um das Online Video Geschehen und diese starten mit Vine Stars, die sich nun anschicken YouTube Stars zu werden.

Vier Stars des Microvideo Services Vine haben sich zusammen getan um auf YouTube einen ebenso erfolgreichen Comedy Channel zu starten. Interessant der Hintergrund, der auch die Bedeutung von Microvideo bzw. konkret Vine dokumentiert. Hinter dem Projekt steckt eine Initiative von Endemol Beyond, einer neuen Art von Content Network des TV Unternehmen Endemol. Der Channel hat den Namen SHFTY – Super Happy Fun Time, YAY mit dem Untertitel „Vine’s biggest Stars“: Vine Stars Come To YouTube For A ‘Super Happy Fun Time, Yay!’.

Wie stark sich die innovativen Services der letzten Zeit und unterschiedlichster Art (hier Crowd Funding gegenüber oben Microvideo) entwickelt haben, zeigt ein Projekt der Crowd Funding Plattform Kickstarter in Kooperation mit iTunes. So hat Kickstarter einen neuen Channel auf iTunes gestartet und zeigt dort über die Plattform finanzierte Filme: Kickstarter brings hundreds of its funded films to iTunes.

Die Bedeutung der Online Welt für abermals ganz andere Bereiche, und zwar von Twitter und Social Media für die Marktforschung, belegt der Schritt von Twitter den in den USA bereits seit längeren bestehenden TV Rating Service nun auf europäische Länder und darunter auch Deutschland auszuweiten. Twitter ist bekannt dafür, dass Nachrichten sich besonders schnell verbreiten und dies gilt auch für Kritiken und Stimmungen: Twitter is expanding its TV ratings service to Europe, starting with Germany, Austria and Netherlands.

Schliesslich noch eine Nachricht rund um die Video Produktion und zwar seitens des Special Effects Software Anbieters Red Giant. Dieser hat mit Red Giant Universe eine Community für Special Effects Entwickler gestartet und stellt dort zahlreiche Tools bereit: Red Giant splashes with new online community.

FMarket.de Verzeichnis: Film Markt, NetworkingVideo Software

Drehbuch Software

Kürzlich wurde über das Crowd Funding Projekt Script to Movie berichtet, einer Online Drehbuch Software, die nun auch das Crowd Funding erfolgreich absolviert hat. Im Umfeld der Crowd Funding Kampagne gab es auch ein Event mit Vorstellung des Projektes. Dort wurde zur Motivation des Projektes gesagt, dass es nur sehr wenig Software für Drehbücher und Filmproduktion gibt, was dann recherchiert wurde und hier das Ergebnis.

An expliziter Software für Drehbücher und Film Produktion gibt es tatsächlich, soweit recherchiert, nur eine handvoll. Daneben gibt es eine Reihe von neuerer Online Software, die aber vor allem für die Online Video Produktion geeignet ist. D.h. das die Software durchaus professionellen Massstäben genügt, aber über Sharing Funktionen eben eher das Online Video Klientel als die Filmemacher bedient. Zu nennen sind Kaltura, MediaSilo, Plotbot, StudioNow und Syndicaster.

Dann zu der Software, also auf dem Computer zu installierende Software. Offenbar sehr populär ist Celtx. Der Fokus der kostenlos als Download verfügbaren Software liegt auf das schreiben von Drehbüchern und mittlerweile gibt es für die Anwendung auch einen verbundenen Online Speicher zur Ablage und Synchronisierung der bearbeiteten Medien.

Weiter geht es mit Final Draft, das sich als Einzelplatz Software ohne Optionen zur Kollaboration präsentiert und das eine reine Desktop Software ist. Die Funktionen variieren mit der Version, wobei hier ebenfalls eine kostenlose Testversion angeboten wird.

Wirklich einfach, was die Webseite betrifft, stellt sich Fuzzle Check dar. Doch das kann täuschen, denn laut Beschreibung wurde auch diese Software von Insidern entwickelt und umfasst ebenso die Verwaltung von Medien wie Bildern zur Beschreibung von Szenen und ähnlichen. Auffällig bleibt aber dennoch, dass zwar eine aktuelle Version der Software in der Seite beschrieben wird jedoch diese noch nicht für Windows 8 geeignet ist.

Zuletzt noch ein Hinweis auf die Seite Screenplay, die an ein Software Verzeichnis erinnert, auch Fachliteratur listet aber eigentlich zu Write Brothers gehört, ebenfalls ein Publisher diverser Film Software. Neben allgemeinem Screenwriting gibt es hier auch spezielle Software zur Dramatik und anderes.

Als kleines Fazit und alles in allem betrachtet ist das Projekt Script to Movie und wie auch schon im Artikel beschrieben überaus zu begrüssen. Die Software wird es in deutscher Sprache geben, das Geschäftsmodell ist günstig (pro Teilnehmer an einem Projekt 10,- Euro) und als Online Software wird diese immer auf einem aktuellen Stand sein. Hier noch einmal der Link zur Homepage von Script to Movie.

FMarket.de Verzeichnis: DrehbuchsoftwareStorytelling mit KIFilm, Video Collaboration Software

Film und Video Projekt Management Software

Ab Herbst wird es eine neue Online Software für die Planung und das Projekt Management von Filmen und Videos geben. Erfreulich, wo derartige Software zumeist in englischer Sprache erscheint, ist der Ursprung in Berlin.

Script to Movie heisst diese Online Software. Aktuell befindet sich diese noch in der Finanzierungsphase, wobei die Finanzierung über Crowd Funding erfolgt und sich Interessierte also mit kleinen oder grösseren Beträgen beteiligen können. Die Beteiligung kann als Spende erfolgen oder in einen bevorzugten Preis bei der Nutzung umgewandelt werden. Bei der Nutzung geht es mit den interessanten Fakten weiter, denn der monatliche Preis zur Nutzung der Software wird nach Angaben zu den Beteiligungen nur 10,- Euro betragen, bei einer Spende von 10,- Euro nur 8,- Euro monatlich.

Sämtliche Informationen zu dem Projekt gibt es in der Startnext Homepage zum Projekt und der Script to Movie Homepage. Organisator des Projektes ist der Film Regisseur Florian Froschmayer.

FMarket.de Verzeichnis: DrehbuchsoftwareFilm, Video Collaboration

API Interfaces für Film und Video Seiten

Hier einmal der etwas andere Post, abseits des eigentlich kreativen Film oder Video Schaffens, der neuen Seiten und dem Marketing, und für Entwickler von Webseiten und Apps rund um Film und Video. Die Webseite programmableweb berichtet laufend über die Entwicklung des Semantic Web und die Möglichkeiten des Zusammenwirken von Webseiten. Aktuell hat der Service eine Liste mit API Interfaces von Online Film und Video Seiten publiziert. Wem das gar nichts sagt, derartige API Interfaces ermöglichen die Übernahme und Integration von Inhalten wie z.B. aktuelle Programme und sonstigem: 52 Movies APIs: Rovi, Rotten Tomatoes and Internet Video Archive.

FMarket.de Verzeichnis: Video SoftwareVideo Sharing

Screen Recording mit Video in HD

Das Thema ist so schräg wie oft ein Thema um Internet Video und Online Film bei FMarket.de, doch so sind die neuen Medien und das ist so faszinierend wie es Spass macht. Screen Recording, wer es nicht weiss, umschreibt das Aufzeichnen von Geschehnissen auf dem Computer Monitor. Eine typische Form der Nutzung ist die Vorbereitung von Präsentationen oder Tutorials, doch sind auch sonst viele Formen der Nutzung denkbar und möglich wie z.B. die Aufzeichnung von Video Interviews oder Szenen in Virtual Reality Welten. Und auch hierbei ist neben dem Nutzen Qualität gefragt, eben gerade auch wenn die Szene womöglich in einen Film eingearbeitet werden soll. Und genau das kann Screenpresso.

Screenpresso kann Screenshots aufnehmen und ganze Szenen vom Bildschirm als Video aufzeichen und das ganze in bester Qualität als HD Video. Die Anwendung ist als Software realisiert und hat als solche noch eine ganze Reihe komfortabler Funktionen. Diese kann Videos in diverse Formate exportieren, stellt Funktionen zur Bildbearbeitung bereit (und hier nicht für Video) und ermöglicht das direkte Sharing wie auch den Upload auf YouTube. Mehr bei Screenpresso.

FMarket.de Verzeichnis: Video Software

Open Source Video Editing Software

Kostenlos und Open Source sind für den einen oder anderen bereits grosse Vorteile. Ein noch grösserer Vorteil kann die Plattform Unabhängigkeit der Video Editing Software VLMC sein, die sowohl auf Mac, Windows oder Linux installiert werden kann und zwar dann wenn Teilnehmer an einem Projekt mit unterschiedlichen Systemen arbeiten. Auch sonst ist die Software flexibel, im- und exportiert diverse Video Formate und verfügt über eine integrierte Upload Funktion für YouTube.

Anbieter der Software ist die Non-Profit Organisation VideoLAN, die auch den ebenso kompatiblen VLC Media Player anbietet und weitere Projekte um Video und Media Software betreibt.

FMarket.de Verzeichnis: Video Bearbeitung, Video Software