AI/KI Film und Video Services

Hast du KI Services schon genutzt, wie rund 80% der deutschen oder auch internationalen Internet Nutzer? Bei dem Grad der Penetration geht es kaum mehr anders, schon aufgrund der neu gestalteten Ergebnisseiten der Google Suche. Hier sind die Ergebnisse auch zutreffend und sollten doch mal Unsicherheiten auftreten, dann, so die eigene Erfahrung, gibt es kein KI-Ergebnis bei der Google Suche. Ansonsten können die Ergebnisse bei der gezielten Nutzung von KI Chats allgemein bereichernd oder aber auch ernüchternd sein. Das ist keine negative Kritik, die Sache sollte einfach objektiv betrachtet werden. Es gibt auch einen Fachbegriff für falsche Ergebnisse, Halluzination (der künstlichen Intelligenz).

Und wie verhält es sich nun mit AI/KI im Bereich von Film und Video? Dies ist der Auftakt zu einer Artikelserie über KI-Services im Bereich Film und Video. Der erste Artikel ist den AI/KI Video Generatoren gewidmet, die sich nunmehr zum Teil auch als Film Generatoren bezeichnen. Schlagwort dazu ist Reference to Video, was den für Filme notwendigen Kontext zwischen Szenen ermöglicht.

Hierzu habe ich eine aktuelle Recherche durchgeführt und mir eine Reihe von Services angesehen, die auf unterschiedlicher Grundlage Videos generieren (Für alle, die nur Tools suchen, eine kommentierte Übersicht gibt es unter AI/KI Video und Film Generatoren.). Und tatsächlich beschreiben sich einige Services mittlerweile nicht mehr nur als Video Generation sondern auch als Film Generation Services. Wo ist der Unterschied? Filminhalte haben zumeist einen Kontext, was bei kurzen Videoclips nicht unbedingt notwendig ist. Generierte Videoclips können auch für sich alleine stehen und Emotion oder Witz enthalten. Sogar die Halluzination einer KI kann amüsant sein. Mittlerweile ist es aber soweit, Video Generation Services können auch Kontext haben und gezielt Inhalte generieren, die im größeren Kontext eines Filmes integriert werden können und dies auch in der erforderlichen Qualität.

Als ich vor rund anderthalb Jahren das erste Mal Tools zur Erstellung von Filmen recherchiert hatte, war dies noch nicht möglich. Die Recherchen führten aber zu meinem ersten komplett mit AI/KI erstellten Kurzfilm. Ziel der Recherche war es zu ergründen, wie KI für einen Film genutzt werden kann. Für Dialoge hatte ich mit einem Chatbot experimentiert und es ergab sich zufällig, dass ich bemerkte das sich der Chatbot an ein voriges Gespräch erinnerte. Diese Erkenntnis ist die Essenz des Videos. Umgesetzt wurde der Kurzfilm dann mit Sprachsynthese und die gewonnenen Audiofiles waren dann Grundlage für die Animation mittels AI Avatar Software. Nachstehend das Video.

Hier klicken, um den Inhalt von YouTube anzuzeigen.
Erfahre mehr in der Datenschutzerklärung von YouTube.


Es schien naheliegend, zumindest für mich als Anwender, zu vermuten das sich AI Software dahingehend entwickelt Inhalte zu merken und das irgendwann ein Punkt erreicht wird, ab dem Filme auf der Grundlage von Texteingaben generiert werden können. Vielleicht kommt es auch dazu, momentan scheint dies noch wesentlich zu komplex. Damals allerdings hatte wohl ChatGPT bereits damit angefangen Prompts zur Erhaltung von Kontext zu nutzen. Letzteres, die Nutzung von Prompts für Kontexte, ist nun dato zum State of the Art der Generierung von filmischen Inhalten geworden.

Kürzlich erst hat Midjourney, ein Pionier der Generierung von Bildern, in einer E-Mail mitgeteilt nun auch Video Generation Services anzubieten und dies gleich in fortgeschrittener Form. Mittels selbst zu erstellenden Prompts können Inhalte wie Personen oder Hintergründe etc. definiert werden und dann in entsprechenden Kontext gebracht werden. Es können also z.B. Person A und Person B unabhängig voneinander vor demselben Hintergrund erscheinen oder eine bestimmte Person vor unterschiedlichen Hintergründen. Die Machbarkeit ist der State of the Art, die Methoden können variieren. Die fachliche Bezeichnung für diese Methode ist Reference to Video. Es wird also nicht nur eine Vorlage zum Clip (Text to Video, Image to Video) sondern es werden Bilder oder sonstige Medien als Referenzen definiert, welche dann an unterschiedlichen Stellen verwendet werden. AI Video Anbieter in diesem Bereich sind Google Deepmind mit Veo bzw. insbesondere Flow, Hailuo AI, Midjourney, Pixverse, Sora von OpenAI, Vidu und der AI Video Pionier Runway (eine weitergehende Beschreibung der einzelnen Features der Services gibt es im Verzeichnis unter AI/KI Video und Film Generatoren).

Nochmals hervorzuheben sind die Feature von Runway. Bei Runway können auch Skizzen oder Storyboards zur Generierung von Filminhalten verwendet werden. Das ist im Bereich Film natürlich immens nützlich, stehen diese zumeist ohnehin zur Verfügung. Dazu möchte ich an dieser Stelle aber anmerken, dass nicht alle Services vollumfänglich sondern sofern überhaupt möglich nur mehr oder weniger sporadisch getestet wurden. Das aber im übrigen immer mit einem realen Ergebnis. So kann an dieser Stelle nicht gesagt werden ob Image to Video denselben Effekt haben kann, wie die Nutzung von Storyboards bei Runway. Vermutlich eher nicht oder nur ähnlich, wobei die Übergänge fliessend sind, wie die Showcases nahelegen.

Weitere neuere Features sind das automatische Anfügen von Sprache, wozu ich im oben eingebetteten Video noch mehrere Services nutzen musste. Auch das Anfügen von Soundeffekten ist eine neuere Funktion. Das nachstehende Video gibt ein Beispiel für das automatische Anfügen von Sprache. Dieses wurde mittels Image to Video mit Pixverse erstellt (Das Startbild entspricht dem originalen Bild.), die Sprachsynthese erfolgte automatisch basierend auf einen eingegebenen Text. Es war der erste und einzige Versuch. Ein Abgleich der Farben zwischen der gehobenen Hand und der Grafik hätte mit einer besseren Beschreibung vermutlich korrigiert werden können, worauf aber mangels Zeit verzichtet wurde. (Avatar für das eprima – Verzeichnis für Online Unterhaltung.)


Letztlich noch ein Beispiel eines schnell erstellten Videos mit aber durchaus beeindruckenden Ergebnissen für Image to Video mit Vidu. Auch hier war die Zeit knapp und es blieb beim ersten Versuch und so hat das Video einige, wenngleich durchaus amüsante Fehler. Auch dies wäre mit einer besseren Beschreibung sicher vermeidbar.

Hier das Bild (aus BerlinNFTQuiz), welches als Vorlage für den ersten Clip diente. Die verwendete Beschreibung war (die Bewegung innerhalb eines Bildes ist mittels Text zu beschreiben. Auch interessant wäre ein Versuch ohne Beschreibung.): „Schalte die Ampel auf grün und lasse die Autos fahren und einen Passanten schnell laufend hinter den Autos die Straße überqueren.“. Offenbar problematisch war es für die KI die richtige Ampel unter den Lichtern im Bild zu finden und die Strasse als zweispurig zu erkennen. Der Passant erscheint offenbar als weiteres Fahrzeug, welches komplett generiert und nicht Bestandteil des Ausgangsbildes ist.



Das letzte Beispiel inspirierte gleichfalls zu einer Überlegung für einen dystopischen Science Fiction Film. Ist KI vernetzt? Ja, sie lernt ja von Vorlagen auch aus dem Internet. Und wie definiert KI einen Passanten oder eine Person? Womöglich über die Intelligenz? Zumindest in einigen Science Fiction Filmen wurde thematisiert, wie denn ethisch mit künstlichem Leben umzugehen ist. Darf eine vermeintlich fühlende künstliche Intelligenz abgeschaltet werden oder gehen wir ihr auf den Leim, gestehen wir ihr Gefühle zu und lassen uns von deren Eigenleben überzeugen? Worauf ich aber hinaus will ist die Frage des Selbstverständnisses von KI, betrachtet diese sich selbst als eine Einheit, eine Entität? Hat die KI für das Video dem selbst generierten Auto die Eigenschaften einer Entität, eines intelligenten Wesens zugeschrieben und Auto mit Passant gleichgesetzt? Was ist, wenn künstliche Intelligenz sich irgendwann selbst als Entität definiert und die Prämissen setzt?

Film Talks der Berlinale im Stream

Rund um die Berlinale 2021 gibt es ein interessantes Rahmenprogramm, wie in jedem Jahr, doch diesmal, es muss nicht betont werden, findet dieses nicht „in Echt“ sondern vor allem virtuell statt. Erfreulicherweise gibt es eine Vielzahl an Streams der sonst oft eher in kleinen oder auch elitären Kreisen stattfindenden Veranstaltungen mit Diskussionen rund um Trends in der Gestaltung von Filmen und die Stellung von Film und Kino in den sich wandelnden Zeiten der Digitalisierung. Wie steht das Kino überhaupt da (es hat sich in den letzten Jahren freudig entwickelt), wie sieht es mit Geschäftsmodellen aus (machen die in Coronazeiten ausgesetzten Sperrfristen noch Sinn oder sollte flexibler agiert werden) und was gibt es auch für technologische Trends, wo findet Kino statt?

Es gibt sicher einige weitere Streaming Event rund um die Berlinale (diese können gern in die Kommentare eingetragen werden), aber für alle die nicht richtig orientiert sind hier zwei Tipps:

Ein umfassendes Programm mit diversen Themen und teils Vorstellungen auch von Filmen und Arbeiten gibt es in der Homepage von Berlinale Talents. Das Programm gibt es als Live Stream und als Aufzeichnungen: Berlinale Talents Programme.

Auch virtuell unterwegs ist Top Talente, eine Seite der Akademie für Film- und Fernsehdramaturgie, immer mal wieder und aktuell mit der Aufzeichnung eines Streams mit dem vielversprechenden Titel „Innovation in der Branche

Drehbuch schreiben und Künstliche Intelligenz

Drehbücher mit Unterstützung Künstlicher Intelligenz zu schreiben ist Realität geworden. Wenngleich die Betonung auf Unterstützung bei der Erstellung bei der Drehbuchgestaltung liegt, ist auch das Schreiben von Drehbüchern nicht mehr nur Fiktion. Doch dazu unten mehr.

Largo.ai ist eine derartige AI Software zur Unterstützung bei der Erstellung von Drehbüchern, die im Rahmen einer Fachveranstaltung beim Filmfest Hamburg jüngst vorgestellt wurde. Der Titel der Veranstaltung „Ist Erfolg berechenbar“ verrät dann schon etwas über die eigentlichen Fähigkeiten der Software. Diese liegen vor allem in Vergleichen mit anderen Filmen, deren Mustern und Zielgruppen sowie deren Einspielungen. Aber auch Vergleich in Sachen Dramaturgie und Stil der Drehbücher leistet diese Software. Um derartiges zu leisten, wurde das System mit Daten früherer Filme gespeist, deren Genre und Merkmalen, Erfolgen und Zielgruppen.

Eine Analyse des eigenen Skriptes zeigt im Ergebnis die Konformität mit einem Genres bzw. dem Mix aus Elementen mehrerer Genres über eine Storyline aus. Dies zeigt an welchen Stellen ein Drama ein Drama ist und an welchen Stellen Elemente aus Comedy oder Thriller überwiegen und ggf. korrigiert werden sollte. Doch klar, diese Entscheidung bleibt beim Autor, wenn denn z.B. neue Wege gegangen werden sollen. Ist dies aber nicht in der Intention des Autors, gibt die Software über die Gewichtung Hinweise zur Korrektur. Ähnliches gilt für Altersgruppen.

Aufmerksamkeit gilt natürlich auch dem Titel der Veranstaltung, „Ist Erfolg berechenbar“. Hierzu vergleicht die Software den Erfolg möglichst ähnlicher Filme und errechnet die mögliche Bandbreite des Erfolges aus Parametern wie der Größe der Zielgruppe aber eben auch der Art des Filmes. Diese soll verlässlicher sein als sonstige Prognosen. In anderen Quellen ist dazu zu lesen, dass aus den prognostizierten Einnahmen Rückschlüsse auf das aufzuwendende Budget machbar sind.

Zu der Veranstaltung gibt es Aufzeichnung, in der Largo.ai detailliert vorgestellt wird und in der auch Anwender zur Sprache kommen und die Möglichkeiten diskutiert werden. Im übrigen, auch passende Darsteller werden durch die Anwendung vorgeschlagen.

Hier klicken, um den Inhalt von YouTube anzuzeigen.
Erfahre mehr in der Datenschutzerklärung von YouTube.

Largo.ai ist übrigens nicht der einzige Anbieter einer AI Lösung zur Unterstützung beim Drehbuch schreiben oder deren Bewertung. Weitere Anbieter sind ScriptBook und StoryFit. In der Seite von StoryFit gibt es auch eine gute, einfache Übersicht zum aktuellen Status von AI in der Filmindustrie und einen Ausblick über eine mögliche Entwicklung, also ggf. tatsächlich von Künstlicher Intelligenz geschriebene Drehbücher: Machine Learning for Movie Scripts.

Und wie oben angedeutet ist auch die komplette Gestaltung von Drehbüchern mittels Künstlicher Intelligenz nicht mehr nur Science Fiction. Der Filmemacher Kevin Macdonald hat sich daran gewagt einen Film mit einem von einem Computer generierten Script zu machen. Dieses Vorhaben war nicht rein experimentell sondern es wurde ein Werbeclip für einen namhaften Autohersteller erstellt. Grundlage war auch hier die Auswertung von Erfolgsparametern: Can a computer write a script? Machine learning goes Hollywood.

Im Bereich Fiction haben Regisseur Oscar Sharp und Ross Goodwin, ein Forscher im Bereich Künstlicher Intelligenz, kooperiert. Dabei wurde ein sogenanntes neurales Netzwerk mit Daten aus Science Fiction Filmen sowie Vorgaben eines SciFi Festivals gespeist, was den Kurzfilm Sunspring als Ergebnis hervorbrachte. In der Kritik des Artikels, der im übrigen bereits aus dem Jahre 2016 ist, heißt es die Dialoge machen nicht wirklich Sinn, aber das ist vielleicht eine Frage der Einlassung: This is what happens when an AI-written screenplay is made into a film. Auch ein Erfahrungsbericht sind die Ergebnisse eine Fans von The Office, der sich selbst ein Programm zur Erstellung einer Fortsetzung geschrieben hat: I miss The Office. So I made an AI write me new scripts.

Abschliessend noch zwei aktuelle Artikel mit weiteren Trendthemen rund um Filme machen, Drehbuch schreiben und AI. How young writers are busting into Hollywood with machine learning-fueled Wattpad beschreibt die Nutzung der Storytelling Plattform Wattpad als Quelle und Daten zur Inspiration. How AI-supported Content Generation is Flipping the Script on Content Marketing beschreibt die Nutzung von AI im weiteren Kontext zu Film und zwar für die Erstellung von Inhalten für das Content Marketing.

FMarket.de Verzeichnis: DrehbuchsoftwareStorytelling KIFMarket News

Die Zukunft von Film und Filmindustrie

Am 16.09. gab es einen hochrangigen Live Video Stream seitens Creative Europe, der Förderinstitution für das bewegte Bild und andere relevante neue Medien. Vorgestellt wurde die Förderstrategie für die Jahre 2021-2027 und deren Ziele. In Europa, so wie sich dieses selbst definiert, geht es vor allem um die Vielfalt, um Diversität im Bereich Film und Medien. Themen sind Gender und Inklusion, inhaltlich und bei der Produktion, aber auch die essentielle Vielfalt der europäischen Kulturen. Besonders relevant in der heutigen Diskussion um Strukturen der Förderung hinsichtlich der Vielfalt im Film und die Kunst das Kino als Spielstätte zu bewahren ist die Idee das Kino kulturelle Zentren zu etablieren. Die hierzu vorgestellte Initiative heißt Connecting Cinemas, welches seinen Ursprung nicht in einer Metropole hat sondern in Kleinmachnow bei Berlin. Ziel der Initiative ist der Austausch zwischen in eher ablegeneren Regionen bespielten Kinos, Austausch an Erfahrungen oder aber auch, ermöglicht durch Digitalisierung, ein gemeinsames Film- oder Kulturerlebnis.

Das Resumee der Aktivitäten der letzten Jahre war positiv und so wird die Förderung der audiovisuellen Kultur in den nächsten Jahren fortgesetzt. Ein Novum, Nachrichtenformate werden ein neuer förderwürdiger Bereich sein. Die Aufzeichnung des gesamten Streams, in dem auch Themen wie der Einfluß von künstlicher Intelligenz auf Film und Filme machen angesprochen werden, ist auf YouTube abrufbar.

Hier klicken, um den Inhalt von YouTube anzuzeigen.
Erfahre mehr in der Datenschutzerklärung von YouTube.

Im Stream vorgestellt wurde auch das Projekt Nostradamus, welches sich der Erforschung des Wandels von Screen Medien in den nächsten Jahren widmet. Auch dieses Projekt kann auch hochrangig beschrieben werden. Initiiert ist dieses vom Göteborg Film Festival und referiert als Gast auch auf anderen großen Film Festivals. In der Webseite gibt es hierzu Aufzeichnungen von Vorträgen, Seminare und Studien.

Schließlich noch eine weitere Initiative, die sich mit der Zukunft des Bewegtbild beschäftigt: Future of Film. Auch diese Initiative ist auf internationalen Festivals unterwegs und veranstaltet Events. Wer den Newsletter abonniert kann sich hier den The Future of Film Report 2020 herunter laden. Außerdem gibt es laufend aktuelle Berichte in Form eines Podcasts.

FMarket.de Verzeichnis: FMarket News

VoD Markt in Deutschland

Der aktuelle Goldmedia Newsletter berichtet über einige interessante Fakten zum Streaming bzw. Video on Demand Markt in Deutschland. Dieser hat mit 2,4 Mrd Euro Ertrag nunmehr dasselbe Volumen erreicht wie der deutsche PAY TV Markt.

Interessant auch die europaweite Größe der Streaming Dienste. In den wichtigsten Märkten (Deutschland, Frankreich, Grossbritannien, Italien und Spanien) nutzen mehr als ein Drittel der Einwohner Premium Streaming Dienste.

Und schliesslich gibt es wissenswertes um den Start der dritten Staffel der deutschen Netflix Produktion „Dark„. Diese hat es laut der VoD Ratings von Goldmedia mit über 10 Millionen Abrufen adhoc an die Spitze der meist gesehenen Serien über alle Plattformen hinweg gebracht: VOD Ratings (s. weiter unten in der Seite).

(Quellen: Alle Bilder sind aus dem GOLDMEDIA Newsletter Juli 2020 verlinkt.)

FMarket.de Verzeichnis: FMarket News

Unterstützung für internationale Filmgeschäfte

Internationale Filmprojekte erfordern einen hohen organisatorischen Aufwand, denn es gelten in unterschiedlichsten Bereichen von Arbeitsrecht bis Drehgenehmigung besondere Bedingungen. Die Internationale Gesellschaft für Bildende Künste (IGBK) und das Internationale Theaterinstitut (ITI) haben hierzu eine Beratungsstelle eingerichtet, die bei derartigen Projekte Unterstützung bietet. Das Projekt ist zudem international ausgerichtet und hat in vielen Ländern Anlaufstellen. Die Anlaufstelle für den deutschen Raum ist Touring Artists, die internationale Seite On the Move.

FMarket.de Verzeichnis: Film Business Networking