Das Rennen um die generative KI-Technologie ist noch in vollem Gange. In den letzten Monaten scheinen sowohl Start-ups als auch etablierte Akteure ihre Aufmerksamkeit auf Videogeneratoren gerichtet zu haben, da die Ankündigungen in diesem Bereich weiter eintrudeln. Gestern ist auch der Hersteller von ChatGPT offiziell dem Club beigetreten . Die Nachricht über den OpenAI-Start von Sora könnte jedoch bahnbrechend sein, da sein Deep-Learning-Modell einen beispiellosen Grad an Realismus aufweist. Das Tool ist noch nicht öffentlich verfügbar, aber die veröffentlichten Fälle haben Entwickler auf der ganzen Welt schockiert. Werfen wir einen Blick darauf, was Sora verspricht!
Nach dem langen Wettbewerb bei Text-zu-Bild-Generatoren ist die Technologie nun endlich so weit fortgeschritten, dass sie Bewegungen simulieren und kurze Videoclips ausschließlich aus schriftlichen Befehlen (den sogenannten Prompts) erstellen kann. Jetzt dreht sich also alles um Videogeneratoren. Allein in diesem Jahr ist Sora die dritte ähnliche Markteinführung der führenden KI-Entwickler, nach den Neuigkeiten von Midjourney und der Einführung von Google Lumiere .
Allerdings haben weder diese noch die, die schon lange vorher auf dem Markt waren (z. B. Runway), so konsistente hyperrealistische Ergebnisse mit der Qualität gezeigt, die Sora vorweist. Vertrauen Sie mir, ich habe sie getestet und kann das bestätigen! Während wir zuvor erklärt haben, dass die Technologie noch nicht so weit ist, dass sie beispielsweise Archivmaterial ersetzen könnte, kommen uns jetzt allmählich Zweifel. Und wir sind nicht die Einzigen.
OpenAI bringt Sora auf den Markt – wird es der nächste Sprung im Bereich der generativen KI?
Was ist also das Besondere an Sora? Erstens kann dieses Text-zu-Video-Modell im Gegensatz zu seinen Konkurrenten angeblich Videos von bis zu 60 Sekunden erstellen. Wie in der Ankündigung erklärt und angezeigt, enthalten die generierten Clips „hochdetaillierte Szenen, komplexe Kamerabewegungen und mehrere Charaktere mit lebendigen Emotionen“. Das Modell soll nicht nur verstehen, wonach ein Benutzer in der Eingabeaufforderung fragt, sondern auch, wie Dinge in der physischen Welt existieren und funktionieren. Schauen wir uns eines der Beispiele an:
Hier hat Sora nicht nur die Drohnenaufnahme der Wellen am Strand von Big Sur gezeigt, sondern auch die Physik der Wellen, die über Felsen brechen, perfekt dargestellt. Hat ein KI-Videogenerator so etwas schon einmal geschafft? Wenn ja, habe ich es noch nie erlebt. Würden Sie auf den ersten Blick überhaupt erkennen, dass es sich um ein künstlich generiertes Video handelt? Ich nicht. Gruselig? Aber klar.
Wozu Open AIs Sora fähig sein wird
Eine weitere Sache, die OpenAIs neugeborenes Kind drastisch von seinen Vorgängern unterscheidet, ist seine Fähigkeit, verschiedene Aufnahmen in einem Video zu kombinieren. Im folgenden Beispiel bat der Entwickler das Deep-Learning-Modell, sich einen Filmtrailer vorzustellen, der die Abenteuer eines 30-jährigen Raumfahrers zeigt, der einen roten Motorradhelm aus Wollstrick trägt. Hier ist das Ergebnis:
Natürlich ist es alles andere als perfekt, aber es ist auch das erste Mal, dass wir ein Modell gesehen haben, das in der Lage ist, verschiedene Aufnahmen in einem Clip und Setup zu sequenzieren. Beachten Sie auch die extreme Liebe zum Detail, wie zum Beispiel einen roten Motorradhelm aus Wollstrick, den man nicht jeden Tag auf der Straße sieht.
Darüber hinaus kann Sora offenbar lange Eingabeaufforderungen interpretieren, da einige veröffentlichte Beispiele sehr detaillierte Textanweisungen mit über 100 Wörtern enthalten. Dank des umfangreichen Dall-E- Trainings (und Sora übernimmt mehrere Techniken daraus) liegt auch die Entscheidung über den Stil bei Ihnen, wobei 2D- und 3D-animierte Clips Folgendes zeigen:
Weitere Beispielvideos finden Sie auf der offiziellen Sora-Webseite und auf dem X-Konto (ehemals Twitter) von OpenAI .
Einschränkungen des neuen KI-Videogenerators
Fast alle veröffentlichten Videos von Sora wirken bemerkenswert realistisch – vor allem, wenn man andere Videogeneratoren ausprobiert hat und deren Grenzen kennt. Eines der gruseligsten Ergebnisse war für mich beispielsweise das folgende mit Tokio-Vibes. Warum? Weil es Menschen in Bewegung zeigt, die ziemlich glaubwürdig sind, realistische Reflexionen auf dem nassen Boden und Lichter, genau wie in einer Kinoaufnahme:
Bei genauerem Hinsehen fallen jedoch einige Fehler und seltsame Artefakte auf, die auf die Handschrift der KI hinweisen. Sie tauchen auch in anderen Beispielen auf – bei seltsam schwimmenden Meerestieren oder den Gesichtsausdrücken von Menschen in einigen Nahaufnahmen.
Abgesehen davon geben die Entwickler von OpenAI zu, dass das aktuelle Modell von Sora immer noch mit der Physik komplexer Szenen und dem Verständnis von Ursache und Wirkung zu kämpfen hat. So erwähnen sie im Release-Post beispielsweise, dass „eine Person vielleicht in einen Keks beißt, der Keks danach aber möglicherweise keinen Bissabdruck aufweist“. Ein weiteres Beispiel wäre, dass Sora links und rechts verwechselt:
Die Reaktion der Leute auf den Sora-Start von OpenAI
Die Ankündigung löste extreme Reaktionen aus – von Bewunderung und Erstaunen bis hin zu purer Feindseligkeit. Viele Menschen drückten in den sozialen Medien ihre Besorgnis darüber aus, dass diese Entwicklung zu Missbrauch führen könnte (wobei damit das Vortäuschen der Realität sowohl zum Spaß als auch für ernste Angelegenheiten, wie die Gefährdung kommender Wahlen, gemeint ist) und zum Verlust von Arbeitsplätzen in der Kreativbranche.
Ein Kommentator auf OpenAIs Twitter erwähnte außerdem: „Die gesamte Stock Footage-Branche ist mit diesem einen Tweet gestorben“, was unserer Meinung nach tatsächlich der Fall sein könnte.
Noch keine öffentliche Veröffentlichung für Sora
Ehrlich gesagt ist es schwierig, irgendwelche Schlüsse zu ziehen, solange sich das KI-Modell noch in der Betaphase befindet. Alles, was wir haben, sind Beispielvideos, die vom OpenAI-Team sorgfältig ausgewählt wurden. Warten wir also zunächst auf die öffentliche Veröffentlichung.
Die Entwickler haben nicht erwähnt, wann Sora allgemein verfügbar sein wird, aber sie haben angemerkt, dass sie zunächst mehrere wichtige Sicherheitsmaßnahmen ergreifen werden. Dazu gehört die Zusammenarbeit mit Fachexperten in Bereichen wie „Fehlinformationen, hasserfüllte Inhalte und Voreingenommenheit“, um zu verhindern, dass Menschen die neue Technologie missbrauchen. In der Ankündigung wurde außerdem versprochen, einigen bildenden Künstlern, Designern und Filmemachern Zugang zu gewähren. Ziel ist es, Feedback zu erhalten, wie das Modell weiterentwickelt werden kann, damit es für Kreativprofis am hilfreichsten wird. Klingt gut, aber wie werden sie mit all den Gegenreaktionen, dem Zuordnungsproblem und den weit verbreiteten Bedenken der Branche umgehen? Die Zeit wird es zeigen DaVinci Resolve.
Was denken Sie über die Einführung von Sora durch OpenAI? Freut es Sie oder macht es Ihnen Sorgen? Können Sie sich ethische und nachhaltige Möglichkeiten vorstellen, diese KI in Ihren Arbeitsablauf zu integrieren? Lassen Sie uns in den Kommentaren unten eine höfliche Diskussion beginnen!
Quelle des Beitragsbildes: Standbilder aus Videos, generiert von OpenAIs Sora
