Mit den neuen Surround 360-Videokameras von Facebook können Sie sich in Live-Action-Szenen bewegen
Die Freiheit von VR mit der Treue des wirklichen Lebens
Facebook hat heute die zweite Generation seines Surround 360-Videokamera-Designs angekündigt, und dieses Mal ist es dem Unternehmen ernst damit, potenzielle Kunden beim Kauf als tatsächliches Produkt zu unterstützen. Der Surround 360, den Facebook letztes Jahr als Open-Source-Spezifikationsleitfaden für andere vorgestellt hat, wurde sowohl als größeres, leistungsfähigeres Gerät als auch als kleinere, tragbarere Version aufgerüstet.
Facebook nennt das große Modell x24, weil es jetzt ein 24-Kamera-Array hat, das in einer Kugel angeordnet ist, anstatt der 17 Kameras, die der ursprüngliche Surround 360 in Form einer fliegenden Untertasse forderte. Das kleine Modell ist das x6, mit nur sechs Kameras, aber in einem viel handlicheren Paket. Anstatt wie im letzten Jahr nur die Design-Schemas für diese Kameras online zu veröffentlichen, arbeitet Facebook nun mit einer ausgewählten Gruppe von Hardware-Partnern zusammen, um später in diesem Jahr fertige Produkte herzustellen und zu verkaufen. Es ist unklar, ob diese Produkte in irgendeiner Weise mit Facebook versehen werden, aber das Unternehmen betont immer noch, dass es nicht plant, die Kameras direkt zu verkaufen.
Patriot Act mit Hasan MinhajFacebook lässt Hardwarepartner seine Kamera herstellen und verkaufen
Was die Upgrades angeht, sind x24 und x6 nicht einfach nur verfeinerte Versionen der Hardware des letzten Jahres. Sie erfassen jetzt auch Szenen in 8K-Qualität mit sogenannten sechs Freiheitsgraden (6DOF), was bedeutet, dass sich Ihr Körper vorwärts, rückwärts, oben, unten, links und rechts bewegen kann, solange Sie ein VR-Headset mit Positionsverfolgung wie . tragen der Oculus-Rift. Mit anderen Worten, dies ist die gleiche Art von Bewegungsfreiheit, die hochwertige VR ermöglicht, diesmal jedoch mit Live-Action-Aufnahmen. Dies geschieht mit einer Mischung aus Hardware und Software, die ein besseres Verständnis der Tiefe von Objekten in einer Szene erfasst und Perspektiven repliziert, die die Kamera ursprünglich nie aufgenommen hat.
Wir erfassen und dann können wir die Tiefe abschätzen, sagt Brian Cabral, ein Engineering Director bei Facebook, der die Surround 360-Entwicklung leitet. Wir berechnen tatsächlich für jedes Pixel, wo es sich in der Szene befindet. Sobald das Pixel einen Standort hat, können die Zuschauer es aus jeder Perspektive betrachten, als ob es Teil einer realen Szene wäre. Nach der Tiefenschätzung, die Facebook mit einer eigenen Software in der Cloud abwickelt, kann das Video dann mit beliebig vielen Standard-Post-Processing-Toolsets von Adobe, Foundry und anderen bearbeitet werden.
Die Freiheit von VR mit der Treue des wirklichen Lebens
Diese 6DOF-Technologie gab es in der Vergangenheit und war normalerweise für extrem hochwertige Hollywood-Spezialeffekte und Bearbeitungstools reserviert, doch andere Unternehmen im Kamera- und VR-Bereich arbeiten daran, die Kosten zu senken und Inhalte zugänglicher zu machen. Der Kamerahersteller Lytro ist vielleicht der bekannteste, mit einem eigenen Rig, das die Lichtfeldtechnologie verwendet, um die Geometrie des Lichts in einer Live-Action-360-Grad-Szene einzufangen. Es ist ein anderer Ansatz als der von Facebook, das mehr auf Computer Vision setzt, aber einen ähnlichen Effekt erzielt.
App-Store-Spiele
Facebook ist jedoch der Meinung, dass seine Hard- und Software zusammenhängend und benutzerfreundlicher ist als bestehende Technologien. In einer Demoaufnahme mit einem eigenen Surround 360 x24-Prototyp konnte ich die Unterschiede zwischen einem statischen 360-Grad-Video und einem mit der neuen Bewegungsfreiheit beobachten. Der Unterschied ist unmittelbar. In dem statischen Video, das in der California Academy of Sciences aufgenommen wurde, konnte ich mich nur umsehen, als wäre meine Umgebung ein statisches Gemälde, das sich zu einer Kugel um mich herum erstreckt.
In der aktualisierten Version konnte ich jedoch meine Schultern bewegen, mich in die Nähe von Objekten lehnen und sogar in einer kleinen kugelförmigen Zone herumlaufen. Der Effekt, den dies auf den Betrachter hat, ist ein erheblicher Sprung in der Immersion, der einem das Gefühl gibt, einen echten Moment live zu sehen, anstatt einfach in einer geloopten Aufnahme zu existieren. Es ist effektiv die Freiheit von VR mit der Treue des wirklichen Lebens.
Laut Facebook wird dies große Auswirkungen auf das 360-Grad-Format haben und Entwicklern die Möglichkeit geben, ansprechendere Videos zu erstellen. Dank der Licht- und Tiefendaten können Sie sogar Live-Action-Aufnahmen mit CGI-Bildern bearbeiten, z. B. Schmetterlinge zu einer Außenszene hinzufügen oder sogar den Hintergrund von bewölkt zu Sonne oder von Tag zu Nacht ändern.
Außerdem können die Inhalte einmal erfasst und für verschiedene Plattformen neu formatiert werden, sagt Cabral. So können Sie ein für das Rift-Headset entwickeltes Video aufnehmen und es auf der Gear VR oder sogar auf einem Smartphone-Bildschirm laufen lassen, indem Sie über die mobile Facebook-App darauf zugreifen. Mit jedem Schritt nach unten verlieren Sie Funktionen wie Head- und Body-Tracking und die sechs Freiheitsgrade. Die Wiedergabetreue des komprimierten Bildes bleibt jedoch von hoher Qualität, da es nativ in 8K aufgenommen wurde.
Facebook hofft, dass 360-Grad-Videos so immersiv werden wie VRWie die Originalkamera wurden beide neuen Surround 360-Modelle im Hardware-Labor von Facebook, Area 404, unter der Aufsicht von Cabral entwickelt, der über umfassende Kenntnisse in Computergrafik und Bildgebung verfügt. Facebook hat Cabral von Nvidia für seine Ingenieurs- und Computervisions-Koteletts engagiert, und er leitet die Hardware-Abteilung in der Kameraabteilung des Unternehmens, um das schwierige Henne-und-Ei-Problem mit 360-Grad-Videos zu lösen. Facebook hat die Plattform, um diese Art von Videos an Milliarden von Benutzern bereitzustellen – und das VR-Headset-Unternehmen, um diesen Benutzern teure Hardware zu verkaufen. Doch viele dieser Inhalte existieren noch nicht. YouTuber möchten auch nicht die Zeit, das Geld und die Mühe in die Erstellung investieren, wenn sie der Meinung sind, dass Benutzer es nie erleben werden.
Genau aus diesem Grund hat Facebook Ressourcen in die Entwicklung seiner 360-Grad-Videokameras investiert, um Entwicklern zu zeigen, wozu die Technologie fähig ist, und um den immersiven Videoboom anzukurbeln, den Facebook für die Zukunft hält. Was wir mit VR im Allgemeinen versuchen, ist, die Menschen auf die Immersionskurve zu bringen, sagt Mike Schroepfer, Chief Technology Officer von Facebook. Die Endvision ist so nah wie möglich an dem Gefühl, dass Sie tatsächlich da sind. Der Goldstandard ist das echte Leben.
Ein Teil dieser Bemühungen besteht darin, VR auf halbem Weg mit Live-Action-Aufnahmen von Momenten aus dem wirklichen Leben zu begegnen, die im Laufe der Zeit die Vorteile virtueller Welten einbeziehen. Wir wollten nicht im Kamerageschäft tätig sein. Wir wollten, dass kreative Leute diese Inhalte machen können, sagt Schroepfer. Facebook hofft, die Kameras noch in diesem Jahr auf den Markt zu bringen, aber die Preise werden nicht bekannt gegeben. (Der ursprüngliche Surround 360 wurde mit den genauen Schemata des Unternehmens auf etwa 30.000 US-Dollar geschätzt.)
schlägt x Rezension
Für den 360-Grad-Videomarkt sagt Cabral jedoch, dass eine Kamera dieser Qualität – plus eine billigere, tragbare Version, die Sie in engeren Innenräumen leichter verwenden könnten – dazu beitragen wird, das Medium voranzutreiben. Letztlich wolle Facebook eine kreative Norm etablieren, sagt Cabral. Es gibt eine ganz neue Sprache, die Sie aufnehmen müssen. Wir können davon ausgehen, dass wir in 2D fotografieren können. Wir möchten, dass High-End-Creator dies nutzen, um uns anderen etwas beizubringen.
