Търговско изложение с добавена реалност: Как Panasonic направи това отдалечено с AR

Разширена реалност на помощ. Отмяната на NAB 2022-2023 поради пандемията COVID-19 предизвика вълни в цялата индустрия на излъчването. Провеждано ежегодно в Лас Вегас, NAB Show е най-голямото излъчено търговско изложение с над 90 000 присъстващи от над 160 държави. По-голямата част от 1600 изложители пускат нови продукти и технологии и за много големи компании е въведено до шест месеца планиране. В рамките на много кратък период от време екипът на Panasonic Pro Video трябваше да измисли алтернативи за извеждане на съобщението си, докато работи отдалечено от дома.

Аудио + Видео + ИТ. Нашите редактори са експерти в интегрирането на аудио, видео и ИТ. Получавайте ежедневна информация, новини и професионални мрежи. Абонирайте се за Pro AV днес

В дните, предшестващи анулирането на NAB Show, екипът на Panasonic започна да разглежда възможностите за провеждане на заместващо събитие, включително идеята за изграждане на физическа кабина, където клиентите да могат да посещават онлайн. Екипът на Panasonic Pro Video бе в дискусии и с Пол Лакомб, главен изпълнителен директор на базираната в Нова Англия DisruptAR, който е специализиран в създаването на виртуални продукции. След като стартира кариерата си в General Motors след колежа, Lacombe работи в производствената индустрия в продължение на 30 години, започвайки от Silicon Graphics в края на 80-те, преди да се отправи сам да се занимава с виртуални продукции. DisruptAR е фокусиран върху намаляването на производствените разходи за AR и VR за по-широкия пазар.

  • Инфраструктура за стрийминг на Esports Training Factory
  • Citizen Cope дебютира в Covid-safe концертно пространство
  • Дистанционно обучение: Как да накарате отдалечен оркестър да работи
  • Най-добрите PTZ камери за стрийминг на живо

На 16 март Ню Джърси, където се намира щаб-квартирата на Panasonic в САЩ, официално влезе в режим на блокиране; на 18 март Lacombe насрочи първата демонстрация за екипа на Panasonic. NAB Show 2022-2023 беше отменен на 20 март. “

Трябваше много бързо да решим между двата варианта “, разкрива инженерният мениджър на Panasonic Хари Пател. „Първият вариант изискваше физическо изграждане на кабина, въвеждане на продукта, като същевременно се спазват изискванията за социално дистанциране (по-малко от 10 души наведнъж) и привличане на снимачен екип. Не беше практично и искахме да направим нещо с по-високо качество, въпреки че не можехме да напуснем домовете си. И накрая, тази идея за виртуално събитие беше обсъдена допълнително и беше одобрена до края на март. "

Пол Лакомб от DisruptAR прави виртуална демонстрация от дома си, използвайки протокола Free-D.

Разширена реалност и дистанционно производство

Дистанционното производство не е нова концепция. Режисьорът Франсис Форд Копола режисира и монтира много сцени от филма си от 1982 г. „Един от сърцето“ от трейлър близо до снимачната площадка. Но създаването на продукция дистанционно от дома по време на глобална пандемия е друга история. Това беше възможно само с помощта на модерна технология на камерата, VR игрални машини и приложения, базирани на облак.

За Panasonic първата цел беше да създаде ясно послание с вербална и писмена комуникация, преведена в по-визуален видео формат. В NAB продавачите обикновено общуват с клиентите на етажа, обсъждайки решения на проблемите на всеки човек. Мениджърът на маркетинговата група Джим Уикизър и агенция P.R., Racepoint Global, успяха да излязат с последователно послание и работеха с отделни продуктови мениджъри, за да представят правилните точки за говорене.

Patel и Wickizer също започнаха да работят с Lacombe отдалечено от домашното му студио, за да създадат видео интервюта между продуктови мениджъри и домакин на студио Зоуи Лаиз, които трябваше да обсъдят нови продукти и технологии. „Всички сме имали предизвикателни производствени среди, но за да направим това отдалечено с този график, това определено беше скок на вярата“, обяснява Лакомб. „В червата си знаех, че това може да работи, но никога преди това не е било проблем.“

Лакомб превърна гаража си с размери 20 х 24 инча в студио.

За дистанционно записване всеки продуктов мениджър получи лаптоп, син микрофон Yeti USB и професионална PTZ камера Panasonic AW-HE42 Full-HD. HE42 беше свързан чрез Ethernet и PTZ виртуален USB драйвер и видеото беше внесено в лаптопа с помощта на OBS за запис и TeamViewer за дистанционно управление.

Разширена реалност и MS екипи

За комуникация, споделяне на файлове, гледане на демонстрации и наблюдение на отдалечени производствени изстрели, Panasonic използва Microsoft Teams, платформа за комуникация и сътрудничество. За една нощ платформи като Teams, Zoom, Ring Central и много други позволиха на хората и бизнеса да комуникират с външния свят безопасно от домовете си.

За да види какво Lacombe заснема на снимачната площадка по време на продукцията, Patel използва Teams Screen share, създавайки четворно разделяне, използвайки AV-UHS500 изход за превключвател към конвертор от SDI към USB. USB емисията беше представена в Windows като емисия за камера, която те споделиха чрез екипи.

Докато контролираха записа на старши вицепрезидент, Professional Imaging & Visual Systems Джон Байсли, чрез екипите, Patel и Wickizer успяха да разгледат всекидневната на Baisley на живо и да посочат дали става дума за грешка при четене на редове, промяна на фона или техническа проблем със звука. Чрез Teams, Patel също успя да осигури посока на екрана, като наблюдаваше както зеления екран, така и виртуалния изглед. „Ако Зоуи стоеше точно зад врата и влизаше, наистина бихме могли да видим дали изстрелът е добър или не“, обяснява Пател. „Бих казал на Пол чрез Teams:„ Може да работи по-добре, ако тя се премести само малко по-надясно. “По отношение на дистанционното сътрудничество, не мисля, че би било възможно без използването на Teams.“

Докато старши вицепрезидент, Professional Imaging & Visual Systems Джон Бейсли записваше своята встъпителна реч, екипът успя да види хола на Бейсли на живо и да даде насоки чрез Microsoft Teams.

„Беше доста готино да правя това от разстояние“, добавя Wickizer. „Имахме човек в Бостън, Хари и аз бяхме в домовете си в Ню Джърси и имахме още един човек на Западното крайбрежие. Дъщеря ми веднъж слезе в нашето мазе и попита какво правя. „Правим дистанционно производство“, казах й. Тя наистина не можеше да повярва. "

Free-D и Unreal Engine

За да включите реалистични VR студийни набори в живо производство, заснемането на точни данни за позициониране на камерата е от съществено значение. Преди да представи първата си демонстрация за Panasonic, DisruptAR разработи драйвер Free-D, който ще позволи на AW-UE150 4K Pro PTZ камерата да бъде включена директно в Unreal Engine, което му предостави възможността да извежда информация за Pan / Tilt / Zoom / Iris чрез IP (UDP) директно от камерата до системата за проследяване на Unreal на живо, без да са необходими допълнителни сензори или енкодери.

„Free-D дойде от Би Би Си в началото на 90-те като протокол за проследяване на една от техните системи за проследяване на камерите“, обяснява Лакомб. „Той определя шестте степени на свобода - панорамиране, накланяне, превъртане, X, Y, Z, както и зрително поле, увеличение и фокус. Тези стойности се изпращат до виртуалния механизъм за рендиране и се свързват с виртуална камера, така че вашият фон реагира съответно в реално време при 60 кадъра в секунда. "

Според Lacombe Unreal Engine е бил използван широко в много продукции - от Краля лъв до Мандалориана. „Това е основната технология, използвана в по-голямата част от Холивуд в момента“, казва Лакомб. „Те го използват като прокси в по-голямата си част, но целта е„ финален пиксел “, което каквото виждате в реално време е това, което се появява на екрана.“

Протоколът Free-D определя шестте степени на свобода - панорамиране, накланяне, преобръщане XYZ, както и зрително поле, увеличение и фокус.

„Unreal Engine е игрален механизъм, който се прилага на други пазари, включително архитектура, CAD визуализация и в този случай излъчване и филми“, казва Лакомб. „Използваме го, за да стигнем до най-високото ниво на фотореализъм, като взимаме активи от традиционни инструменти на DCC като Maya, 3D Studio Max, Blender, използвайки графични карти NVIDIA при 60 кадъра в секунда, давайки на зрителите верността на характеристиките на обектива като цъфтеж, ракети и дефокусиране. Качеството, от което се нуждаете, за да достигнете до фотореализъм и рендиране при 60 кадъра в секунда, е по същество това, което прави Unreal Engine. “

Създаване на виртуален свят … в гараж

Студиото на Lacombe се намира в неговия преустроен гараж с размери само 20 x 24, а екипажът му се състои само от един асистент. За зеления екран той използва портативен фон Pro Cyc. Поради ограниченията на пространството, Laiz можеше да извърви само няколко стъпки, така че те бяха ограничени до камерите, което прави AW-UE150 идеалният инструмент за работата. При осветяването на зеления си екран Лакомб използва 14 ”LED панели. „Идеята е, че наистина искате да имате един нюанс на зелено и да се отървете от всички петна, така че вашият ключ да запази тези сенки“, обяснява Лакомб. „Избирате едно зелено, което искате да извадите, а по-тъмните зелени са сенките, насложени във вашия виртуален набор.“

Въпреки че работеше в малките граници на гаража си, той трябваше да запали таланта си с мотивираната светлина на голямо студио. За да запали Laiz, Lacombe използва два LED панела както за своя ключ, така и за пълнене. Той също така използва няколко прожектора отгоре, за да симулира червеникава светлина, идваща от прозорците. „По принцип се опитваме да съобразим тази посока и тази цветна температура, като същевременно не влияем на зеления екран“, разкрива Лакомб. „Това е предизвикателство, защото се опитвате да осветите таланта отделно от зеления екран. Вратите на плевнята на тези светодиоди ни даваха повече място, но ние се борехме да се измъкнем от зеленото и да получим минимален отскок от зеленото върху нейното облекло и кожа. "

На снимачната площадка Lacombe използва две камери UE150 - камера 1 беше отляво, а камера 2 отдясно.

На снимачната площадка Lacombe използва две камери UE150: камера 1 беше от лявата страна и камера 2 отдясно. Когато Зоуи се обърне към продуктовия мениджър, гледан на вертикален монитор, той превключва на камера две на нивото на очите на Laiz, за да получи симулирана гледна точка на продуктов мениджър. Съвпадането на очните линии е предизвикателство, но Лакомб казва, че може да го измами малко, като знае къде е поставената му домашна позиция. „Ако сте имали две камери, едната е на 90 градуса до другата на осем фута разстояние, а другата е на четири фута, можете да измерите с рулетка и да ги поставите във виртуалния свят в същото положение. Те ще се придържат един към друг чрез законите на физиката, така че да изглеждат сякаш са в точно това положение. И тогава можете да изневерите малко в рамките на тези насоки. "

Производствен дизайн с едно щракване на бутон

За дизайна на виртуалния комплект Лакомб използва модифициран дизайн, който е работил с друг клиент през последната година. Дизайнът е направен в Maya и е изнесен в Unreal. Тъй като виртуалният сет се провежда през нощта, те първоначално имаха по-тъмен поглед, но след това решиха да го направят с едно докосване по-ярко. Той добави логото на Panasonic и отне елементи, които не бяха от съществено значение за комплекта Panasonic. Той добави и монитор, който излиза от пода, който Лаиз излиза отзад.

При създаването на собствен виртуален набор, според Lacombe, има повече 3D активи, които са на разположение, тъй като онлайн архитектурната визуализация наистина е стартирала. Можете да отидете в 3D библиотека и да намерите 3D активи или модели и да ги изградите в зависимост от вашите изисквания за персонализиране. „Наистина това е напред-назад с клиента“, обяснява Лакомб. „Добавяте маркетинговите си компоненти, марката, всички цветове и материали. След като разполагате с актива, можете да сваляте стени с бутон, да щраквате или да премествате нещата, да настройвате мониторите в реално време. Във „физическия свят“ това би отнело значително време и пари. След като изградите нещо, лесно можете да го настроите и да се върнете към него. "

Водещата Зоуи Лаиз интервюира старши продуктов мениджър Стив Купърман за новини и създаване на съдържание.

Спазване на безопасно разстояние

Виртуалното производство се е развило през десетилетията чрез опит и усъвършенстване. Въпреки че ролите на физическата продукция и виртуалната продукция са по същество еднакви, най-голямата разлика е, че всички работят в едно и също физическо пространство. След като бъде премахната наредбата за престой у дома, все още се определя дали истинското отдалечено производство ще стане норма.

„Има причина някой да гледа ключа, някой сценария, някой ъглите на камерата и гардероба“, казва Лакомб. Всички тези роли все още трябва да бъдат изпълнени и ние просто се опитваме да намерим най-добрия начин да го направим дистанционно. Засега се получи удивително добре и всички сме изненадани от това как това се събра толкова бързо и се разви по естествен начин. Въпреки че трябваше да носим повече шапки повече, отколкото бихме искали за това производство, следващата логична стъпка е да го разпространим още повече, за да бъдат привлечени други, които да усъвършенстват и подобрят процеса. Но за първи път извън портата съм много доволен от резултатите и съм нетърпелив да го направя на следващата стъпка. "

За да гледате виртуалното събитие на Panasonic, Бъдещето на видеопродукцията , щракнете тук.

За повече информация относно DisruptAR посетете www.disruptar.com.

Интересни статии...