Michał Pabiś-Orzeszyna, filmoznawca z Uniwersytetu Łódzkiego, zajął się obserwacją osób testujących możliwości artystyczne, jakie daje technologia realizacji utworów sferycznych. Badania, które prowadzi od 2019 roku w ramach Laboratorium Narracji Wizualnych w Szkole Filmowej w Łodzi, można byłoby określić mianem etnografii eksperymentów twórczych VR. Przygląda się działaniom przy projektach realizowanych w Pracowni VR/AR wspomnianego laboratorium, kierowanej przez Jacka Nagłowskiego i Polę Borkiewicz. Badania objęły również doświadczenie VR „Szepty” Jacka Nagłowskiego, które nie było produkowane przez Szkołę Filmową.

– Interesuje mnie przede wszystkim proces krzepnięcia nawyków i konwencji twórczych związany z technologią VR – mówi Michał Pabiś-Orzeszyna. – Punktem odniesienia jest tutaj świat filmu, przede wszystkim z racji tego, że laboratorium działa w Szkole Filmowej. VR niesie wiele wyzwań dla autorów przyzwyczajonych do pracy na planie zdjęciowym filmu 2D. Bez nowych nawyków i konwencji nie ma innowacji, rozwoju, udoskonalania technologii.

Dlaczego właśnie etnograficzna obserwacja? Jak tłumaczy Pabiś-Orzeszyna, etnografia czy etnologia zajmują się obserwowaniem ludzi w sytuacjach codziennych lub niecodziennych i wyciąganiem wniosków na temat ich przyzwyczajeń. Tutaj filmowcy traktowani są jak plemię, które ma swoje zwyczaje, rytuały, porozumiewa się specyficznym językiem, dialektem, ma swoje wartości. Można by to nazwać za socjologiem sztuki z UŁ Tomaszem Ferencem socjologią grup artystycznych. W wypadku Laboratorium Narracji Wizualnych to określenie byłoby bardzo trafne.

Ekipa w krzakach

Utwory VR można podzielić na te realizowane za pomocą kamer sferycznych rejestrujących obraz dookólny poprzez kilka obiektywów (kamera Insta360 TITAN 11K ma osiem obiektywów z kątem widzenia 200°) oraz utwory wytwarzane cyfrowo (środowisko dookólne jest realizowane często za pomocą silników gier komputerowych). To są dwa odrębne światy. Z jednej strony mamy procesy związane z organizacją rzeczywistego planu zdjęciowego, z drugiej – wszystko dzieje się w komputerze.

Organizacja planu w kontekście VR znacznie odbiega od przyzwyczajeń filmowych. Przede wszystkim kamera rejestruje cały obraz dookoła siebie, a to znaczy, że trzeba gdzieś ukryć ekipę zdjęciową, która w wypadku filmu 2D ulokowana jest po prostu za kamerą, tylko aktorzy stoją przed nią. Dlatego w VR ekipa twórców musi się oddalić, schować za budynkiem albo za krzakami, ale wtedy reżyser i operator mają ograniczoną kontrolę tego, co się dzieje przed obiektywami. Oczywiście, podobnie jak na „normalnym” planie, tu również dysponujemy monitorem podglądowym. Jednak na płaskim ekranie obraz dookólny widzimy jako coś, co nosi nazwę obrazu ekwirektangularnego (odwzorowanie walcowe równoodległościowe), a jest sferą przeniesioną na płaszczyznę, jak porozcinany globus na ilustracji w atlasie geograficznym. Obserwacja takiego obrazu wymaga wytrenowanego oka, w mózgu musi się dokonać odpowiednia translacja, rekonstrukcja sfery, dzięki czemu można ocenić, na ile ruch, choreografia postaci na planie jest zgodna z założeniami. Jak reżyser może z tego dziwnego obrazu wywnioskować, że aktor dobrze zagrał, że jego mimika była wystarczająco wyrazista? Z tym wiąże się inny problem: w VR widzowie inaczej doświadczają ekspresji mimicznej i gestykulacji niż w filmie 2D. Trudno to wyważyć – ekspresja musi być czytelna, ale nie może być przesadna.

Kłopoty się tu nie kończą. Podczas montażu trzeba zdecydować, czy pracujemy w wysokiej rozdzielczości 4K, 8K, 11K, bo wtedy obraz jest czytelny, wyraźny – dobrze widać mimikę aktorów, ale za to pliki są tak ciężkie, że ich obróbka bardzo długo trwa. To jest gigantyczna ilość danych. W niskiej rozdzielczości dobrze się pracuje, ale czasem przy konwersji na wyższą rozdzielczość po zakończeniu montażu okazuje się, że twarz aktora wygląda zupełnie inaczej. Dodatkowo kamery do rejestracji obrazu dookólnego wciąż jeszcze są technologicznie słabe – mają problem z odwzorowaniem czerni i przejść tonalnych. – Pracujący przy „Szeptach” operator Patryk Jordanowicz był zaniepokojony tą jakością, zwłaszcza że przyzwyczajony jest do bardzo dobrych kamer na planach zdjęciowych 2D, które potrafią uchwycić zniuansowane przejścia tonalne między cieniami a światłami – mówi Pabiś-Orzeszyna, dodając, że w badaniach nie skupiał się na kwestiach estetycznych, takich jak środki filmowe kierowania uwagą odbiorcy (kadrowanie, ruch kamery, montaż). To rodzi oddzielne wyzwania.

Codzienność stanowią również trudności realizacyjne podczas pracy na planie zdjęciowym VR. Na przykład bywa, że obraz nie zapisuje się na karcie pamięci w kamerze i nie wiadomo dlaczego. Niektóre akumulatory rozłączają się poniżej 60 proc. naładowania. Monitor podglądowy traci łączność. Jak sobie radzić z tą niestabilnością technologiczną, skoro nie istnieją jeszcze protokoły rozwiązywania problemów z VR. Jeśli w filmie 2D na planie zdjęciowym nie działa np. kamera Arri, można zadzwonić do firmy Arri i dowiedzieć się dlaczego. Jeśli coś nie działa na planie VR, przyczyn szuka się na forach internetowych. Brakuje wsparcia technologicznego od firm produkujących sprzęt. Protokołów radzenia sobie z sytuacjami kryzysowymi nie ma także dlatego, że ta technologia się za szybko zmienia. Wciąż pojawia się nowy sprzęt, więc i problemy szybko się zmieniają.

Kamera czy komputer?

Czy wobec tego tworzenie doświadczeń VR za pomocą kamer będzie kontynuowane? Według Pabisia-Orzeszyny jest to na tyle niedoskonałe i niestabilne, że łatwiej będzie skupić się na tworzeniu środowiska całkowicie cyfrowego. Dziś możliwości związane z cyfrowo generowanymi światami w kontekście VR są większe. Łatwiej poprawiać błędy. Filmoznawca przewiduje, że rejestracja obrazu będzie miała większą wartość przy tworzeniu filmów dokumentalnych czy rejestracji wydarzeń.

Utwory VR generowane cyfrowo doświadczane są najczęściej w sześciu stopniach swobody (w odróżnieniu od trzech stopni swobody dominujących w cinematic VR), co oznacza, że widz może się przemieszczać w świecie wykreowanym w utworze. Do tego trzeba wytworzyć albo zarejestrować wszystkie pojawiające się obiekty w sposób trójwymiarowy, aby potem przetwarzać je w trakcie nawigacji po środowisku. Najłatwiej to robić za pomocą silników gier komputerowych (Unity i Unreal Engine) i grafiki 3D. Dzięki temu tworzymy cyfrowy, trójwymiarowy świat, trochę tak jak w wypadku gry komputerowej. I z tym wiąże się podstawowy problem: jak uniknąć wrażenia „growości”, czyli uczestnictwa w grze. Może je wywołać nie tylko pewna sztuczność tego świata  – choć przecież sztuka w ogóle jest umowna (sztuczna). Widz może jednak w takim świecie przyjąć konwencje związane z funkcjonowaniem w grze komputerowej – oczekiwać jakichś zadań do wykonania, zastanawiać się, gdzie jest pistolet, gdzie ma się spodziewać potwora, który go zaatakuje. Pytanie, przed którym staje twórca niezainteresowany „growością”, to jak tego uniknąć, korzystając z tych samych narzędzi, co gra.

Michał Pabiś-Orzeszyna zwraca również uwagę na problemy natury bardziej ogólnej, które mogą stanowić blokadę dla rozwoju cyfrowo generowanych światów. To kwestie infrastruktury, czyli np. kryzys na rynku procesorów graficznych i innych komponentów, ale również wyczerpanie złóż „krwawych minerałów” potrzebnych do ich produkcji. Mimo wszystko z punktu widzenia eksperymentów twórczych cyfrowe światy wydają się bardziej kuszące, bo dają więcej możliwości.

W doświadczeniach VR realizowanych za pomocą kamery oczekiwania związane z realizmem fotograficznym są bardzo duże. Widzów często irytuje niedoskonałość obrazu – rozpikselowanie, szumy w czerniach, nieostrości – w porównaniu z telewizją czy kinem. W cyfrowych światach problemu z ostrością nie ma, ale powstaje pytanie, czy oczekiwanie realizmu nadal jest aktualne, przecież widz jest otoczony jakimś światem (choć wygenerowanym w komputerze). Jeśli jednak pozostaje aktualne, umowność świata cyfrowego może być niepożądana. Tymczasem twórcy często sprzeciwiają się traktowaniu VR jako medium, które ma dążyć do hiperrealizmu. Dla nich zamierzona sztuczność tych reprezentacji jest wartością. Pełne zanurzenie widza podczas oglądania nie jest wtedy następstwem hiperrealistycznego reprezentowania rzeczywistości na poziomie wizualnym, ale wynika na przykład z tego, że narracja jest prowadzona w sposób wciągający. – Twórcy działający w Labie, z którymi rozmawiałem, rzadko kiedy dążą do tego, żeby widzowie zapomnieli, że posiadają ciało, które ma nałożone na głowę gogle – podsumowuje Pabiś-Orzeszyna.

Budowanie doświadczeń wykorzystujących cyfrowe światy technologicznie może wesprzeć sztuczna inteligencja. Rozwój uczenia maszynowego postępuje wykładniczo. Jacek Nagłowski w ramach Laboratorium realizuje projekt związany z ideą, aby traktować sztuczną inteligencję jako formę życia i spróbować udokumentować rozwój relacji między nią a człowiekiem.

Ogólnie sztuczna inteligencja służy do wykrywania wzorów i rozwijania ich. Spore wrażenie robi wymiana zdań między Slavojem Žižkiem i Wernerem Herzogiem, stworzona przez sztuczną inteligencję, łącznie z wygenerowaniem ich głosów. Brzmi to tak, jakby oni rzeczywiście ze sobą rozmawiali. Co się stało? Sztuczna inteligencja jest w stanie złamać kod Žižka i Herzoga i wytwarzać nowe treści, czyli działa trochę na zasadzie pastiszu. To jest technologia wydobywcza, kopalniana – wykorzystuje istniejące zasoby. Pewnie mogłaby ze wszystkich zdjęć danego miasta w internecie stworzyć cyfrowy model tego miasta w 3D. Są już wirtualne gwiazdy muzyki, które grają koncerty gromadzące liczną publiczność, powstaje muzyka Bacha tworzona przez maszynę. Na ile sztuczna inteligencja w filmie będzie w stanie zastąpić realnie żyjących ludzi (aktorów)? – Przecież tak zwane prawdziwe biografie to wartość ekonomiczna, z której od zawsze korzystał przemysł rozrywkowy. Jego częścią jest zainteresowanie widzów perypetiami choćby Angeliny Jolie i Brada Pitta. Najświeższy przykład to książka księcia Harry’ego. Czy podobny zysk mogą wypracować wirtualne postacie? Uwagę ludzi przyciąga książka, która dotyczy realnych osób i prawdziwych wydarzeń (wierzymy, że naprawdę książę William przewrócił Harry’ego na miskę psa). To dotyczy wszystkich gwiazd: filmu, muzyki, sportu, mody.

Konwencja oszczędza energię

Jaka konkluzja płynie z badań Michała Pabisia-Orzeszyny? Globalny przemysł technologii immersyjnych potrzebuje innowacji bardziej niż artyści. Oni w swojej twórczości wprawdzie testują różne możliwości określonych rozwiązań technologicznych, ale to, co jest istotne z punktu widzenia artystów, to nie tylko innowacyjność, ale także, paradoksalnie, dobrze rozumiana konwencjonalizacja i zrównoważony rozwój tych rozwiązań. – Bez konwencji estetycznych nie można komunikować się z widzami, a bez konwencji współpracy nie można skutecznie realizować swoich zamierzeń. Te konwencje mogą się wytworzyć w stabilnym środowisku transmisji wiedzy. Takim stabilnym środowiskiem mogą być uczelnie artystyczne. Szkoła Filmowa w Łodzi jest dobrym miejscem, żeby stabilizować ów innowacyjny imperatyw cyfrowych gigantów. W socjologii sztuki jest silne przekonanie, że to konwencje umożliwiają sensowną innowację. Pisał o tym Howard S. Becker w książce „Art Worlds”. Konwencje pozwalają oszczędzić energię, którą trzeba byłoby zużyć na radzenie sobie z kłopotami, i wykorzystać ją do tego, aby przekraczać sytuację komunikacyjną w sposób twórczy, czyli budować oryginalne wypowiedzi artystyczne.

Co będą doceniać instytucje, które będą finansowały dzieła sztuki immersyjnej – jakość sprzętu, budżet czy sprawność i pomysłowość artysty? Okazuje się, że – jak zwraca uwagę Pabiś-Orzeszyna – historia się powtarza. Brytyjski historyk sztuki Michael Baxandall twierdził, że w początkowej fazie rozwoju malarstwa renesansowego wartość dzieła sztuki była związana z wartością materiałów, które zostały użyte do wytworzenia danego dzieła (jakiej jakości ultramarynę wykorzystano, ile złota). Dopiero z czasem zaczęto doceniać kunszt artystyczny. Na przykład kupcy weneccy stali się mecenasami malarstwa renesansowego, bo jako wytrenowani w matematyce byli w stanie docenić relacje matematyczne w postaci geometrii obecnej w kompozycji obrazu. Czy zatem ważny jest sprzęt i materialność, czy wartość kompozycyjno-perswazyjna dzieła? – Żeby to funkcjonowało w sposób zrównoważony, istotne jest to, co pomiędzy – przekonuje Michał Pabiś-Orzeszyna. – Powinny się wytworzyć konwencje, żebyśmy widzieli, że coś zostało dobrze zrealizowane z punktu widzenia dramaturgicznego i dlatego jest ciekawe. Na razie budżet przeważa, sprzęt i „wartość produkcyjna” decydują o publicznej ocenie.

Bogdan Sobieszek

Fot. Szkoła Filmowa w Łodzi