Zimą 1896 r. na ulicach Lyonu leżał śnieg. Bracia Lumière wyszli ze swojej pracowni z ważącą kilka kilogramów maszyną, żeby nakręcić kolejną scenkę uliczną. Mieli za sobą pierwszy pokaz filmu nakręconego za pomocą opatentowanego przez nich kinematografu, czyli ulepszonego kineskopu Edisona. Rok wcześniej ponad trzydzieści osób obejrzało w Paryżu pierwszy nakręcony za jego pomocą film: wyjście robotników z fabryki. Teraz mieli zamiar pokazać trochę wyreżyserowanej zabawy. Namówili sąsiadów na bitwę na śnieżki, ustawili swój kinematograf i zaczęli filmować. Być może dodawali aktorom animuszu, pokrzykując zza kamery. Ciekawe, czy upadek rowerzysty, który przejeżdżał przez ulicę, był przypadkowy.
Miesiąc temu, kiedy spadł pierwszy śnieg, ten pięćdziesięciosekundowy film braci Lumière opanował internet. Nie byłoby w tym nic dziwnego, gdyby nie to, że jego forma została uwspółcześniona do tego stopnia, że widz poczuł się, jakby odbył podróż w czasie. Zamiast czarno-białej scenki nakręconej w różnym tempie z uciekającymi klatkami zobaczyliśmy barwny obraz w rozdzielczości 4K. A wszystko to dzięki sztucznej inteligencji.
Historyczna dokładność
Koloryzowanie starych zdjęć i filmów to nic nowego. Oczywiście dawne próby podejmowane w Hollywood w latach 80. wymagały wiele pracy i ich efekt dzisiaj uznalibyśmy za mierny. Wszystko zmieniło się wraz z nową epoką informatyczną – teraz większość pracy wykonywały komputery. Szczególnie interesujące efekty przynosiło to w przypadku fotografii historycznej i filmów dokumentalnych ze starych kronik. Pierwsze próby były zachwycające. Świat sprzed wieku stawał się bliższy, bo widziany w kolorach. Czarno-białe zdjęcia, choć mają swój urok, dają wrażenie oddalenia, nierealności, artystycznej kreacji. Kolor zbliża, sprawia, że wzmaga się poczucie przynależności do tego świata, widz staje się jednym z uczestników, a postaci nabierają życia.
Pierwszym w całości koloryzowanym polskim filmem archiwalnym był 80-minutowy obraz wyprodukowany przez Muzeum Powstania Warszawskiego. Film zatytułowany po prostu Powstanie Warszawskie został zmontowany w całości z powstańczych kronik. Ponad 6sześć godzin dokumentalnego materiału zostało ręcznie wyczyszczonych z wszelkich zabrudzeń, ustabilizowano obraz, usunięto pulsowanie. Potem nastąpił proces koloryzacji, który poprzedzała praca konsultantów. Specjaliści od uzbrojenia, varsavianiści, historycy czuwali nad wiarygodnością użytych barw. Dodatkowo film został udźwiękowiony, zatrudniono nawet specjalistów od czytania z ruchu warg.
Kilka lat potem podobną pracę wykonał zespół Petera Jacksona, tworząc film na bazie materiałów filmowych z I wojny światowej I młodzi pozostaną. Wiele osób było odpowiedzialnych za zgromadzenie oryginalnych rekwizytów, na podstawie których graficy odtwarzali umundurowanie i wyposażenie żołnierzy. Film powstawał cztery lata, a ludziom Jacksona udało się upłynnić obraz, korzystając z najnowszych technologii.
Co jest więc dziwnego w tym, że widzimy pokolorowaną wersję bitwy na śnieżki sprzed 120 lat? Technologia.
Kolor w minutę
Rok temu rosyjski entuzjasta sztucznej inteligencji Denis Shiryaev natknął się w internecie na kanał gromadzący filmy braci Lumière. To wtedy przyszło mu do głowy wykorzystać sztuczną inteligencję w przystosowaniu starych filmów do odbioru przez współczesnego widza. Narzędzia już istniały.
Pierwszym eksperymentem Shiryaeva, którym pochwalił się na swoim kanale na YouTubie, był film braci Lumière z 1895 r. Wjazd pociągu na stację w La Ciotat. Program, który wykorzystał, umożliwia powiększenie ilości pikseli klatki, jednocześnie podnosząc jakość obrazu do 4K, czyli wysokiego standardu filmów cyfrowych. Sztuczna inteligencja potrafi sprawić, że przeskalowany obraz jest znacznie dokładniejszy i wyraźniejszy niż oryginał. Rosjanin wykorzystał dodatkowo algorytm interpolacji klatek, który został nauczony – na podstawie różnych materiałów wideo – faz ruchu zarejestrowanego na poszczególnych klatkach. Dzięki temu potrafi wygenerować dodatkowe klatki, które umieszczone w archiwalnym filmie sprawiają, że wrażenie ruchu staje się tak płynne, jak w rzeczywistości. Odpowiedzialna za to jest właśnie liczba klatek na sekundę: za czasów braci Lumière była o ponad połowę niższa niż współcześnie, dlatego właśnie ludzie w archiwalnych filmach poruszają się dziwnie, kanciasto i nienaturalnie.
Zachęcony uzyskanym efektem i zainteresowaniem Shiryaev postanowił kolejne filmy dla lepszego efektu pokolorować za pomocą ogólnie dostępnego programu DeOldify, stworzonego zaledwie dwa lata temu. Warto wspomnieć, że jego najlepsza wersja znajduje się na platformie MyHeritage, którego użytkownicy mają możliwość ubarwienia zdjęć swoich przodków w kilka sekund. Algorytm nie bazuje na wiedzy historyków, ale na zbiorze kilkunastu milionów obrazów. Podobnie jak ludzki mózg jest na ich podstawie uczony rozpoznawać, jakie kolory ma świat. W uproszczeniu: że niebo zwykle jest niebieskie, podobnie jak jeansy. Kiedy więc widzi w historycznym filmie przedmioty, które zna, od razu nakłada na nie kolor, który ma w pamięci. Czasem jednak natrafi na obiekt, którego nie rozpozna, bo nie został go nauczony. Programiści oczywiście dbają o to, by algorytm rozszerzał swoją wiedzę i korzystał z jak największej ilości danych, które potem dopasowuje do podanego mu zdjęcia.
Prace Shiryaeva uzyskały tak wielkie zainteresowanie, że założył firmę Neural Love, która ma swoją siedzibę w Gdańsku, dokąd kilka lat temu Shiryaev się przeprowadził. Zajmuje się odnawianiem starych filmów za pomocą sieci neuronowej sztucznej inteligencji. W ciągu ostatnich kilku miesięcy youtuberzy dzięki ogólnie dostępnym algorytmom poszli w jego ślady i barwne filmy sprzed wieku stały się hitem internetu. Niezadowoleni są z tego powodu historycy, twierdząc, że algorytmy oszukują rzeczywistość.
Podróż w czasie
Nie można powiedzieć, że metody oparte na sztucznej inteligencji „przywracają” dawne obrazy miast i ludzi, ponieważ one tylko wypełniają luki w słabej jakości filmach nowymi danymi. Na dodatek wybór danych jest domyślny, przez co historycznie niedoskonały. Padają zarzuty manipulacji obrazem, który przestaje już być historyczny. Twórcy Neural Love i DeOldify tego nie kryją, zaznaczając, że wierność historyczna nie jest ich celem.
Ich metody można przyrównać do dziecka, które wypełniając kolorowankę albo uzupełniając brakujące elementy na rysunku, korzysta ze swojej wyobraźni i bazy danych zgromadzonych w mózgu: jeśli zobaczy na rysunku śnieg i chłopca ze sznurkiem w ręku dorysuje mu automatycznie sanki. Na przykład w filmie z Tokio z początku wieku twarze były momentami bardzo rozmyte, tworząc tylko jasne plamy, ale program dał im rysy, które wygenerował na podstawie własnej wiedzy. Oczywiście nie ma żadnej pewności, że właśnie tak wyglądali bohaterowie tego filmu.
Trzeba być świadomym, że z tego powodu powstałe za pomocą sztucznej inteligencji filmy są w części fikcyjne, pomagają jedynie naszej wyobraźni, ale nic nie jest w nich pewne. Twórcy DeOldify przyznają, że algorytm nie będzie w stanie dokładnie odwzorowywać barw, ponieważ uczy się na zdjęciach współczesnych, nie rozróżniając epoki. Bardziej się domyśla, niż jest pewien. Sprawdziłam to na czarno-białym zdjęciu z młodości. Moja sukienka nie była wprawdzie turkusowa, ale towarzyszący mi kolega miał jeansy w odpowiednim kolorze. Jednak mimo kilku pomyłek moja przeszłość wróciła do mnie niemal dosłownie, pobudzając wyobraźnię i pamięć.
Kilka lat temu popularność zyskały aplikacje do postarzania zrobionych właśnie zdjęć. Nakładane filtry miały udawać starą taśmę filmową pokrytą kurzem i podniszczoną rysami na błonie. Czyżby teraz nadszedł czas na proces odwrotny?