Aktivity

 

MEDIA ART LIVE ARCHIVE

Inteligentní rozhraní pro interaktivní zprostředkování kulturního dědictví

Projekt rozvíjející možnosti umělé inteligence zejména v oblasti uměleckého archivu a kurátorství. 

Projekt Media Art Live Archive: Inteligentní rozhraní pro interaktivní zprostředkování kulturního dědictví (2019-2021) VKB se spolu s DU v Brně stala aplikačním garantem třítelého projektu, který podpořila Technologická agentura ČR. Na projektu spolupracují výzkumníci z Masarykovy univerzity a VUT v Brně pod vedením Jany Horákové. Cílem je zpracovat autorská videa Vašulkových, a to jak na úrovní základní identifikace, tak obsahové analýzy, při níž jsou využity umělé neuronové sítě. Jedná se o unikátní projekt i v mezinárodním kontextu, který je situován v aktuálním trendu testování potenciálu informačních technologií ve službách humanitních věd, tzv. digital humanities. 

Projekt Media Art Live Archive: Inteligentní rozhraní pro interaktivní zprostředkování kulturního dědictví (dále jen MALA) reaguje na dynamické změny v oblasti archivní a muzejní praxe v důsledku celosvětového trendu digitalizace kulturního dědictví, především na pokračující digitalizaci archivů uměleckých děl a jejich on-line zpřístupnění. Neomezuje se však jen na uspořádání obsahu archivu s pomocí tradičních knihovnických nástrojů, ale zkoumá především potenciál digitálních technologií pro inovativní způsoby práce s archiváliemi a interaktivní zprostředkování kulturního dědictví veřejnosti. Konkrétně se jedná o využití umělé inteligence v podobě strojového či hlubokého učení umělých neuronových sítí při analýze audiovizuálních děl (dále jen AV děl) a vývoj rozhraní pro interaktivní zprostředkování obsahu archivu v on-line prostředí a v podobě instalace ve fyzickém prostoru Domu umění města Brna. V rámci projektu je tímto způsobem zpracováván archiv průkopníků umění videa světového formátu Woodyho a Steiny Vašulkových, jenž je v majetku Vašulka Kitchen Brno – Centra umění nových médií (dále jen VKB) se sídlem v Domě umění města Brna. 

Postup prací při plnění stanovených závazných cílů

Aktuálně realizováno: 

1) Software pro obsahově založené vyhledávání v obrazových dílech (dokončeno 12/2020) 

Software je realizován pomocí jazyka Python. Ten umožňuje využití frameworku Keras, pomocí kterého jsou získávány predikce konvoluční neuronové sítě. Pro práci se samotným videem byla využita knihovna OpenCV, která slouží jak k načtení zpracovaného videa, tak k vykreslení a vygenerování výsledného videa. Jelikož knihovna OpenCV neumožňuje práci se zvukem, je do vygenerovaného videa přidán originální zvuk pomocí knihovny moviepy. Software navíc obsahuje možnost vygenerování vyskytujících se tagů a jejich pravděpodobností do grafu. K tomu byla využita knihovna matplotlib. 

Odkaz na repozitář: github.com/mediaArtLiveArchive/video 

2) Software pro obsahově zaměřené vyhledávání ve zvukových dílech (dokončeno 12/2020)

Software pro obsahově zaměřené vyhledávání ve zvukových dílech byl implementován v jazyce Python, stejně jako tomu bylo v případě softwaru, který pracuje s obrazovým materiálem. Modely neuronových sítí byly navrženy a natrénovány v modulu Keras pro Python. Aby mohly být neuronové sítě trénovány na zvukovém materiálu, bylo nutné použít také modul Kapre, díky němuž lze vytvořit speciální vrstvy neuronových sítí, které umožňují jednotlivé zvukové segmenty transformovat na spektrogramy. Software pracuje se zvukovou stopou audiovizuálních děl a přiřazuje anotace (tagy) v předem daných časových úsecích zvukového záznamu. Pro práci se zvukovými stopami je dále využit modul Librosa. Výsledná anotace zvukové stopy je uživateli dostupná ve formě souboru typu JSON, dále je anotace uložena do grafu pomocí modulu Matplotlib pro Python. Pomocí softwaru je také možné vygenerovat kopii zdrojového video souboru s možností vložení anotace přímo do obrazu. Většina funkcí software je totožná se softwarem pro analýzu obrazového obsahu, tak aby jej bylo možné ovládat obdobným způsobem.

Odkaz na software: github.com/mediaArtLiveArchive/audio 

3) Uspořádání online výstavy uměleckých projektů reagujících na pandemii COVID–19 (dokončeno 12/2020) 

Realizován výstavní projekt Černá skříňka (Black Box), viz níže.

Odkaz na online výstavu: https://cerna-skrinka.cz/

Black Box / Černá skříňka

Výstavní projekt Black Box / Černá skříňka 16 , dále jen Černá skříňka (2020), svým tematickým zaměřením reaguje na zkušenost koronavirové pandemie 17 a v rámci kurátorského přístupu testuje možnosti využití umělé inteligence, konkrétně umělých neuronových sítí naprogramovaných metodou učení bez učitele (unsupervised learning). Tento nástroj byl využit k tomu, aby mohla být globální zkušenost virové pandemie nahlédnuta jakoby z vnějšku, z pozice nelidského aktéra.

Černá skříňka jako kurátorský projekt

Kurátorský projekt Černá skříňka / Black Box vznikl na jaře roku 2020. Jeho cílem bylo poukázat na problémy a výzvy, kterým v době koronavirové pandemie česká kultura čelila. Kurátorky Galerie TIC 18 zveřejnily dne 27. března 2020 otevřenou výzvu umělcům, aby se věnovali reflexi této mimořádné situace nebo na ní participovali formou občanských iniciativ. Během následujících několika týdnů byly shromážděny podklady od třiceti zájemců, z nichž bylo vybráno osm projektů. Byli to Polina Davydenko, Markéta Filipová, Ondřej Homola, Juliana Höschlová, Vojtěch Kundrát, Johana Merta, Ladislav Mirvald, Tomáš Moravanský. Hlavními hodnoticími kritérii výběru projektů byly naléhavost, autenticita, rozmanitost zvolených výrazových prostředků a uměleckých výpovědí. V této fázi se tým Galerie TIC spojil s výzkumným týmem pracujícím na projektu Media Art
Live Archive: Inteligentní rozhraní pro interaktivní zprostředkování kulturního dědictví (TA ČR) a dohodli se na spolupráci při pokračování realizace projektu v podobě kurátorského experimentu s využitím umělých neuronových sítí v roli kurátora a na tvorbě webové platformy, jež umožní prezentovat shromážděnou dokumentaci uměleckých projektů online inovativním
způsobem, v prostředí autorského webu.

Motiv

Název výstavního projektu Černá skříňka odkazuje ke skříňkám uloženým v dopravních prostředcích, které zaznamenávají průběh letu či jízdy a v případě nehody či katastrofy slouží jako zdroj informací při rekonstrukci toho, co se vlastně stalo. Černá skříňka je ale také pojem užívaný v sociologii, psychologii a kybernetice pro označení systémů, u nichž jsou známé vstupy a výstupy, ale není jasné, jak bylo dosáhnuto výstupních hodnot. Z důvodu komplexních rekurentních procesů prováděných umělými neuronovými sítěmi bývají tyto inteligentní nástroje označovány jako black box. Proto považujeme zapojení umělé inteligence do výstavního projektu za organické rozvíjení základního motivu černé skříňky.

Plán činností na rok 2021

V roce 2020 byly realizovány kroky směrem k uspořádání konference na téma vyjádřené pracovním názvem Live & Real-time: The Art of COVID-19, která je naplánována na rok 2021. V rámci mapování současných přístupů ke kurátorství umění nových médií, a to jak ve smyslu péče o umělecká díla s cílem uchovat je jako součást kulturního dědictví, tak ve smyslu kreativní, interpretační praxe autorů výstavních projektů jsme uspořádali dvoudenní online mezinárodní symposium Digital Curator, na němž vystoupili přední odborníci z USA, Velké Británie, Německa a Rakouska. Díky němu jsme navázali nové kontakty a získali nejnovější informace v této oblasti. 

Role Vašulka Kitchen v projektu

Se zástupci Vašulka Kitchen Brno a Domu umění města Brna bylo v roce 2020 především konzultováno zadání pro návrh webu Vasulka Live Archive. Jednalo se jednak o uspořádání videí Vašulkových na základě společně definovaných kategorií, které budou sloužit jako metadata, díky kterým budou snímky dohledatelné jak na webu Vasulka Live Archive, tak i v online archivu Vašulkových, který je v přípravě. Dále bylo konzultováno grafické řešení, struktura a funkční vlastnosti webu Vasulka Live Archive, ale také výběr serveru a programovacího jazyka s ohledem na dlouhodobou udržitelnost webu a na jeho propojení s webovou stránkou Vašulka Kitchen Brno a dalšími online projekty realizovanými členy spolku VKB. Na základě zadání byl vytvořen návrh webu, jenž byl následně předložen k oponentuře aplikačním garantům, a jejich připomínky byly do návrhu zapracovány. Další konzultace budou probíhat v roce 2021, na který jsou naplánovány práce na programování webu a jeho naplnění obsahem. 

V uplynulém roce jsme se spolkem Vašulka Kitchen Brno a Domem umění města Brna spolupracovali také při přípravě sborníku textů reflektujících problematiku mediálních archivů a strategií uchování mediálního umění s názvem Vašulkova kuchyňská kniha #1. Texty k médiím první & poslední / Vasulka Kitchen Cooking Reader #1. Beyond Media Texts: Primal & Final, jehož vydání navázalo na mezinárodní kolokvium Artworks from the Digital Era in Galleries and Museums realizované v prvním roce řešení projektu.

Autorkou textu je Jana Horáková. 

Projekt Media Art Live Archiva je realizován za finanční podpory Technologické agentury České republiky. Centrum umění nových médií – Vašulka Kitchen Brno je jeho aplikačním garantem. Dalšími partnery jsou Dům umění a TIC Brno.