Uncanny Valley: a zenei kreativitás új korszakának feltérképezése

szeptember 2021

By Catherine Jewell, Információs és digitális tájékoztatási osztály, WIPO

2010-ben Charlton Hill ausztrál énekes/dalszerző és Justin Shave zenetechnológus csatlakozott az Uncanny Valley-hez, a sydney-i székhelyű progresszív technológiai vállalathoz, amely a zeneipar élvonalába tartozik. Charlton Hill, aki az Uncanny Valley innovációs részlegének vezetője is, a cég azon törekvéseit tárgyalja, hogy felgyorsítsa, demokratizálja és átalakítsa a zenei produkciót mesterséges intelligencia (AI). 2020-ban az Uncanny Valley és kollégája, Caroline Pegram megalakította a Team Australia-t, és megnyerte az első Eurovíziós AI Dalfesztivált.

A Uncanny Valley általában egy olyan kellemetlen érzésre vonatkozik, amelyet az emberek éreznek olyan dolgokkal kapcsolatban, amelyek nem egészen emberiek. Hogyan hívtad a cégedet Uncanny Valley-nek?

Társalapítóm, Justin Shave találta ki. Miután kibontottam a jelentését, elfogadtam azt a tényt, hogy egy progresszív zenetech cégnek szántak bennünket egy olyan iparágban, amelyet mindketten jól ismertünk.

Justin klasszikusan képzett zongoraművész és zenetechnológus informatikai háttérrel, én pedig dalszerző és énekes vagyok. Mindkettőnket erősen érdekel az innováció. A zeneiparban 2010-ben, amikor megalapítottuk a céget, változó homokok voltak, így volt értelme egy előremutató partnerrel dolgozni. Mindig is nyitottan álltunk a munkatársakhoz, és nem korlátoztuk őket hagyományos zenészekre és producerekre. Azt hiszem, belenőttünk a névbe. Mondhatni próbáljuk túlszárnyalni a rejtélyes völgyet a zene terén, ami talán korunk egyik legérdekesebb kihívása.

Meséljen nekünk üzleti modelljéről.

Két bevételi forrásunk van. Az egyik az eredeti zene létrehozására vagy zene újrakeverésére irányuló megbízások révén (amikor vesz egy ismert, licencelt dalt, és újraalkotja egy új énekessel), a másik pedig a jogdíjak, amelyek ezeknek a műsoroknak a sugárzásakor járnak hozzánk. Ausztráliában számos projekten dolgozunk, beleértve pl. Ausztrál túlélő, amihez sok zene kell. Ezek a bevételek hajtják a vállalat napi működését, és finanszírozzák a progresszívebb mesterséges intelligencia és gépi tanulási törekvéseinket.

Meséljen nekünk a fokozott kreativitással kapcsolatos munkájáról.

Hihetetlenül izgalmas. Formálisan 2019-ben kezdődött, amikor a Google Kreatív Laboratóriumával és feltörekvő ausztrál művészekkel együttműködve egy gépi tanulási kísérletben dolgoztunk, hogy olyan progresszív eszközöket hozzunk létre, amelyeket dalírási folyamatukban használhatnak fel. A tervezési szakaszban kapott visszajelzéseik felbecsülhetetlen értékűek voltak.

Általában élvezték a folyamatot, de elég hangosak voltak, amikor érezték, hogy a szerszámok rálépnek a lábujjukra. Például az AD LIBBER alkalmazásunkat, amely lírai ötleteket kelt, üdvözölte az egyik művész, aki küszködött a szövegekkel, de nem vonzotta a másikat, akinek tehetsége volt a fogalmazáshoz. Egy másik, Demo Memo nevű alkalmazás lehetővé tette a művészek számára, hogy dúdoljanak vagy fütyüljenek egy dallamot, és átalakítsák azt egy általuk választott hangszerré, ezáltal jelentősen felgyorsítva a bemutató folyamatát. Ezt mindannyian értékelték.

A kísérlet remek alkalom volt ezeknek a fogalmaknak a gyakorlására. Folytattuk ezek fejlesztését zenei motorunkon, a MEMU-n keresztül, amely kutatásaink folyamatos felhalmozódása. Úgy gondoljuk, hogy a MEMU architektúrájával meg tudjuk törni a zene és az érzelmek számszerűsítését.

A MEMU lehetőséget kínál a zenészeknek arra, hogy zenéjüket különböző érzelmi módokon és médiumokon keresztül fejezzék ki.

Kifejtenéd ezt bővebben?

Érdeklődésünk abban rejlik, hogy megértsük és számszerűsítsük a zene által generált érzelmi reakciókat, valamint a dallamok és dalok írásával kapcsolatos folyamatokat. Nem arról van szó, hogy feltörjük egy sláger képletét; mélyebb annál. Különös dalszövegek, dallamok és akkordszekvenciák egymás mellé helyezését kutatjuk, és azt, hogy milyen érzéseket keltenek, hogy jobban megértsük egy zenemű zenei ujjlenyomatát. Ez az ötlet, hogy boldognak/szomorúnak érezzük magunkat, és ezt elmagyarázzuk a számítógépnek. Elég összetett. Elgondolkodtató, hogy most már rendelkezünk azzal a számítási erővel és okossággal, hogy elemezzük egy művész teljes munkájának szövegét és dallamait, és új ötleteket generálhatunk, amelyek új dalokká alakulhatnak, vagy az adott személy munkájának előrehaladását tükrözik.

Mondjon el többet a MEMU-ról.

A MEMU egy erőteljes motor a művészek munkáinak valós idejű keveréséhez és összekeveréséhez. Nagyon izgalmas. Új korszakot hirdet a zenei produkcióban. Úgy tekintünk rá, mint a közreműködők és együttműködők fejlődő ökoszisztémájára, amely lehetővé teszi a művészek felfedezését, nyomon követését és munkájuk közvetítését, valamint fizetést. A MEMU azon képessége, hogy valós időben végtelen zenefolyamot tud megérteni és keverni, valóban figyelemre méltó.

Hogyan reagálnak az emberek a MEMU-ra?

Vannak, akik elképesztőnek találják, de aggódnak amiatt, hogy ki fogjuk tenni a zenészeket a munkából. Nem ez a szándékunk. A MEMU-t a termelés demokratizálásának erőteljes motorjának tekintjük a folyamat felgyorsításával és megfizethetőbbé tételével. Ahogy a Spotify a valaha volt legjobb lejátszási listát keresi, a MEMU a valaha volt legjobb zenei világot követi.

Hogyan fejlesztetted a szoftvert?

Ez egy érdekes folyamat volt, amelyben adattudósok és kreatív technológusok dolgoztak zenészekkel, zenei producerekkel és egy szélesebb akadémikus csapattal.

Eleinte a MEMU-t saját szabadalmaztatott anyagunkkal képeztük. Ezután belevágtunk a szerzői jog által védett anyagok használatába, de a szerzői jogok véletlen megsértésének elkerülése érdekében a felhasználók széles körének, köztük a lemezkiadóknak a munkáira támaszkodtunk. Ez lehetővé tette számunkra, hogy a szerzői jog és az újrakeverés fogalmát tovább tereljük. A reakciók csúszó skáláját fedeztük fel a művész ismertségétől függően.

Amikor a művészek belépnek a MEMU univerzumába, beleegyeznek abba, hogy csodálatos és rendkívüli dolgokat művelhessenek művészetükkel. A MEMU nyomon követi az egyes művészek mikro-hozzájárulásait és azok felhasználási módját. Ez egy hatékony módja annak, hogy biztosítsák a művészek díjazását.

Amikor szükség volt rá, nyílt forráskódú anyagokat használtunk a MEMU betanításához, de jellemzően saját fejlesztésű megoldást fejlesztettünk ki a MEMU testreszabott architektúrájának létrehozására, egyszerűen azért, mert a számunkra szükséges megoldások nem voltak elérhetők a piacon.

El tudnád magyarázni a MEMU különböző csatornáit?

A MEMU képlékeny, és ma már számos csatornával rendelkezik, amelyek lehetővé teszik az univerzumok elkülönítését. Például, ha megkérünk egy lemezkiadót két előadójuk közelgő kiadványaira, hogy a MEMU keverje össze, egy zárt univerzumot hozhatunk létre az együttműködéshez.

A MEMU különböző csatornái be vannak építve az architektúrába. Eleinte fókuszált csatornákat adtunk ki, hogy megtanítsuk a MEMU-t bizonyos műfajokról, érzelmekről és a zene eolikus módjáról, amelyek a popzene alapját képezik. A technológia gyorsan fejlődik, és lehetővé teszi számunkra, hogy a kapott hozzájárulásokat a különböző műfajokhoz igazítsuk. Például a MEMU elővehet egy művet, amely természetesen egy pihentető csatornán van, és feldolgozhatja azt egy nagy energiájú csatornává.

Azon dolgozunk, hogy felgyorsítsuk a zenei előállítás mechanikáját, javítsuk a zene nyomon követhetőségét és felhasználását, és feltárjuk a dal fogalmát, hogy mindenféle módon élvezhető legyen. Az AI segíthet ennek a széles tájnak a kialakításában.

Hogyan segít ez a zenészeknek?

A MEMU lehetőséget kínál a zenészeknek arra, hogy zenéjüket különböző érzelmi módokon és médiumokon keresztül fejezzék ki. A felfedezésre vágyó művészek hozzáférést biztosíthatnak bizonyos munkáikhoz, így azok különböző módon hallhatók, és visszavezetik az embereket a katalógusukhoz. Melyik előadó ne engedné, hogy zenéjét mindezeken a rendkívüli platformokon és módokon felhasználják?

A MEMU a zenei gyártási folyamatot is demokratizálja. Képes arra, hogy zenei alkotásokat vegyen és zúzzon olyan módon, ahogyan korábban még nem igazán láttuk, és honorálja a művészeket. Nevetséges éhség van arra, hogy a zene kiegészítse a tartalmat minden régi és új formájában. A MEMU segít kielégíteni ezt az igényt.

A Twitch és más platformok tapasztalatai azt mutatják, hogy az iparág „nem engedélyez” módban van. A zene jövője, amelyet a MEMU képvisel, „engedélyezni, vonzani és díjazni”, így mindenki nyer, és előre léphet.

Mit gondol, milyen hatással lesz az AI a zenészekre?

Az AI-eszközök demokratizálhatják a művészek együttműködését az iparággal, és lehetővé teszik számukra, hogy munkájukból új bevételeket szerezzenek. Az általunk és mások által kifejlesztett eszközöket úgy tervezték, hogy etikus és művészközpontú módon integrálják a fejlődést és a technológiát.

A mesterséges intelligencia kiegészíti a zenészek rendelkezésére álló eszközöket, és lebonthatja a belépési korlátokat azáltal, hogy felgyorsítja a gyártási folyamatot, és lehetővé teszi a zenészek számára, hogy slágerlistán hangzó módon fejezzék ki magukat.

Azon dolgozunk, hogy felgyorsítsuk a zenei előállítás mechanikáját, javítsuk a zene nyomon követhetőségét és felhasználását, és feltárjuk a dal fogalmát, hogy mindenféle módon élvezhető legyen. Az AI segíthet ennek a széles tájnak a kialakításában.

Az AI-eszközök demokratizálhatják a művészek együttműködését az iparággal, és lehetővé teszik számukra, hogy munkájukból új bevételeket szerezzenek.

A mesterséges intelligencia lehetővé teszi az eszközökkel nem rendelkező emberek számára, hogy továbbra is foglalkozzanak a zenével, mint kifejezési formával. Valószínűleg ez a legizgalmasabb dolog, amit az AI tehet a zeneiparban.

Az AI-alapú eszközök képesek olyan zenét készíteni, amely valóban megmozgatja az embereket?

Igen. A mesterséges intelligencia minden bizonnyal segíthet olyan dalok létrehozásában, amelyeket az emberek éreznek, de az emberek mindig részt vesznek ebben a folyamatban. Nem próbálunk emberi előadást újrateremteni, még akkor sem, ha amit csinálunk, az emberi teljesítményre támaszkodik, azt adatokká alakítja és egy másik előadássá alakítja át. A művész avatar vagy előadás transzfer fogalma már valóság.

Meggyőződésem, hogy a mesterséges intelligencia az egyik dolog, amit tenni fog, hogy lehetővé teszi az emberek számára, hogy emberibbek legyenek, és jobb zenét írjanak.

Ön szerint mely területeken fogjuk látni az AI-zene korai alkalmazását és adaptálását?

A kísérletező művészek már régóta foglalkoznak az AI-val. Az AI folyamatosan beépül a zene fősodrába. Például a LifeScore, az Abbey Road mesterséges intelligenciájú zenei szoftvere nemrégiben elindított egy prototípust a Bentley-vel az autós zenéhez, amely olyan adatpontokat használ, mint a sebesség és a GPS helymeghatározás. Ez nagyon biztató.

A nap végén az emberek csak érdekes, segítőkész és szórakoztató módokat keresnek az életbe való bekapcsolódásra. A zene ebben nagy szerepet játszik, és az AI felgyorsítja a zenegyártási folyamatot. Ezért használjuk. A mesterséges intelligencia minden bizonnyal növelni fogja az emberi teljesítményt, de nehezen fogja pótolni.

Mi táplálja a mesterséges intelligencia iránti növekvő érdeklődést a zenetechnológiai iparban?

Először is a kihagyástól való félelem, másodszor pedig a múltbeli hibák kijavításának vágya. Van egy olyan érzés, hogy a mesterséges intelligencia ereje megfelelővé teheti számunkra, és megnyithatja az ajtót a művészek arányos díjazása előtt.

Hogyan szeretnéd látni a szerzői jogi rendszer fejlődését?

Időnként a szerzői jogokat nyomkodtuk és húztuk, különösen a MEMU fejlődésének korábbi szakaszaiban, de jelenleg az a gondolkodásunk, hogy „ha mégsem tönkrement”, haladjunk vele. Tehát továbbra is a szabályok szerint játszunk, amíg a szabályok nem változnak.

Van-e olyan terület, ahol a szabályok változását szeretné látni?

Úgy gondolom, hogy valamit tenni kell azzal a gondolattal, hogy a művészek munkáját új művészet vagy új bevételi források generálására használják fel, különösen akkor, ha a technológia ennyire képes átvenni és értékes módon felhasználni.

A nap végén az emberek csak érdekes, segítőkész és szórakoztató módokat keresnek az életbe való bekapcsolódásra. A zene ebben nagy szerepet játszik, és az AI felgyorsítja a zenegyártási folyamatot.

Eléggé elkanyarodtam a témában, mert nem hiszem, hogy hirtelen megérdemelnénk azt a jogot, hogy egy művész teljes hátsó katalógusát elvigyük és új alkotásokat készítsünk vele, csak azért, mert megvan hozzá a technológiánk. Lehet, hogy van más mód is – valami olyasmi, ami hasonlóképpen lehetővé teszi az ilyen felhasználást, cserébe azért, hogy hozzájáruljunk a törekvő zenészek támogatására szolgáló közös alapokhoz.

Mik a terveid a jövőre nézve?

Egy évet adtunk magunknak az AI Dalverseny megnyerése óta, hogy bebizonyítsuk, van egy érvényes eszközünk a zenészek és dalszerzők számára. Nagy az érdeklődés az iránt, amit csinálunk, és őszintén igyekszünk megtalálni a megfelelő együttműködőket, hogy kifejleszthessünk valamit, ami támogatja a céget és a szélesebb zenei közösséget. Ausztráliában segítünk létrehozni Ausztrália első zenei mesterséges intelligencia központját, amely akadémikusokat, kereskedelmi partnereket, tudósokat és feltörekvő művészeket egyesít.

A MEMU jövője pedig az, hogy új és izgalmas zenét hozzon létre, miközben új bevételi forrásokat generál a művészek számára. Ha ez sikerül, akkor sikerült egy központosított központot létrehoznunk, ahol a művészek közössége folytathatja a mesterséges intelligencia és a zenei beszélgetést.

Forrás: https://www.wipo.int/wipo_magazine/en/2021/03/article_0003.html