Uncanny Valley: намічаємо нову еру музичної творчості

Вересень 2021

By Кетрін Джуелл, Відділ інформації та цифрової інформації, ВОІВ

У 2010 році австралійський співак і автор пісень Чарлтон Хілл і музичний технолог Джастін Шейв приєдналися до лав, щоб створити Uncanny Valley, компанію прогресивних технологій у Сіднеї, яка знаходиться на передовій музичній індустрії. Чарлтон Хілл, який також очолює інноваційний відділ Uncanny Valley, обговорює амбіції компанії щодо прискорення, демократизації та зміни форми виробництва музики за допомогою використання штучний інтелект (AI). У 2020 році Uncanny Valley і її колега Керолайн Пеграм сформували команду Австралії та виграли перший в історії пісенний конкурс Євробачення AI.

Незвичайна долина, як правило, пов’язана з непростими відчуттями людей щодо речей, які не зовсім людські. Як ви стали називати свою компанію Uncanny Valley?

Це придумав мій співзасновник Джастін Шейв. Розкривши його значення, я прийняв той факт, що нам судилося бути прогресивною музичною технологічною компанією в галузі, яку ми обидва добре знали.

Джастін — піаніст із класичною освітою та музичний технолог із комп’ютерними знаннями, а я — автор пісень і співак. Ми обидва дуже зацікавлені в інноваціях. У 2010 році, коли ми заснували компанію, у музичній індустрії були зрушення, тому було сенс працювати з перспективним партнером. Ми завжди мали відкритий підхід до співавторів і не обмежували їх лише традиційними музикантами та продюсерами. Мені здається, що ми переросли в назву. Можна сказати, що ми намагаємося перевершити дивовижну долину в області музики, яка, мабуть, є одним із найцікавіших викликів нашого часу.

Розкажіть про свою бізнес-модель.

У нас є два джерела доходу. Одне — це замовлення на створення оригінальної музики або переміксування музики (де ви берете відому, ліцензовану пісню і відтворюєте її з новим вокалістом), а інше — це гонорар, який отримуємо, коли ці програми транслюються. В Австралії ми працюємо над рядом проектів, зокрема, Австралійський вижив, для якого потрібно багато музики. Ці доходи стимулюють повсякденну діяльність компанії та фінансують наші більш прогресивні AI та машинне навчання.

Розкажіть про свою роботу над розширеною творчістю.

Це неймовірно захоплююче. Формально це почалося у 2019 році, коли ми співпрацювали з Creative Lab Google і новими австралійськими артистами в експерименті з використанням машинного навчання для створення деяких прогресивних інструментів, які вони могли б використовувати у своєму процесі написання пісень. Їхній відгук на етапі проектування був неоціненним.

Загалом, їм сподобався процес, але вони були досить голосними, коли відчували, що інструменти наступають їм на носочки. Наприклад, наш додаток AD LIBBER, створений для того, щоб викликати ліричні ідеї, був вітаний одним виконавцем, який боровся з текстами, але не приваблював іншого, який мав талант до фраз. Інша програма під назвою Demo Memo дозволяла артистам наспівувати або насвистувати мелодію і перетворювати її на інструмент на свій вибір, тим самим значно прискорюючи демонстраційний процес. Усі вони це оцінили.

Експеримент був чудовою можливістю розширити ці концепції. Ми продовжували розвивати їх за допомогою нашого музичного механізму MEMU, який є постійним накопиченням наших досліджень. Завдяки архітектурі MEMU ми віримо, що зможемо дати кількісне визначення музики та емоцій.

MEMU пропонує музикантам можливість виражати свою музику за допомогою різних форм емоцій і засобів.

Чи можете ви пояснити це далі?

Наш інтерес полягає в розумінні та кількісній оцінці емоційної реакції, яку викликає музика, і процесів, пов’язаних із написанням мелодій і пісень. Мова не йде про те, щоб розгадати формулу хіта; це глибше за це. Ми досліджуємо зіставлення певних текстів, мелодій і послідовностей акордів і те, як вони викликають у вас відчуття, щоб краще зрозуміти музичний відбиток музичного твору. Це ідея відчувати себе щасливим/сумним і пояснювати це комп’ютеру. Це досить складно. Приголомшливо, що тепер ми маємо комп’ютерну потужність і розум, щоб аналізувати тексти та мелодії всього твору виконавця і можемо генерувати нові ідеї, які можуть перетворитися на нові пісні або відображати рух вперед у творчості цієї людини.

Розкажіть більше про MEMU.

MEMU — це потужний механізм для змішування та змішування робіт художників у режимі реального часу. Це дійсно захоплююче. Він віщує нову еру в музичному виробництві. Ми бачимо це як розвиваючу екосистему співавторів і співавторів, яка дозволить виявляти художників, відстежувати й отримувати гроші за будь-яку трансляцію їхньої роботи. Здатність MEMU розуміти та змішувати нескінченний потік музики в реальному часі справді надзвичайно чудова.

Як люди реагують на MEMU?

Деякі люди вважають це дивовижним, але стурбовані тим, що ми залишимо музикантів без роботи. Це не наш намір. Ми розглядаємо MEMU як потужний двигун для демократизації виробництва, прискорюючи процес і роблячи його більш доступним. Так само, як Spotify шукає найкращий список відтворення, MEMU шукає найкращий музичний пейзаж.

Як ви розробляли програмне забезпечення?

Це був цікавий процес, в якому брали участь науковці та креативні технологи, які працювали з музикантами, музичними продюсерами та більш широкою командою науковців.

Спочатку ми навчали MEMU з нашим власним запатентованим матеріалом. Потім ми спробували використовувати матеріали, захищені авторським правом, але, щоб уникнути ризику ненавмисного порушення авторських прав, ми почали використовувати роботи великої спільноти користувачів, у тому числі звукозаписних лейблів. Це дало нам змогу проштовхнути і витягнути поняття авторського права та повторного змішування. Ми виявили ковзну шкалу реакцій залежно від відомості художника.

Коли художники входять у всесвіт MEMU, вони погоджуються дозволити йому робити чудові та надзвичайні речі зі своїм мистецтвом. MEMU відстежує мікро-вклади кожного виконавця та те, як вони використовуються. Це потужний спосіб гарантувати винагороду художникам.

Коли нам було потрібно, ми використовували матеріали з відкритим вихідним кодом для навчання MEMU, але зазвичай ми розробляли власне власне рішення для створення архітектури MEMU на замовлення, просто тому, що потрібні нам рішення не були доступні на ринку.

Чи можете ви пояснити різні канали MEMU?

MEMU є пластичним і тепер має різноманітні канали, які дозволяють нам ізолювати всесвіти. Наприклад, якщо ми попросимо лейбл звукозапису про майбутні релізи двох їхніх виконавців для зведення MEMU, ми зможемо створити закритий всесвіт для цієї співпраці.

Різні канали MEMU вбудовані в його архітектуру. Спочатку ми випустили цільові канали, щоб навчати MEMU певним жанрам, емоціям та еоловому стилю музики, що лежить в основі поп-музики. Технологія швидко розвивається і дозволяє нам адаптувати внесок, який ми отримуємо, до різних жанрів. Наприклад, MEMU може взяти твір, який природним чином знаходиться на каналі розслаблення, і обробити його для високоенергетичного каналу.

Ми працюємо над тим, щоб пришвидшити механіку створення музики, покращити відстежуваність та використання музики та відкрити уявлення про те, що таке пісня, щоб нею можна було насолоджуватися різними способами. ШІ може допомогти створити цей широкий ландшафт.

Як це допомагає музикантам?

MEMU пропонує музикантам можливість виражати свою музику за допомогою різних форм емоцій і засобів. Художники, які хочуть бути відкритими, можуть дозволити нам отримати доступ до деяких із їхніх робіт, щоб вони почулися різними способами та повернули людей до їхнього каталогу. Який виконавець не дозволив би використовувати свою музику на всіх цих надзвичайних платформах і способах?

MEMU також демократизує процес виробництва музики. Воно має здатність брати музичні твори та змішувати їх у спосіб, якого ми ніколи раніше не бачили, і винагороджувати художників. Існує безглузде бажання, щоб музика доповнювала вміст у всіх його формах, старих і нових. MEMU допомагає задовольнити цей попит.

Досвід Twitch та інших платформ показує, що галузь перебуває в режимі «не дозволяти». Майбутнє музики, яке представляє MEMU, полягає в тому, щоб «дозволити, залучити та отримувати винагороду», щоб кожен виграв і міг йти вперед.

Як ви думаєте, який вплив ШІ матиме на музикантів?

Інструменти штучного інтелекту можуть демократизувати взаємодію митців з індустрією та дозволити їм отримувати нові доходи від своєї роботи. Інструменти, які ми та інші подібні до нас розробляємо, розроблені для інтеграції прогресу та технологій етичним і орієнтованим на мистецтво способом.

ШІ доповнює інструменти, доступні для музикантів, і може знищити бар’єри для входу, прискорюючи процес виробництва та дозволяючи музикантам виразити себе у формі, що звучить у чартах.

Ми працюємо над тим, щоб пришвидшити механіку створення музики, покращити відстежуваність та використання музики та відкрити уявлення про те, що таке пісня, щоб нею можна було насолоджуватися різними способами. ШІ може допомогти створити цей широкий ландшафт.

Інструменти штучного інтелекту можуть демократизувати взаємодію митців з індустрією та дозволити їм отримувати нові доходи від своєї роботи.

ШІ дозволяє людям, які не мають засобів, продовжувати займатися музикою як формою самовираження. Це, мабуть, найцікавіше, що AI може зробити в музичній індустрії.

Чи можуть інструменти на основі штучного інтелекту створювати музику, яка справді зворушує людей?

Так. ШІ, безумовно, може допомогти створювати пісні, які відчувають люди, але люди завжди будуть залучені в цей процес. Ми не намагаємось відтворити людський виступ, навіть якщо те, що ми робимо, спирається на людський виступ, перетворює це на дані та перекладає на інший виступ. Уявлення про аватар артиста чи перенесення перформансу вже є реальністю.

Я переконаний, що ШІ зробить одну з речей, щоб дозволити людям бути більш людяними і писати кращу музику.

У яких сферах, на вашу думку, ми побачимо раннє впровадження та адаптацію музики ШІ?

Художники-експериментатори вже тривалий час займаються ШІ. ШІ неухильно просувається в мейнстрім музики. Наприклад, LifeScore, музичне програмне забезпечення Abbey Road для штучного інтелекту, нещодавно випустило прототип із Bentley для музики в автомобілі, який використовує такі дані, як швидкість і місцезнаходження GPS. Це дуже надихає.

Зрештою, люди просто шукають цікаві, корисні та розважальні способи взаємодіяти з життям. Музика є великою частиною цього, і ШІ прискорює процес виробництва музики. Тому ми його використовуємо. ШІ, безумовно, підвищить продуктивність людини, але йому буде важко її замінити.

Що стимулює зростання інтересу до ШІ в індустрії музичних технологій?

По-перше, страх пропустити, а по-друге, бажання виправити минулі помилки. Існує відчуття, що сила штучного інтелекту може допомогти нам і відкрити двері до пропорційної винагороди для художників.

Як би ви хотіли, щоб система авторського права розвивалася?

Іноді ми наполягали на авторських правах, особливо на ранніх етапах розробки MEMU, але наше теперішнє мислення таке: «якщо воно не зламано», продовжуйте працювати з ним. Тож гратимемо за правилами, доки правила не зміняться.

Чи є якась конкретна область, у якій ви хотіли б, щоб правила змінилися?

Я вважаю, що потрібно щось зробити навколо ідеї використання творів художників для створення нового мистецтва або нових джерел доходу, особливо коли технологія настільки здатна взяти це та використати його в цінний спосіб.

Зрештою, люди просто шукають цікаві, корисні та розважальні способи взаємодіяти з життям. Музика є великою частиною цього, і ШІ прискорює процес виробництва музики.

Я дуже розірваний на цю тему, тому що я не думаю, що ми раптом заслуговуємо на право взяти весь каталог художника і створювати з ним нові роботи лише тому, що у нас є технологія для цього. Можливо, є й інший спосіб – щось на кшталт дозволу такого використання в обмін на внесок у загальний фонд для підтримки музикантів-початківців.

Які ваші плани на майбутнє?

Ми дали собі рік від перемоги в конкурсі пісень AI, щоб довести, що у нас є дійсний інструмент для музикантів і авторів пісень. Ми дуже зацікавлені в тому, що ми робимо, і ми справді намагаємося знайти потрібних співробітників, щоб розробити щось, що підтримає компанію та ширшу музичну спільноту. В Австралії ми допомагаємо створити перший в Австралії музичний центр штучного інтелекту, який об’єднує науковців, комерційних партнерів, науковців і нових артистів.

Майбутнє MEMU — створювати нову захоплюючу музику, отримувати нові джерела доходу для виконавців. Якщо нам це вдасться, нам вдасться створити централізований центр для спільноти художників, щоб продовжити розмову про ШІ та музику.

Джерело: https://www.wipo.int/wipo_magazine/en/2021/03/article_0003.html