AI Weekly: AlphaCode від DeepMind, автоматична перевірка віку та нова модель відкритої мови

Цього тижня в AI DeepMind детально описав нову систему генерації коду, Альфа-код, який, як стверджується, є конкурентоспроможним серед найкращих програмістів-людей. Мережі супермаркетів у Великобританії оголосили про початок тестування автоматичних систем перевірки віку, щоб визначити вік покупців під час купівлі алкоголю. А EleutherAI, дослідницька група, яка зосереджена на високопродуктивних системах ШІ з відкритим кодом, випустила GPT-NeoX-20B, мовну модель, яка є однією з найбільших у своєму роді.

AlphaCode є одним із найдосконаліших прикладів машинного програмування або інструментів, які автоматизують процеси розробки та обслуговування програмного забезпечення. DeepMind стверджує, що може писати код «рівня змагань», досягаючи середнього рейтингу в межах 54.3% у 10 останніх змаганнях на платформі програмування Codeforces.

Застосування машинного програмування величезні за обсягом — це пояснює, чому навколо цього є ентузіазм. Згідно з дослідженням Кембриджського університету, принаймні половина зусиль розробників витрачається на налагодження, що коштує індустрії програмного забезпечення приблизно 312 мільярдів доларів на рік. Навіть перенесення кодової бази на більш ефективну мову може отримати значні кошти. Наприклад, Commonwealth Bank of Australia відпрацьований близько 750 мільйонів доларів протягом п’яти років, щоб перетворити свою платформу з COBOL на Java.

Інструменти генерації коду на основі штучного інтелекту, такі як AlphaCode, обіцяють скоротити витрати на розробку, дозволяючи програмістам зосередитися на творчих, менш повторюваних завданнях. Але AlphaCode не є бездоганним. Окрім бути дорогий підтримувати, він не завжди створює правильний код і може (якщо є ознаки подібних систем) містити проблемні зміщення. Крім того, якщо він колись стане доступним для всіх, зловмисники можуть використати його для створення зловмисного програмного забезпечення, обходити тести з програмування та задурювати дослідники кібербезпеки.

«Хоча ідея надати можливості програмування людям, які не вміють програмувати, захоплююча, у нас є багато проблем, які потрібно вирішити, перш ніж ми досягнемо цього», – Майк Кук, дослідник штучного інтелекту в Університеті Королеви Марії. Лондон.

Автоматична перевірка віку

Три мережі супермаркетів у Сполученому Королівстві — Asada, Co-op і Morrisons — використовують камери для визначення віку покупців у рамках тесту Міністерства внутрішніх справ, департаменту Великобританії, відповідального за імміграцію, безпеку та правопорядок. Технологія, яка вже використовувалася в офісі Aldi без каси в Лондоні, вгадує вік клієнтів, які погоджуються, використовуючи алгоритми, навчені на «базі даних анонімних облич». відповідно для BBC. Якщо він вирішить, що їм менше 25 років, вони повинні будуть показати посвідчення особи члену персоналу.

Yoti — компанія, що постачає цю технологію — каже, що вона була перевірена на більш ніж 125,000 2.2 обличчях і вгадала вік з точністю до XNUMX років. Але хоча Yoti каже, що не виконує розпізнавання облич і не зберігає отримані зображення, ця система викликає етичні проблеми.

Системи оцінки віку, як і інші системи штучного інтелекту, можуть посилити будь-які упередження в даних, які використовуються для розробки систем. Одне дослідження підкреслює вплив макіяжу, який може приховати ознаки віку, такі як пігментні плями та зморшки, і виявляє, що програмне забезпечення для оцінки віку є більш точним для чоловіків. Те саме дослідження показало, що програмне забезпечення завищує вік молодих некавказців і недооцінює вік старших азіатів і темношкірих людей, і навіть на нього може впливати те, посміхається хтось чи ні.

У інтерв'ю Співзасновник і генеральний директор Yoti Робін Томбс визнав, що компанія не впевнена, які риси обличчя використовує штучний інтелект для визначення віку людей. Хоча він підкреслив, що навчальний набір даних Yoti із «сотень тисяч» облич «репрезентативний для всіх відтінків шкіри, віку та статі», і що його внутрішнє дослідження показало однакові показники помилок у різних демографічних групах, академічна література здавалося б, щоб припустити інше. Власний документ Yoti показує, що технологія найменш точна для літніх жінок із темнішою шкірою.

Неправильна оцінка віку в супермаркеті може становити не більше ніж незручність (і, можливо, збентеження). Але це може нормалізувати технологію, що призведе до більш проблемних програм в інших місцях. Деніел Леуфер, європейський політичний аналітик, який зосереджується на штучному інтелекті в групі громадянських свобод Access Now, сказав Wired, що регулятори повинні дивитися на те, кому ці системи, ймовірно, дадуть збій, коли вони розглядатимуть варіанти використання. «Як правило, такою відповіддю є люди, які регулярно зазнають невдачі іншими системами», — сказав він.

Модель мови з відкритим кодом

EleutherAI у середу випущений свою найновішу мовну модель GPT-NeoX-20B, як частину своєї місії щодо розширення доступу до високопродуктивного штучного інтелекту для створення тексту. За даними EleutherAI, GPT-NeoX-20B, доступний зараз через API, а наступного тижня у відкритому коді, перевершує інші загальнодоступні мовні моделі в кількох доменах, але загалом дешевший у розгортанні.

GPT-NeoX-20B — який був розроблений на основі інфраструктури, наданої CoreWeave, спеціалізованим хмарним провайдером — був навчений на текстовому наборі даних EleutherAI розміром 825 ГБ і містить 20 мільярдів параметрів, що приблизно в 9 разів менше, ніж GPT-3 OpenAI. У машинному навчанні параметри є частиною моделі, яка вивчається з історичних даних навчання. Загалом, у мовній сфері кореляція між кількістю параметрів і складністю тримається надзвичайно добре.

EleutherAI не стверджує, що GPT-NeoX-20B вирішує будь-яку з головних проблем сучасних мовних моделей, включаючи такі аспекти, як упередженість і токсичність. Але група стверджує, що переваги від випуску моделі — та інших подібних до неї — переважають ризики. Навчання мовних моделей з нуля може коштувати до мільйонів доларів, а логічний висновок (тобто фактичний запуск навченої моделі) є ще одним бар’єром. За однією оцінкою вартість запуску GPT-3 на одному екземплярі Amazon Web Services становить мінімум 87,000 XNUMX доларів США на рік.

«Від спаму та астротурфінгу до залежності від чат-ботів, використання цих моделей може проявити явну шкоду вже сьогодні, і ми очікуємо, що узгодження майбутніх моделей буде надзвичайно важливим. Ми вважаємо, що прискорення досліджень безпеки є надзвичайно важливим», – сказав співзасновник EleutherAI Коннор Ліхі.

Попередні моделі EleutherAI вже породили абсолютно нові стартапи ШІ як послуга. Якщо історія є ознакою, GPT-NeoX-20B зробить те саме.

Щоб висвітлити AI, надішліть новини на адресу Кайл Віггерс — і обов’язково підпишіться на Щотижневий бюлетень AI і додайте наш канал AI в закладки, Машина.

Спасибі за читання,

Кайл Віггерс

AI старший штатний автор

Джерело: https://venturebeat.com/2022/02/04/ai-weekly-deepminds-alphacode-automatic-age-verification-and-a-new-open-language-model/