Llama 3 выйдет в мае — стоит ли волноваться OpenAI? - Расшифровать

Llama 3 выйдет в мае — стоит ли волноваться OpenAI? – Расшифровать

Отметка времени: 10 апреля 2024 г., 7:46
Исходный узел: 2541215

На громком мероприятии по искусственному интеллекту в Лондоне руководители Meta во вторник предоставили первое официальное подтверждение и подробности о скором выпуске Llama 3, долгожданной следующей версии модели большого языка компании с открытым исходным кодом.

«В течение следующего месяца, а точнее меньше, и, надеюсь, в очень короткий период времени, мы надеемся начать выпуск нашего нового набора моделей фундаментов следующего поколения, Llama 3», — заявил Ник Клегг, президент Meta по глобальным вопросам, на Meta. День искусственного интеллекта в Лондоне, переправу TechCrunch.

Клегг сказал, что Llama 3 состоит из «нескольких различных моделей с разными возможностями и универсальностью», выпуск которых начнется в этом году.

После запуска Llama 3 ожидаемый быть самой продвинутой доступной моделью с открытым исходным кодом, и Meta вкладывает значительные средства в ее разработку. По словам Meta, модель была обучена с использованием 140 миллиардов параметров, что вдвое превышает мощность Llama 2. Генеральный директор Meta Марк Цукербург дразнить некоторые технические подробности в январе.

«Мы создаем массивную вычислительную инфраструктуру для поддержки нашей будущей дорожной карты, включая 350 тысяч H100 к концу этого года — и в целом почти 600 тысяч эквивалентов вычислений H100, если включить другие графические процессоры», — сказал тогда Цукерберг. Этот объем вычислительной мощности значительно превышает тот, который OpenAI использовал для обучения GPT-4, который был к XNUMX году потребуется около 25,000 90 графических процессоров в течение 100–XNUMX дней.

Цукерберг также показал, что Meta AI, его помощник по искусственному интеллекту, будет работать на базе Llama 3.

Крис Кокс, директор по продукту, сказал, что Llama 3 будет интегрирована в Meta.

«Наш план будет заключаться в том, чтобы Llama 3 поддерживала множество различных продуктов и возможностей в нашем семействе приложений», — сказал он.

Стратегия открытого исходного кода

Влияние выпуска Llama 3 выходит далеко за рамки Meta, учитывая философское стремление компании развивать ее как модель с открытым исходным кодом, что явно контрастирует с закрытым, проприетарным подходом, которого придерживаются такие конкуренты, как OpenAI с ChatGPT.

Открыв исходный код своих языковых моделей, Meta стремится развивать экосистему открытой разработки искусственного интеллекта и позиционировать семейство Llama в качестве основы для широкого спектра инструментов и приложений, созданных сторонними разработчиками и исследователями.

«Очень важно понимать, что инновации всегда основаны на предыдущем вкладе других, иногда очень похожих», — написал в Твиттере в прошлом месяце Ян Лекун, руководитель отдела исследований искусственного интеллекта Meta. «Вот почему открытые исследования так важны: они ускоряют развитие этой области для всех».

Эта открытый дух уже породил активное сообщество, сплотившееся вокруг Ламы. Некоторые из наиболее продвинутых на сегодняшний день языковых моделей с открытым исходным кодом, такие как Мистраль, Cоколи Beluga созданы путем доработки более ранней модели фундамента Llama 2. Некоторые из этих моделей сообщества соответствуют или превосходят GPT-3.5 по определенным критериям.

Выпуск Llama-3 в качестве еще одной базовой модели с открытым исходным кодом, вероятно, проложит путь к новому поколению LLM, которое установит еще более высокую планку с точки зрения качества и эффективности в области искусственного интеллекта.

Бросить вызов доминированию OpenAI

Идея Llama 3 с открытым исходным кодом представляет собой серьезный и многоуровневый вызов нынешнему доминированию OpenAI на рынке и, как следствие, другим проприетарным моделям, таким как Claude и Gemini.

Сообщество открытого исходного кода вскоре сможет опираться на Llama 3 и быстро повторять свои варианты для потенциально соответствовать или превосходить возможности GPT-4— точно так же, как они сделали это с GPT-3.5. Благодаря более низким затратам на обучение, разделенным между участниками, открытая экосистема может обойти разработку собственной модели OpenAI, которая требует огромных вычислительных ресурсов и затрат.

Если предложения с открытым исходным кодом будут регулярно достигать паритета с коммерческими предложениями, предприятия могут тяготеть к более доступным и экономически эффективным экосистемам, таким как Llama, вместо того, чтобы полагаться на OpenAI и платить за него. В настоящее время GPT-4 является самой дорогой моделью на рынке с точки зрения стоимости токена.

Кроме того, сообщество открытого исходного кода становится сильнее по мере того, как в него вовлекается все больше людей. Meta выигрывает от того, что огромное сообщество строится на основе модели, совершенствует ее, разрабатывает новые технологии и бесплатно улучшает ее. Это позволяет Meta разрабатывать лучшие версии своей модели, одновременно монетизируя ее с помощью альтернативных схем, таких как лицензирование его для коммерческого использования крупными отраслями промышленности.

Другими словами, сохраняющаяся инерция и сетевые эффекты могут затруднить привлечение пользователей и клиентов запатентованными моделями OpenAI в будущем.

Конечно, OpenAI в настоящее время удерживает сильное лидерство с точки зрения прибыльности. Anthropic может похвастаться самой эффективной программой LLM в сфере искусственного интеллекта. Но «Лама 3» станет еще одним стратегическим ударом Меты, призванным перевернуть ландшафт генеративного ИИ.

Конечно, многое зависит от реальной производительности Llama 3 и ее внедрения в следующем году. Но сообщество ИИ с открытым исходным кодом довольно активно — и уже любит Llama-2. В ближайшие несколько месяцев все станет очень интересно, особенно с GPT-5 от OpenAI. прямо за углом.

Под редакцией Райан Одзава.

Будьте в курсе крипто-новостей, получайте ежедневные обновления на свой почтовый ящик.

Отметка времени:

Больше от Decrypt