Интервью генерального директора: Джей Давани из Lemurian Labs – Semiwiki

Джей Давани является соучредителем и генеральным директором компании Лемурийские лаборатории, стартап, разрабатывающий платформу ускоренных вычислений, специально предназначенную для приложений искусственного интеллекта. Платформа преодолевает аппаратные барьеры, делая разработку ИИ быстрее, дешевле, устойчивее и доступнее для многих компаний.

До основания Lemurian Джей основал еще две компании в сфере искусственного интеллекта. Он также является автором самых рейтинговых «Математика для глубокого обучения".

Эксперт в области искусственного интеллекта, робототехники и математики, Джей работал техническим директором BlocPlay, публичной компании, создающей игровую платформу на основе блокчейна, а также директором по искусственному интеллекту в GEC, где он руководил разработкой нескольких клиентских проектов, охватывающих области из розничной торговли, алгоритмической торговли, сворачивания белков, роботов для исследования космоса, рекомендательных систем и многого другого. В свободное время он также работал советником в Лаборатории передовых разработок НАСА, Spacebit и SiaClassic.

В прошлый раз, когда мы рассказывали о Lemurian Labs, вы были сосредоточены на робототехнике и периферийном искусственном интеллекте. Теперь вы сосредоточены на центрах обработки данных и облачной инфраструктуре. Что случилось, что вам захотелось развернуться?

Действительно, мы перешли от создания высокопроизводительной системы на кристалле с низкой задержкой для автономных робототехнических приложений, которая могла бы ускорить весь цикл «чувство-план-действие», к созданию специализированного ускорителя для ИИ, ориентированного на приложения масштаба центра обработки данных. . Но это был не просто обычный поворот; это был громкий призыв, на который мы чувствовали ответственность.

В 2018 году мы работали над обучением модели с параметрами стоимостью 2.1 миллиарда долларов, но отказались от этой работы, поскольку стоимость была настолько чрезвычайно высока, что мы не могли ее оправдать. Итак, представьте мое удивление, что GPT3, которую OpenAI выпустила как ChatGPT в ноябре 2022 года, представляла собой модель параметров стоимостью 175 миллиардов долларов. Эта модель более чем в 80 раз больше той, над которой мы работали всего 4 года назад, что одновременно захватывает и пугает.

Стоимость обучения такой модели, мягко говоря, ошеломляет. Учитывая текущие тенденции масштабирования, мы можем ожидать, что в не столь отдаленном будущем стоимость обучения передовой модели ИИ превысит миллиард долларов. Хотя возможности этих моделей будут поразительными, их стоимость смехотворно высока. Если исходить из этой траектории, лишь горстка компаний с очень хорошими ресурсами и собственными центрами обработки данных смогут позволить себе обучение, развертывание и тонкую настройку этих моделей. Это происходит не только потому, что вычисления дороги и энергозатратны, но и потому, что программные стеки, на которые мы полагаемся, не были созданы для этого мира.

Из-за географических и энергетических ограничений количество мест для строительства центров обработки данных ограничено. Чтобы удовлетворить вычислительные потребности ИИ, нам нужно иметь возможность создавать машины зетта-масштаба, не требуя для их питания 20 ядерных реакторов. Нам нужно более практичное, масштабируемое и экономичное решение. Мы осмотрелись вокруг и не увидели никого, кто мог бы решить эту проблему. Итак, мы подошли к чертежной доске, чтобы взглянуть на проблему целостно как на систему систем и обдумать решение, исходя из первых принципов. Мы спросили себя, как бы мы спроектировали весь стек, от программного обеспечения до аппаратного обеспечения, если бы нам пришлось экономично обслуживать 10 миллиардов LLM-запросов в день. Мы нацелились на зеттамасштабную машину мощностью менее 200 МВт к 2028 году.

Хитрость заключается в том, чтобы взглянуть на это с точки зрения несоизмеримого масштабирования: разные части системы следуют разным правилам масштабирования, поэтому в какой-то момент все просто перестает работать, начинает ломаться или компромисс между затратами и выгодой больше не имеет смысла. В этом случае единственным выходом является перепроектирование системы. Наша оценка и решение охватывают рабочую нагрузку, систему счисления, модель программирования, компилятор, среду выполнения и аппаратное обеспечение в целом.

К счастью, наши существующие инвесторы и остальная часть рынка понимают это видение, и мы собрали начальный раунд в размере 9 миллионов долларов США для разработки нашего числового формата – PAL, чтобы изучить пространство для проектирования и прийти к архитектуре для нашего доменного ускорителя, а также спроектировать наш компилятор и среда выполнения. В ходе моделирования нам удалось добиться 20-кратного увеличения пропускной способности при меньшем потреблении энергии, чем у современных графических процессоров, и мы прогнозируем, что сможем обеспечить 8-кратное увеличение производительности системы при общей стоимости владения на той же транзисторной технологии.

Излишне говорить, что впереди нас ждет много работы, но мы очень воодушевлены перспективой пересмотреть экономику центров обработки данных, чтобы обеспечить будущее, в котором ИИ будет доступен каждому.

Это, конечно, звучит захватывающе, и эти цифры впечатляют. Но вы упомянули системы счисления, аппаратное обеспечение, компиляторы и среды выполнения как все то, на чем вы сосредоточены – звучит так, будто любая компания может взять на себя сразу много задач. Это кажется очень рискованным предложением. Разве стартапы не должны быть более целенаправленными? 

Звучит как множество разных усилий, но на самом деле это одно усилие со множеством взаимосвязанных частей. Решение только одного из этих компонентов в изоляции от остальных только затруднит потенциал инноваций, поскольку приведет к игнорированию системной неэффективности и узких мест. Дженсен Хуанг сказал это лучше всего: «Чтобы быть компанией, занимающейся ускоренными вычислениями, вы должны быть компанией полного стека», и я полностью с этим согласен. Они являются текущим лидером рынка не без причины. Но я бы оспорил мнение о том, что мы не сосредоточены. Наше внимание сосредоточено на том, как мы думаем о проблеме целостно и как лучше всего решить ее для наших клиентов.

Для этого требуется междисциплинарный подход, подобный нашему. Каждая часть нашей работы информирует и поддерживает другие, позволяя нам создать решение, которое представляет собой нечто гораздо большее, чем просто сумма ее частей. Представьте, что вам нужно построить гоночный автомобиль. Вы же не станете произвольно выбирать шасси, добавлять гоночные шины и устанавливать самый мощный двигатель, какой только сможете найти, и участвовать в гонках на нем, верно? Вы могли бы подумать об аэродинамике кузова автомобиля, чтобы уменьшить сопротивление и увеличить прижимную силу, оптимизировать распределение веса для хорошей управляемости, разработать индивидуальный дизайн двигателя для достижения максимальной производительности, получить систему охлаждения для предотвращения перегрева, выбрать каркас безопасности для обеспечения безопасности водителя. и т. д. Каждый из этих элементов основывается на другом и информирует его.

Тем не менее, рискованно пытаться сделать все это одновременно для любой компании в любой отрасли. Для управления рисками мы применяем поэтапный подход, что позволяет нам проверять нашу технологию на клиентах и ​​корректировать нашу стратегию по мере необходимости. Мы доказали, что наш числовой формат работает и что он имеет лучшее соотношение мощности и производительности, чем эквивалентные типы с плавающей запятой, а также лучшие числовые свойства, которые упрощают квантование нейронных сетей до меньшей разрядности. Мы разработали архитектуру, в которой уверены, и она подходит как для обучения, так и для вывода. Но важнее всего этого правильное программное обеспечение, и это основная наша непосредственная задача. Нам необходимо убедиться, что мы принимаем правильные решения в нашем стеке программного обеспечения в зависимости от того, каким мы видим мир через год, два или больше.

Создание компании по производству оборудования — это сложно, дорого и занимает много времени. Сосредоточение внимания на программном обеспечении само по себе кажется очень жизнеспособным бизнесом и потенциально более привлекательным для инвесторов в нынешних условиях. Почему вы также занимаетесь аппаратным обеспечением, если так много хорошо финансируемых компаний в этой отрасли закрывают свои двери, изо всех сил пытаясь добиться признания со стороны клиентов, а более крупные игроки создают собственное оборудование?

Вы абсолютно правы в том, что компаниям, занимающимся программным обеспечением, обычно гораздо легче привлечь капитал, чем компаниям, производящим оборудование, и что оборудование очень сложно. В настоящее время мы уделяем большое внимание программному обеспечению, потому что именно здесь мы видим большую проблему. Позвольте мне внести ясность: проблема не в том, смогу ли я запустить ядра на процессоре или графическом процессоре с высокой производительностью; это давно решенная проблема. Проблема сегодняшнего дня заключается в том, как нам облегчить разработчикам задачу повышения производительности при продуктивном использовании нескольких тысяч кластеров узлов, состоящих из разнородных вычислений, не требуя от них пересмотра рабочего процесса.

Это проблема, которую мы в настоящее время сосредоточены на решении с помощью программного стека, который дает разработчикам сверхспособности и раскрывает все возможности компьютеров складского масштаба, чтобы мы могли более экономично обучать и развертывать модели искусственного интеллекта.

Что касается инвестиций, да, венчурные капиталисты более избирательны в выборе компаний, которые они поддерживают, но это также означает, что венчурные капиталисты ищут компании, способные предложить действительно новаторские продукты, которые имеют четкий путь к коммерциализации, но при этом оказывают значительное влияние. Мы извлекли уроки из проблем и ошибок других и активно разработали нашу бизнес-модель и дорожную карту для устранения рисков. Также важно отметить, что успех стартапов редко достигается за счет того, насколько легко они могут привлечь венчурное финансирование, а больше за счет их находчивости, упрямства и ориентации на клиента.

И прежде чем вы спросите: мы все еще работаем над аппаратным обеспечением, но сейчас в основном над симуляцией. Мы не намерены какое-то время записываться на пленку. Но мы можем отложить этот разговор до другого раза.

Это, безусловно, убедительно, и ваш поэтапный подход сильно отличается от того, что мы видели у других производителей оборудования. Я понимаю проблему, которую, как вы говорите, решит ваш набор программного обеспечения, но чем ваше программное обеспечение отличается от различных предложений на рынке?

Большинство компаний, о которых вы говорите, сосредотачивают усилия на упрощении программирования графических процессоров, внедряя модели программирования на основе плиток или сопоставления задач, чтобы добиться большей производительности графических процессоров, или создавая новые языки программирования, чтобы получить высокопроизводительные ядра, запланированные на разные платформы с поддержкой поточной сборки. Это важные проблемы, которые они решают, но мы считаем проблему, которую решаем, почти ортогональной.

Давайте на минутку задумаемся о темпах перехода к аппаратному и программному обеспечению. Одноядерные архитектуры увеличили производительность за счет тактовой частоты и плотности транзисторов, но в конечном итоге тактовые частоты вышли на плато. Параллелизм с использованием многих ядер позволил обойти эту проблему и обеспечить значительное ускорение. Программному обеспечению потребовалось примерно десять лет, чтобы наверстать упущенное, поскольку пришлось переосмыслить модели программирования, компиляторы и среды выполнения, чтобы помочь разработчикам извлечь выгоду из этой парадигмы. Затем графические процессоры стали превращаться в ускорители общего назначения, опять же с другой моделью программирования. Опять же, разработчикам потребовалось почти десять лет, чтобы извлечь из этого пользу.

И снова аппаратное обеспечение выходит на плато – закон Мура, энергетические и температурные ограничения, узкие места памяти и разнообразие рабочих нагрузок, а также потребность в экспоненциально большем количестве вычислений подталкивают нас к созданию все более гетерогенных компьютерных архитектур для повышения производительности, эффективности и общей стоимости. Этот сдвиг в аппаратном обеспечении, конечно, создаст проблемы для программного обеспечения, поскольку у нас нет подходящих компиляторов и сред выполнения для поддержки следующего развития вычислений. Однако на этот раз нам не придется ждать еще 10 лет, пока программное обеспечение сможет извлечь выгоду из гетерогенных архитектур или больших кластеров, особенно когда они остаются неиспользуемыми более чем на 80%.

На чем мы концентрируемся, так это на построении модели программирования с учетом гетерогенности и параллелизмом на основе задач, обеспечении портативной производительности за счет межпроцессорной оптимизации, контекстно-зависимой компиляции и динамического распределения ресурсов. И для нас не имеет значения, будет ли это CPU, GPU, TPU, SPU (архитектура Лемурии) или их совокупность. Я знаю, что это звучит как много причудливых слов, но на самом деле это говорит о том, что мы сделали возможным программировать любой тип процессора с помощью единого подхода, и мы можем переносить код с одного типа процессора на другой с минимальными затратами. усилий без необходимости жертвовать производительностью и планировать работу адаптивно и динамически между узлами.

Если то, что вы говорите, правда, вы можете просто полностью переопределить компьютерные технологии. Давайте поговорим о финансировании. В прошлом году вы привлекли 9 миллионов долларов стартового финансирования, что означает сильную поддержку инвесторов и веру в ваше видение. Что ты сделал с тех пор?

За прошедший год, благодаря стартовому финансированию, мы добились значительных успехов. Теперь, когда наша команда насчитывает 20 человек, мы тщательно решали проблемы, общались с клиентами и совершенствовали наш подход.

Мы сосредоточились на улучшении PAL для обучения и вывода, изучили компьютерную архитектуру нашего ускорителя и разработали симулятор показателей производительности. Одновременно мы переосмыслили наш стек программного обеспечения для приложений центров обработки данных, уделив особое внимание гетерогенным вычислениям.

Результатом этих усилий стала четко определенная архитектура, демонстрирующая эффективность PAL для ИИ в большом масштабе. Помимо технических достижений, мы стремились к сотрудничеству и разъяснительной работе с целью демократизации доступа. Эти усилия позволяют Lemurian Labs решать насущные проблемы клиентов, готовясь к выпуску нашего производственного кремния.

Каковы среднесрочные планы Lemurian Labs относительно разработки стека программного обеспечения, сотрудничества и улучшения архитектуры ускорителя?

Наша ближайшая цель — создать программный стек, ориентированный на процессоры, графические процессоры и наши ускорители искусственного интеллекта с портативной производительностью, который будет доступен первым партнерам в конце года. В настоящее время мы ведем переговоры с большинством ведущих компаний-производителей полупроводников, поставщиков облачных услуг, гипермасштабировщиков и компаний, занимающихся искусственным интеллектом, с целью предоставить им доступ к нашему компилятору и среде выполнения. Параллельно мы продолжаем работать над и совершенствовать архитектуру нашего ускорителя, чтобы создать по-настоящему совместно разработанную систему аппаратного и программного обеспечения. И, конечно же, мы только что начали поднимать нашу серию А при очень сильном интересе со стороны сообщества инвесторов, что позволит нам расширить нашу команду и достичь нашей цели по поставке программного продукта в конце года.

В заключение, каким, по вашему мнению, Lemurian Labs внесет свой вклад в изменение ландшафта развития искусственного интеллекта, доступности и равенства в ближайшие годы?

Мы не собирались переосмысливать компьютерные технологии только ради коммерческой выгоды или ради удовольствия. Наша движущая сила, как лемурийцев, заключается в том, что мы верим в преобразующий потенциал ИИ и в то, что больше, чем несколько компаний должны иметь ресурсы, чтобы определять будущее этой технологии и то, как мы ее используем. Мы также не считаем приемлемым, что к 20 году инфраструктура центров обработки данных для искусственного интеллекта будет потреблять до 2030% мировой энергии. Мы все собрались вместе, потому что считаем, что для общества существует лучший путь вперед, если мы сможем ИИ становится более доступным за счет значительного снижения связанных с ним затрат, ускоряет темпы инноваций в области ИИ и расширяет их влияние. Решая проблемы существующей аппаратной инфраструктуры, мы стремимся проложить путь к расширению возможностей миллиарда человек возможностями искусственного интеллекта, гарантируя справедливое распространение этой передовой технологии. Мы надеемся, что наша приверженность решениям, ориентированным на продукты, сотрудничеству и постоянным инновациям, сделает нас движущей силой в формировании позитивного будущего развития искусственного интеллекта.

Читайте также:

Поделитесь этим постом через:

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://semiwiki.com/ceo-interviews/341485-ceo-interview-jay-dawani-of-lemurian-labs-2/