Моделі Meta Llama 3 тепер доступні в Amazon SageMaker JumpStart | Веб-сервіси Amazon

Сьогодні ми раді повідомити, що моделі основи Meta Llama 3 доступні Amazon SageMaker JumpStart для розгортання та запуску висновку. Моделі Llama 3 — це набір попередньо підготовлених і точно налаштованих генеративних текстових моделей.

У цій публікації ми розглянемо, як виявити та розгорнути моделі Llama 3 за допомогою SageMaker JumpStart.

Що таке Meta Llama 3

Llama 3 поставляється в двох розмірах параметрів — 8B і 70B з довжиною контексту 8k, — які можуть підтримувати широкий спектр варіантів використання з покращеними міркуваннями, генерацією коду та дотриманням інструкцій. Llama 3 використовує трансформаторну архітектуру лише декодера та новий токенизатор, який забезпечує покращену продуктивність моделі з розміром 128 Кб. Крім того, Meta вдосконалила процедури після тренінгу, які значно знизили рівень помилкових відмов, покращили узгодженість і збільшили різноманітність відповідей моделі. Тепер ви можете отримати сукупні переваги продуктивності Llama 3 і елементів керування MLOps за допомогою таких функцій Amazon SageMaker, як SageMaker Pipelines, SageMaker Debugger або журнали контейнерів. Крім того, модель буде розгорнуто в захищеному середовищі AWS під керуванням вашого VPC, допомагаючи забезпечити безпеку даних.

Що таке SageMaker JumpStart

За допомогою SageMaker JumpStart ви можете вибрати з широкого вибору загальнодоступних моделей основи. Практикуючі ML можуть розгортати базові моделі на виділених примірниках SageMaker із ізольованого мережевого середовища та налаштовувати моделі за допомогою SageMaker для навчання та розгортання моделей. Тепер ви можете відкривати та розгортати моделі Llama 3 кількома клацаннями миші Студія Amazon SageMaker або програмно за допомогою SDK SageMaker Python, що дає змогу отримувати продуктивність моделі та елементи керування MLOps за допомогою таких функцій SageMaker, як Трубопроводи SageMaker, Налагоджувач SageMaker, або контейнерні журнали. Модель розгортається в захищеному середовищі AWS і під керуванням вашого VPC, що допомагає забезпечити безпеку даних. Моделі Llama 3 доступні сьогодні для розгортання та виведення в Amazon SageMaker Studio в us-east-1 (Н. Вірджинія), us-east-2 (Огайо), us-west-2 (Орегон), eu-west-1 (Ірландія) і ap-northeast-1 (Токіо) Регіони AWS.

Відкрийте для себе моделі

Ви можете отримати доступ до базових моделей через SageMaker JumpStart в інтерфейсі користувача SageMaker Studio та SageMaker Python SDK. У цьому розділі ми розглянемо, як знайти моделі в SageMaker Studio.

SageMaker Studio — це інтегроване середовище розробки (IDE), яке забезпечує єдиний візуальний веб-інтерфейс, де ви можете отримати доступ до спеціально створених інструментів для виконання всіх етапів розробки ML, від підготовки даних до створення, навчання та розгортання ваших моделей ML. Докладніше про те, як розпочати роботу та налаштувати SageMaker Studio, див Студія Amazon SageMaker.

У SageMaker Studio ви можете отримати доступ до SageMaker JumpStart, який містить попередньо навчені моделі, блокноти та готові рішення, у розділі Готові та автоматизовані рішення.

На цільовій сторінці SageMaker JumpStart ви можете легко знайти різні моделі, переглядаючи різні центри, названі на честь постачальників моделей. Ви можете знайти моделі Llama 3 в Meta hub. Якщо ви не бачите моделі Llama 3, оновіть версію SageMaker Studio, завершивши роботу та перезапустивши її. Для отримання додаткової інформації див Вимкніть і оновіть класичні програми Studio.

Ви можете знайти моделі Llama 3, ввівши в пошуковий рядок «Meta-llama-3» у верхньому лівому кутку.

Ви можете знайти всі моделі Meta, доступні в SageMaker JumpStart, натиснувши на Meta hub.

Натискання картки моделі відкриває відповідну сторінку деталей моделі, з якої ви можете легко розгорнути модель.

Розгорнути модель

Коли ви обираєте Розгортання і підтвердьте умови ліцензійної угоди, розпочнеться розгортання.

Ви можете відстежувати хід розгортання на сторінці, яка з’являється після натискання кнопки Розгорнути.

Можна також вибрати Відкрийте блокнот розгортати через приклад зошита. Приклад блокнота містить наскрізні вказівки щодо того, як розгорнути модель для висновків і очистити ресурси.

Щоб розгорнути використання ноутбука, ви починаєте з вибору відповідної моделі, зазначеної в model_id. Ви можете розгорнути будь-яку з вибраних моделей на SageMaker за допомогою наступного коду.

from sagemaker.jumpstart.model import JumpStartModel

model = JumpStartModel(model_id = "meta-textgeneration-llama-3-70b-instruct")
predictor = model.deploy(accept_eula=False)

За замовчуванням accept_eula встановлений в False. Вам потрібно вручну прийняти ліцензійну угоду для успішного розгортання кінцевої точки. Роблячи це, ви приймаєте ліцензійну угоду користувача та політику прийнятного використання. Ви також можете знайти ліцензійну угоду Веб-сайт лами. Це розгортає модель на SageMaker із конфігураціями за замовчуванням, включаючи тип екземпляра за замовчуванням і конфігурації VPC за замовчуванням. Ви можете змінити цю конфігурацію, вказавши значення, відмінні від замовчування JumpStartModel. Щоб дізнатися більше, зверніться до наступного документація.

У наведеній нижче таблиці перераховано всі моделі Llama 3, доступні в SageMaker JumpStart разом із model_ids, типові екземпляри за замовчуванням і максимальна кількість загальних маркерів (сума кількості введених маркерів і кількості згенерованих маркерів), підтримуваних для кожної з цих моделей.

Виконайте висновок

Після розгортання моделі ви можете виконати висновок щодо розгорнутої кінцевої точки за допомогою предиктора SageMaker. Тонко налаштовані моделі інструкцій (Llama 3: 8B Instruct та 70B Instruct) приймають історію чатів між користувачем і помічником чату та генерують наступний чат. Попередньо навчені моделі (Llama 3: 8B і 70B) вимагають рядкової підказки та виконують завершення тексту за наданою підказкою.

predictor.predict(payload)

Параметри висновку керують процесом генерації тексту в кінцевій точці. Нові токени Max контролюють розмір вихідних даних, створених моделлю. Це не те саме, що кількість слів, оскільки словниковий запас моделі не такий самий, як словниковий запас англійської мови, і кожна лексема може не бути словом англійської мови. Параметр температури контролює випадковість виходу. Більш висока температура призводить до більшої творчості та галюцинацій. Усі параметри висновку є необов’язковими.

Приклад підказок для моделі 70B

Ви можете використовувати моделі Llama 3 для завершення будь-якого тексту. За допомогою генерації тексту ви можете виконувати різноманітні завдання, наприклад відповідати на запитання, перекладати мовою, аналізувати настрої тощо. Вхідне навантаження на кінцеву точку виглядає так:

payload = {
    “inputs”: str,
   (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Нижче наведено кілька прикладів підказок і тексту, створеного моделлю. Усі виходи генеруються з параметрами висновку {"max_new_tokens":64, "top_p":0.9, "temperature":0.6}.

Input: Simply put, the theory of relativity states that
Output: 1) the laws of physics are the same for all observers, and 2) the speed of light is constant for all observers. The first part of the theory is known as the special theory of relativity, and the second part is known as the general theory of relativity.nThe special theory of relativity states

Input: I believe the meaning of life is
Output:  to live a life of purpose, on purpose. I believe that we are all here to make a difference in the world, and that we are all here to make a difference in the lives of others. I believe that we are all here to make a difference in the world, and that we are all here to mak

Input: A brief message congratulating the team on the launch:nnHi everyone,nnI just 
Output: wanted to say congratulations on the launch of the new website! It looks great and I'm sure it will be a valuable resource for our customers. I know that a lot of hard work went into making this happen, so thank you all for your efforts.nnBest regards,nJohn Doen

У наступному прикладі ми показуємо, як використовувати моделі Llama 3 з невеликою кількістю знімків у контексті навчання, де ми надаємо навчальні зразки, доступні для моделі. Ми виконуємо висновок лише для розгорнутої моделі та під час цього процесу, а ваги моделі не змінюються.

Input:
Translate English to French:nsea otter => loutre de mernpeppermint => menthe poivréenplush girafe => girafe peluchencheese =>
Output:  fromagenpanda => pandanpenguin => pingouinnpolar bear => ours polairenpuffin => macareuxnsloth => paresseuxnwalrus => morsenwhale => baleinenzebra => zu00e8brenTranslate English to German:n

Приклад підказок для моделі 70B-Instruct

З моделями інструкцій Llama 3, оптимізованими для випадків використання діалогу, вхідними даними для кінцевих точок моделі інструкцій є попередня історія між помічником у чаті та користувачем. Ви можете задавати питання, пов’язані з розмовою, яка відбулася до цього часу. Ви також можете надати конфігурацію системи, як-от особи, які визначають поведінку помічника в чаті. Хоча формат вхідного корисного навантаження такий самий, як базова попередньо навчена модель, вхідний текст має бути відформатований у такий спосіб:

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

[SYSTEM_TEXT]<|eot_id|><|start_header_id|>user<|end_header_id|>

[USER_TEXT]<|eot_id|><|start_header_id|>assistant<|end_header_id|>

У цьому шаблоні інструкції ви можете почати з a system роль і включити в покрокову історію стільки змінних ролей, скільки забажаєте. Остаточна роль повинна бути завжди assistant і закінчується двома новими переходами рядка.

Далі розглянемо кілька прикладів підказок і відповідей моделі. У наступному прикладі користувач ставить просте запитання помічнику.

Input: <|begin_of_text|><|start_header_id|>user<|end_header_id|>nnwhat is the recipe of mayonnaise?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: The classic condiment! Mayonnaise is a thick, creamy emulsion sauce made from a combination of oil, egg yolks, acid (such as vinegar or lemon juice), and seasonings. Here's a simple recipe to make mayonnaise at home:nn**Ingredients:**nn* 2 egg yolksn* 1 tablespoon lemon juice or vinegar (such as apple cider vinegar or white wine vinegar)n* 1/2 teaspoon Dijon mustard (optional, but recommended for flavor)n* 1/2 cup (120 ml) neutral-tasting oil, such as canola, grapeseed, or sunflower oiln* Salt, to tastenn**Instructions:**nn1. **Start with room temperature ingredients**: This is crucial for emulsification to occur.n2. **In a medium-sized bowl**, whisk together the egg yolks, lemon juice or vinegar, and Dijon mustard (if using) until well combined.n3. **Slowly add the oil**: While continuously whisking the egg yolk mixture, slowly pour in the oil in a thin, steady stream. Start with a very slow drizzle and gradually increase the flow as the mixture thickens.n4. **Whisk constantly**: Keep whisking until the mixture has doubled in volume and has a thick, creamy consistency. This should take about 5-7 minutes.n5. **Check the consistency**: Stop whisking when the mayonnaise has reached the desired consistency. It should be smooth, thick, and hold its shape when the whisk is lifted.n6. **Season with salt**: Add salt to taste, and whisk until well combined.n7. **Taste and adjust**: If the mayonnaise is too thick, add a little water. If it's not thick enough, add a little more oil.nn**Tips and Variations:**nn* Use a neutral-tasting oil to avoid flavoring the mayonnaise.n* If you're using a stand mixer, use the whisk attachment and start with a slow speed, increasing as needed.n* Add flavorings like minced garlic, chopped fresh herbs (e.g., parsley, dill, or tarragon), or grated ginger to create different flavor profiles.n* For a lighter mayonnaise, use only 1 egg yolk or add a little water to thin it out.n* If the mayonnaise breaks or separates, don't worry! Simply start again with a new egg yolk and slowly whisk in the broken mayonnaise.nn**Homemade Mayonnaise vs. Store-Bought:**nnWhile store-bought mayonnaise is convenient, homemade mayonnaise offers several advantages:nn* Freshness: Homemade mayonnaise is made to order, ensuring optimal flavor and texture.n* Customization: You can tailor the flavor to your liking with various seasonings and ingredients.n* No preservatives: Homemade mayonnaise doesn't contain added preservatives, making it a healthier option.nnEnjoy your freshly made mayonnaise!

У наступному прикладі користувач веде розмову з помічником про туристичні місця в Парижі. Потім користувач запитує про перший варіант, рекомендований помічником у чаті.

Input: <|begin_of_text|><|start_header_id|>user<|end_header_id|>nnI am going to Paris, what should I see?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nnParis, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris:nn1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.n2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.n3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows.nnThese are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world.<|eot_id|><|start_header_id|>user<|end_header_id|>nnWhat is so great about #1?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: The Eiffel Tower! It's an iconic symbol of Paris and one of the most recognizable landmarks in the world. Here are some reasons why it's so great:nn1. **Engineering marvel**: When it was built for the 1889 World's Fair, the Eiffel Tower was a groundbreaking feat of engineering. It was the tallest structure in the world at the time, standing at 324 meters (1,063 feet).n2. **Panoramic views**: The Eiffel Tower offers breathtaking 360-degree views of the city from its observation decks. You can see many of Paris' famous landmarks, such as the Seine River, the Louvre, and Montmartre.n3. **Romantic atmosphere**: The Eiffel Tower is often associated with romance and is a popular spot for proposals, weddings, and romantic dinners. The tower's iron latticework and twinkling lights at night add to its romantic ambiance.n4. **Historical significance**: The Eiffel Tower has played a significant role in French history, serving as a communication tower during World War I and a symbol of French culture and engineering.n5. **Accessibility**: The Eiffel Tower is easily accessible by public transportation or on foot, and there are various ways to experience it, including taking the stairs, elevator, or a guided tour.n6. **Nighttime spectacle**: The Eiffel Tower is even more magical at night, when it's illuminated with thousands of twinkling lights. The light show, known as the "Eiffel Tower Sparkle," takes place every hour on the hour from dusk to midnight.n7. **Iconic status**: The Eiffel Tower has been featured in countless films, literature, and art, making it an instantly recognizable symbol of Paris and France.nnOverall, the Eiffel Tower is a must-visit attraction in Paris, offering a unique combination of history, engineering, romance, and stunning views.

У наступних прикладах ми встановлюємо конфігурацію системи.

Input: <|begin_of_text|><|start_header_id|>system<|end_header_id|>nnAlways answer with Haiku<|eot_id|><|start_header_id|>user<|end_header_id|>nnI am going to Paris, what should I see?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: Eiffel's iron lacenRiver Seine's gentle flow bynMontmartre's charm calls
Input: <|begin_of_text|><|start_header_id|>system<|end_header_id|>nnAlways answer with emojis<|eot_id|><|start_header_id|>user<|end_header_id|>nnHow to go from Beijing to NY?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: ✈️🛬️🇺🇸

Прибирати

Після того, як ви завершите роботу блокнота, обов’язково видаліть усі ресурси, які ви створили в процесі, щоб виставлення рахунків припинилося. Використовуйте наступний код:

predictor.delete_model()
predictor.delete_endpoint()

Висновок

У цій публікації ми показали вам, як розпочати роботу з моделями Llama 3 у SageMaker Studio. Тепер у вас є доступ до чотирьох моделей основи Llama 3, які містять мільярди параметрів. Оскільки базові моделі попередньо навчені, вони також можуть допомогти знизити витрати на навчання та інфраструктуру, а також уможливити налаштування для вашого випадку використання. Перевірити SageMaker JumpStart у SageMaker Studio, щоб почати.

Про авторів

Кайл Ульріх є прикладним науковцем II в AWS
Сінь Хуан є старшим науковим співробітником AWS
Цин Лан є старшим інженером-розробником програмного забезпечення в AWS
Хаотян Ан є інженером-розробником програмного забезпечення II в AWS
Крістофер Віттен є інженером з розробки програмного забезпечення II в AWS
Тайлер Остерберг є інженером із розробки програмного забезпечення I в AWS
Манан -шах є менеджером з розробки програмного забезпечення в AWS
Джонатан Гінегань є старшим інженером-розробником програмного забезпечення в AWS
Адріана Сіммонс є старшим менеджером з маркетингу продуктів в AWS
Джун Вон є старшим менеджером із продуктів в AWS
Ашиш Хетан є старшим науковим співробітником AWS
Рачна Чадха є головним архітектором рішень – AI/ML в AWS
Діпак Рупакула є головним спеціалістом GTM в AWS

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
• PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
• ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
• PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
• джерело: https://aws.amazon.com/blogs/machine-learning/meta-llama-3-models-are-now-available-in-amazon-sagemaker-jumpstart/