اليوم، يسعدنا أن نعلن عن توفر نماذج كريم الأساس Meta Llama 3 من خلال أمازون سيج ميكر جومب ستارت لنشر وتشغيل الاستدلال. نماذج Llama 3 عبارة عن مجموعة من نماذج النصوص التوليدية المدربة مسبقًا والمضبوطة بدقة.
في هذا المنشور، نتعرف على كيفية اكتشاف نماذج Llama 3 ونشرها عبر SageMaker JumpStart.
ما هو ميتا لاما 3
يأتي Llama 3 بحجمين من المعلمات — 8B و70B مع طول سياق 8k — الذي يمكنه دعم نطاق واسع من حالات الاستخدام مع تحسينات في الاستدلال وتوليد التعليمات البرمجية واتباع التعليمات. يستخدم Llama 3 بنية محولات وحدة فك التشفير فقط وأداة رمزية جديدة توفر أداءً محسنًا للنموذج بحجم 128 كيلو بايت. بالإضافة إلى ذلك، قامت ميتا بتحسين إجراءات ما بعد التدريب مما أدى إلى خفض معدلات الرفض الكاذب بشكل كبير، وتحسين التوافق، وزيادة التنوع في الاستجابات النموذجية. يمكنك الآن استخلاص المزايا المجمعة لأداء Llama 3 وعناصر تحكم MLOps من خلال ميزات Amazon SageMaker مثل SageMaker Pipelines أو SageMaker Debugger أو سجلات الحاوية. بالإضافة إلى ذلك، سيتم نشر النموذج في بيئة AWS الآمنة تحت ضوابط VPC الخاصة بك، مما يساعد على توفير أمان البيانات.
ما هو برنامج SageMaker JumpStart
باستخدام SageMaker JumpStart، يمكنك الاختيار من بين مجموعة واسعة من نماذج الأساس المتاحة للعامة. يمكن لممارسي تعلم الآلة نشر النماذج الأساسية لمثيلات SageMaker المخصصة من بيئة شبكة معزولة وتخصيص النماذج باستخدام SageMaker للتدريب على النماذج ونشرها. يمكنك الآن اكتشاف نماذج Llama 3 ونشرها ببضع نقرات أمازون ساجميكر ستوديو أو برمجيًا من خلال SageMaker Python SDK ، مما يتيح لك اشتقاق أداء النموذج وعناصر تحكم MLOps باستخدام ميزات SageMaker مثل خطوط الأنابيب SageMaker, مصحح أخطاء SageMakerأو سجلات الحاوية. يتم نشر النموذج في بيئة AWS الآمنة وتحت ضوابط VPC الخاصة بك، مما يساعد على توفير أمان البيانات. تتوفر نماذج Llama 3 اليوم للنشر والاستدلال في Amazon SageMaker Studio في us-east-1
(ن. فرجينيا)، us-east-2
(أوهايو) ، us-west-2
(أوريغون)، eu-west-1
(أيرلندا) و ap-northeast-1
(طوكيو) مناطق AWS.
اكتشف الموديلات
يمكنك الوصول إلى نماذج الأساس من خلال SageMaker JumpStart في SageMaker Studio UI و SageMaker Python SDK. في هذا القسم ، ننتقل إلى كيفية اكتشاف النماذج في SageMaker Studio.
SageMaker Studio عبارة عن بيئة تطوير متكاملة (IDE) توفر واجهة مرئية واحدة قائمة على الويب حيث يمكنك الوصول إلى الأدوات المصممة لغرض تنفيذ جميع خطوات تطوير ML ، من إعداد البيانات إلى البناء والتدريب ونشر نماذج ML الخاصة بك. لمزيد من التفاصيل حول كيفية البدء وإعداد SageMaker Studio ، يرجى الرجوع إلى أمازون ساجميكر ستوديو.
في SageMaker Studio، يمكنك الوصول إلى SageMaker JumpStart، الذي يحتوي على نماذج ودفاتر ملاحظات وحلول تم إنشاؤها مسبقًا، ضمن حلول آلية ومبنية مسبقًا.
من الصفحة المقصودة لـ SageMaker JumpStart، يمكنك بسهولة اكتشاف نماذج متنوعة من خلال تصفح المحاور المختلفة التي تم تسميتها بأسماء موفري النماذج. يمكنك العثور على نماذج Llama 3 في Meta hub. إذا لم تشاهد نماذج Llama 3، فيرجى تحديث إصدار SageMaker Studio الخاص بك عن طريق إيقاف التشغيل وإعادة التشغيل. لمزيد من المعلومات، راجع قم بإيقاف تشغيل تطبيقات Studio Classic وتحديثها.
يمكنك العثور على نماذج Llama 3 من خلال البحث عن "Meta-llama-3" من مربع البحث الموجود في أعلى اليسار.
يمكنك اكتشاف جميع نماذج التعريف المتوفرة في SageMaker JumpStart بالنقر فوق Meta hub.
يؤدي النقر فوق بطاقة النموذج إلى فتح صفحة تفاصيل النموذج المقابل، والتي يمكنك من خلالها نشر النموذج بسهولة.
نشر نموذج
عندما تختار نشر والموافقة على شروط اتفاقية ترخيص المستخدم النهائي، سيبدأ النشر.
يمكنك مراقبة تقدم عملية النشر على الصفحة التي تظهر بعد النقر على زر النشر.
بدلاً من ذلك ، يمكنك الاختيار افتح دفتر الملاحظات للنشر من خلال دفتر الملاحظات المثال. يوفر نموذج دفتر الملاحظات إرشادات شاملة حول كيفية نشر النموذج للاستدلال وتنظيف الموارد.
للنشر باستخدام دفتر الملاحظات، عليك أن تبدأ بتحديد النموذج المناسب، المحدد بواسطة model_id
. يمكنك نشر أي من النماذج المحددة على SageMaker باستخدام الكود التالي.
افتراضيا accept_eula
ومن المقرر أن False
. يتعين عليك قبول اتفاقية ترخيص المستخدم النهائي (EULA) يدويًا لنشر نقطة النهاية بنجاح، ومن خلال القيام بذلك، فإنك تقبل اتفاقية ترخيص المستخدم وسياسة الاستخدام المقبول. يمكنك أيضًا العثور على اتفاقية الترخيص موقع لاما. يؤدي هذا إلى نشر النموذج على SageMaker مع التكوينات الافتراضية بما في ذلك نوع المثيل الافتراضي وتكوينات VPC الافتراضية. يمكنك تغيير هذه التكوينات عن طريق تحديد قيم غير افتراضية في JumpStartModel
. لمعرفة المزيد، يرجى الرجوع إلى ما يلي توثيق.
يسرد الجدول التالي كافة نماذج Llama 3 المتوفرة في SageMaker JumpStart بالإضافة إلى model_ids
وأنواع المثيلات الافتراضية والحد الأقصى لعدد الرموز المميزة (مجموع عدد الرموز المميزة للإدخال وعدد الرموز المميزة التي تم إنشاؤها) المدعومة لكل من هذه النماذج.
نموذج الاسم | معرف النموذج | ماكس إجمالي الرموز | نوع المثيل الافتراضي |
ميتا لاما-3-8ب | meta-textgeneration-llama-3-8B | 8192 | ml.g5.12xlarge |
Meta-Llama-3-8B-Instruct | meta-textgeneration-llama-3-8B-instruct | 8192 | ml.g5.12xlarge |
ميتا لاما-3-70ب | جيل النص الفوقي-اللاما-3-70 ب | 8192 | ml.p4d.24xlarge |
Meta-Llama-3-70B-Instruct | meta-textgeneration-llama-3-70b-instruct | 8192 | ml.p4d.24xlarge |
تشغيل الاستدلال
بعد نشر النموذج، يمكنك تشغيل الاستدلال مقابل نقطة النهاية المنشورة من خلال أداة التوقع SageMaker. نماذج التعليمات المضبوطة (Llama 3: 8B Instruct و70B Instruct) تقبل سجل المحادثات بين المستخدم ومساعد الدردشة، وتقوم بإنشاء الدردشة اللاحقة. تتطلب النماذج المدربة مسبقًا (Llama 3: 8B و70B) موجه سلسلة وتقوم بإكمال النص على الموجه المقدم.
تتحكم معلمات الاستدلال في عملية إنشاء النص عند نقطة النهاية. تتحكم الرموز المميزة Max الجديدة في حجم الإخراج الناتج عن النموذج. وهذا ليس نفس عدد الكلمات لأن مفردات النموذج ليست هي نفس مفردات اللغة الإنجليزية، وقد لا يكون كل رمز مميز كلمة لغة إنجليزية. تتحكم معلمة درجة الحرارة في العشوائية في الإخراج. يؤدي ارتفاع درجة الحرارة إلى المزيد من المخرجات الإبداعية والهلوسة. جميع معلمات الاستدلال اختيارية.
يطالب المثال لنموذج 70B
يمكنك استخدام نماذج Llama 3 لإكمال النص لأي جزء من النص. من خلال إنشاء النص، يمكنك تنفيذ مجموعة متنوعة من المهام مثل الإجابة على الأسئلة وترجمة اللغة وتحليل المشاعر والمزيد. تبدو حمولة الإدخال إلى نقطة النهاية مثل الكود التالي:
فيما يلي بعض نماذج المطالبات والنص الذي تم إنشاؤه بواسطة النموذج. يتم إنشاء جميع المخرجات باستخدام معلمات الاستدلال {"max_new_tokens":64, "top_p":0.9, "temperature":0.6}
.
في المثال التالي، نعرض كيفية استخدام نماذج Llama 3 مع القليل من التعلم في السياق حيث نقدم عينات تدريبية متاحة للنموذج. نحن نجري الاستدلال فقط على النموذج المنشور وخلال هذه العملية، ولا تتغير أوزان النموذج.
أمثلة للمطالبات لنموذج 70B-Instruct
باستخدام نماذج تعليمات Llama 3 التي تم تحسينها لحالات استخدام الحوار، يكون الإدخال إلى نقاط نهاية نموذج التعليمات هو السجل السابق بين مساعد الدردشة والمستخدم. يمكنك طرح أسئلة سياقية للمحادثة التي حدثت حتى الآن. يمكنك أيضًا توفير تكوين النظام، مثل الشخصيات، التي تحدد سلوك مساعد الدردشة. في حين أن تنسيق حمولة الإدخال هو نفس النموذج الأساسي المُدرب مسبقًا، إلا أنه يجب تنسيق نص الإدخال بالطريقة التالية:
في قالب التعليمات هذا، يمكنك اختياريًا البدء بـ system
الدور ويتضمن أكبر عدد ممكن من الأدوار المتناوبة حسب الرغبة في التاريخ القائم على الأدوار. وينبغي أن يكون الدور الأخير دائما assistant
وتنتهي بخلاصتين جديدتين.
بعد ذلك، فكر في بعض أمثلة المطالبات والاستجابات من النموذج. في المثال التالي، يقوم المستخدم بطرح سؤال بسيط على المساعد.
في المثال التالي، يجري المستخدم محادثة مع المساعد حول المواقع السياحية في باريس. ثم يستفسر المستخدم عن الخيار الأول الذي أوصى به مساعد الدردشة.
في الأمثلة التالية، قمنا بضبط تكوين النظام.
تنظيف
بعد الانتهاء من تشغيل دفتر الملاحظات، تأكد من حذف كافة الموارد التي قمت بإنشائها في العملية حتى يتم إيقاف الفوترة. استخدم الكود التالي:
وفي الختام
في هذا المنشور، أوضحنا لك كيفية البدء باستخدام نماذج Llama 3 في SageMaker Studio. يمكنك الآن الوصول إلى أربعة نماذج أساسية من Llama 3 تحتوي على مليارات المعلمات. نظرًا لأن النماذج الأساسية تم تدريبها مسبقًا، فيمكنها أيضًا المساعدة في تقليل تكاليف التدريب والبنية التحتية وتمكين التخصيص لحالة الاستخدام الخاصة بك. الدفع سيج ميكر جومب ستارت في SageMaker Studio الآن للبدء.
حول المؤلفين
كايل أولريش هو عالم تطبيقي II في AWS
شين هوانغ هو أحد كبار العلماء التطبيقيين في AWS
تشينغ لان هو مهندس مطور برامج أول في AWS
هاوتيان آن هو مهندس مطور برامج II في AWS
كريستوفر ويتن هو مهندس تطوير البرمجيات الثاني في AWS
تايلر أوستربيرج هو مهندس تطوير برمجيات في AWS
منان شاه هو مدير تطوير البرمجيات في AWS
جوناثان جينيجان هو مهندس مطور برامج أول في AWS
أدريانا سيمونز هو مدير أول لتسويق المنتجات في AWS
وون يونيو هو مدير منتج أول في AWS
اشيش خيتان هو أحد كبار العلماء التطبيقيين في AWS
راتشنا شادا هو مهندس الحلول الرئيسي - AI/ML في AWS
ديباك روباكولا هو متخصص رئيسي في GTM في AWS
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/meta-llama-3-models-are-now-available-in-amazon-sagemaker-jumpstart/
- :لديها
- :يكون
- :ليس
- :أين
- $ UP
- 1
- 10
- 11
- 120
- 19
- 2%
- 360 درجة
- 4
- 42
- 5
- 7
- 8
- 8k
- 9
- a
- حول المستشفى
- استمر
- مقبول
- الوصول
- يمكن الوصول
- نقر
- تضيف
- وأضاف
- إضافة
- مزايا
- بعد
- مرة أخرى
- ضد
- اتفاقية
- AI / ML
- انحياز
- الكل
- على طول
- أيضا
- دائما
- am
- أمازون
- الأمازون SageMaker
- أمازون سيج ميكر جومب ستارت
- أمازون ساجميكر ستوديو
- أمازون ويب سيرفيسز
- أجواء
- an
- تحليل
- و
- والبنية التحتية
- أعلن
- إجابة
- الإجابة
- أي وقت
- تفاح
- تطبيقي
- مناسب
- هندسة معمارية
- هي
- فنـون
- AS
- تطلب
- يسأل
- المساعد
- أسوشيتد
- At
- الغلاف الجوي
- جاذبية
- الجذب السياحي
- الآلي
- متاح
- تجنب
- AWS
- قاعدة
- BE
- دب
- جميل
- لان
- كان
- سلوك
- بكين
- اعتقد
- ما بين
- الفواتير
- المليارات
- صندوق
- فواصل
- مثير
- واسع
- مكسورة
- تصفح
- ابني
- بنيت
- لكن
- زر
- by
- دعوات
- CAN
- الموارد
- فيزا وماستركارد
- حقيبة
- الحالات
- تغيير
- الدردشة
- القطط
- التحقق
- اختار
- المدينة
- كلاسيكي
- نظيف
- النقر
- الكود
- مجموعة شتاء XNUMX
- مجموعة
- الجمع بين
- يأتي
- Communication
- إكمال
- الاعداد
- تكوينات
- نظر
- التناسق
- ثابت
- تحتوي على
- وعاء
- يحتوي
- سياق الكلام
- قريني
- بشكل متواصل
- مراقبة
- ضوابط
- مناسب
- محادثة
- المقابلة
- التكاليف
- لا يحصى
- خلق
- خلق
- الإبداع
- حاسم
- ثقافة
- كوب
- العملاء
- التخصيص
- تصميم
- البيانات
- أمن البيانات
- de
- الطوابق
- مخصصة
- الترتيب
- حدد
- حذف
- نشر
- نشر
- نشر
- نشر
- ينشر
- استخلاص
- مطلوب
- لأفضل الأماكن السياحية
- التفاصيل
- تفاصيل
- المطور
- التطوير التجاري
- حوار
- فرق
- مختلف
- العشاء
- اكتشف
- تنوع
- do
- لا توجد الآن
- فعل
- دون
- فعل
- مضاعف
- إلى أسفل
- أثناء
- الغسق
- e
- كل
- بسهولة
- جهود
- تمكين
- تمكين
- النهاية
- النهائي إلى نهاية
- نقطة النهاية
- النهاية
- مهندس
- الهندسة
- انجليزي
- كاف
- ضمان
- البيئة
- الأثير (ETH)
- حتى
- كل
- كل شخص
- مثال
- أمثلة
- متحمس
- الخبره في مجال الغطس
- عادل
- زائف
- مشهور
- بعيدا
- عمل
- عقار مميز
- المميزات
- العناية بالقدم
- قليل
- أفلام
- نهائي
- الاسم الأول
- نكهة
- تطفو
- تدفق
- متابعيك
- قدم
- في حالة
- شكل
- دورة تأسيسية
- أربعة
- فرنسا
- الفرنسية
- جديد
- تبدأ من
- العلاجات العامة
- نظرية النسبية العامة
- توليد
- ولدت
- جيل
- توليدي
- لطيف
- الألمانيّة
- دولار فقط واحصل على خصم XNUMX% على جميع
- زجاج
- Go
- الذهاب
- تدريجيا
- عظيم
- الرائد
- توجيه
- موجه
- يحدث
- حدث
- الثابت
- العمل الشاق
- يملك
- صحة
- مساعدة
- مساعدة
- هنا
- أعلى
- تاريخي
- تاريخ
- عقد
- الصفحة الرئيسية
- ساعة
- إسكان
- كيفية
- كيفية
- HTML
- HTTPS
- محور
- محاور
- i
- مبدع
- if
- ii
- استيراد
- مثير للإعجاب
- تحسن
- تحسينات
- in
- تتضمن
- بما فيه
- القيمة الاسمية
- زيادة
- في ازدياد
- معلومات
- البنية التحتية
- المكونات
- إدخال
- مثل
- حالات
- فورا
- المتكاملة
- السطح البيني
- إلى
- أيرلندا
- معزول
- IT
- انها
- JPG
- م
- احتفظ
- علم
- معروف
- هبوط
- الصفحة المقصودة
- معالم
- لغة
- أكبر
- إطلاق
- القوانين
- تعلم
- تعلم
- اليسار
- الطول
- حقوق الملكية الفكرية
- الحياة
- رفعت
- ضوء
- ولاعة
- أضواء
- مثل
- خط
- قوائم
- أدب
- القليل
- حي
- حياة
- اللاما نوع من الجمال
- تقع
- تبدو
- الكثير
- خفض
- صنع
- جعل
- القيام ب
- مدير
- أسلوب
- يدويا
- كثير
- التسويق
- ماكس
- أقصى
- مايو..
- معنى
- الرسالة
- مييتااا
- منتصف الليل
- دقائق
- خلاط
- مزيج
- ML
- MLOps
- نموذج
- عارضات ازياء
- مراقبة
- الأكثر من ذلك
- أكثر
- الاكثر شهره
- كثيرا
- متحف
- المتاحف
- عين
- حاجة
- بحاجة
- شبكة
- جديد
- التالي
- ليل
- لا
- مفكرة
- أجهزة الكمبيوتر المحمولة
- الآن
- عدد
- NY
- ملاحظة
- المراقبين
- حدث
- of
- عرض
- الوهب
- عروض
- غالبا
- أوهايو
- زيت
- on
- ONE
- فقط
- يفتح
- الأمثل
- الأمثل
- خيار
- or
- طلب
- ولاية أوريغون
- أخرى
- لنا
- لنا
- خارج
- الناتج
- النتائج
- على مدى
- صفحة
- المعلمة
- المعلمات
- باريس
- جزء
- نفذ
- أداء
- فيزياء
- قطعة
- المكان
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- لعبت
- من فضلك
- سياسة
- الرائج
- منشور
- متنبئ
- إعداد
- سابق
- رئيسي
- الإجراءات
- عملية المعالجة
- المنتج
- مدير المنتج
- ملامح
- التقدّم
- مطالبات
- اقتراحات
- تزود
- المقدمة
- مقدمي
- ويوفر
- جمهور
- وسائل النقل العام
- علانية
- غرض
- وضع
- بايثون
- سؤال
- الأسئلة المتكررة
- العشوائية
- نطاق
- الأجور
- RE
- التي تم الوصول إليها
- منطق
- الأسباب
- وصفة
- موصى به
- عقار مخفض
- الرجوع
- رفض
- التحيات
- المناطق
- نسبية
- تطلب
- مورد
- الموارد
- ردود
- النتائج
- نهر
- النوع
- الأدوار
- الرومانسية
- غرفة
- يجري
- تشغيل
- s
- sagemaker
- خطوط الأنابيب SageMaker
- ملح
- نفسه
- عينة
- قول
- عالم
- الإستراحة
- بحث
- البحث
- الثاني
- القسم
- تأمين
- أمن
- انظر تعريف
- مختار
- اختيار
- اختيار
- كبير
- عاطفة
- خدماتنا
- خدمة
- طقم
- عدة
- الشكل
- اطلاق النار
- ينبغي
- إظهار
- أظهرت
- يظهر
- هام
- الاشارات
- ببساطة
- عزباء
- المواقع
- المقاس
- الأحجام
- بطيء
- ببطء
- كمنعم
- So
- حتى الآن
- تطبيقات الكمبيوتر
- تطوير البرمجيات
- حل
- الحلول
- بعض
- تألق
- تختص
- متخصص
- محدد
- تحديد
- سرعة
- بقعة
- موقف
- مكانة
- بداية
- بدأت
- المحافظة
- ثابت
- خطوات
- قلة النوم
- توقف
- مجرى
- خيط
- بناء
- ستوديو
- مذهل
- لاحق
- جوهريا
- بنجاح
- هذه
- مجموع
- الدعم
- مدعومة
- بالتأكيد
- رمز
- نظام
- T
- جدول
- خياط
- أخذ
- يأخذ
- مع الأخذ
- المهام
- ذوق
- فريق
- قالب
- سياسة الحجب وتقييد الوصول
- نص
- توليد النص
- شكر
- أن
- •
- العاصمة
- العالم
- then
- نظرية
- هناك.
- تشبه
- هم
- رقيق
- الآلاف
- عبر
- الوقت
- إلى
- اليوم
- سويا
- رمز
- الرموز
- طوكيو
- جدا
- أدوات
- تيشرت
- الإجمالي
- رحلات سياحية
- برج
- قادة الإيمان
- محول
- ترجمه
- خدمات ترجمة
- وسائل النقل
- اثنان
- نوع
- أنواع
- ui
- مع
- فريد من نوعه
- حتى
- تحديث
- تستخدم
- حالة الاستخدام
- مستخدم
- يستخدم
- استخدام
- القيمة
- القيم
- الاختلافات
- تشكيلة
- مختلف
- الإصدار
- جدا
- بواسطة
- الرؤى
- فرجينيا
- بصري
- حجم
- vs
- سير
- مطلوب
- حرب
- وكان
- مياه
- طرق
- we
- الويب
- خدمات ويب
- على شبكة الإنترنت
- حفلات الزفاف
- حسن
- ذهب
- ابحث عن
- متى
- التي
- في حين
- أبيض
- لماذا
- سوف
- نوافذ
- WINE
- مع
- عجب
- كلمة
- كلمات
- للعمل
- العالم
- لصحتك!
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت