شارك Tristan Miller في تأليف هذا المنشور من Best Egg.
أفضل بيض هي منصة ثقة مالية رائدة توفر منتجات الإقراض والموارد التي تركز على مساعدة الناس على الشعور بمزيد من الثقة أثناء إدارة شؤونهم المالية اليومية. منذ مارس 2014 ، قدمت Best Egg 22 مليار دولار في شكل قروض شخصية استهلاكية مع أداء ائتماني قوي ، ورحبت بما يقرب من 637,000 عضو في منصة Best Egg Financial Health التي تم إطلاقها مؤخرًا ، ومكنت أكثر من 180,000 من حاملي بطاقات Best Egg الائتمانية الجديدة في محفظتهم.
الأمازون SageMaker هي خدمة تعلم آلي مُدارة بالكامل (ML) توفر أدوات متنوعة لبناء نماذج تعلم الآلة وتدريبها وتحسينها ونشرها. يوفر SageMaker ضبط النموذج الآلي، الذي يدير الرفع الثقيل غير المتمايز للتزويد وإدارة البنية التحتية للحوسبة لتشغيل العديد من التكرارات واختيار النموذج المرشح الأمثل من التدريب.
لمساعدتك في ضبط المعلمات التشعبية المطلوبة بكفاءة وتحديد النموذج الأفضل أداءً ، ستناقش هذه المشاركة كيفية إجراء ذلك أفضل بيض تستخدم SageMaker hyperparameter tuning with حمامات دافئة وحقق تحسنًا بمقدار ثلاثة أضعاف في وقت التدريب النموذجي.
نظرة عامة على حالة الاستخدام
يستخدم محللو مخاطر الائتمان نماذج التصنيف الائتماني عند إقراض أو تقديم بطاقة ائتمان للعملاء من خلال أخذ مجموعة متنوعة من سمات المستخدم في الاعتبار. يُنشئ هذا النموذج الإحصائي درجة نهائية ، أو مؤشر سيئ جيد (GBI) ، والذي يحدد ما إذا كان سيتم الموافقة على طلب الائتمان أو رفضه. تسهل رؤى ML اتخاذ القرار. لتقييم مخاطر طلبات الائتمان ، يستخدم ML مصادر بيانات مختلفة ، وبالتالي توقع مخاطر تأخر العميل في السداد.
التحدي
هناك مشكلة كبيرة في القطاع المالي تتمثل في عدم وجود طريقة أو هيكل مقبول عالميًا للتعامل مع مجموعة هائلة من الاحتمالات التي يجب مراعاتها في أي وقت. من الصعب توحيد الأدوات التي تستخدمها الفرق من أجل تعزيز الشفافية والتتبع في جميع المجالات. يمكن أن يساعد تطبيق ML في صناعة التمويل على إصدار أحكام أفضل فيما يتعلق بالتسعير وإدارة المخاطر وسلوك المستهلك. يقوم علماء البيانات بتدريب خوارزميات متعددة لتعلم الآلة لفحص الملايين من سجلات بيانات المستهلك ، وتحديد الحالات الشاذة ، وتقييم ما إذا كان الشخص مؤهلاً للحصول على ائتمان.
يمكن لـ SageMaker تشغيل الضبط التلقائي للمعلمات الفائقة بناءً على تقنيات تحسين متعددة مثل بحث الشبكة, بايزي, بحث عشوائيو هايبرباند. يجعل ضبط النموذج التلقائي من السهل التركيز على التكوين الأمثل للنموذج ، مما يوفر الوقت والمال لاستخدام أفضل في أي مكان آخر في القطاع المالي. كجزء من ضبط hyperparameter ، يدير SageMaker العديد من التكرارات لرمز التدريب على مجموعة بيانات التدريب مع مجموعات مختلفة من المعلمات الفائقة. ثم تحدد SageMaker أفضل نموذج مرشح مع المعلمات التشعبية المثلى بناءً على المقياس الموضوعي الذي تم تكوينه.
تمكنت Best Egg من أتمتة ضبط المعلمة الفائقة باستخدام ميزة التحسين الآلي للمعلمات الفائقة (HPO) لبرنامج SageMaker ومواءمتها. ومع ذلك ، قد تستغرق كل وظيفة ضبط للمعلمات الفائقة ساعات ، واختيار أفضل نموذج مرشح استغرق العديد من وظائف ضبط المعلمات الفائقة على مدار عدة أيام. يمكن أن تكون وظائف ضبط Hyperparameter بطيئة بسبب طبيعة المهام التكرارية التي يديرها HPO تحت الغطاء. في كل مرة يتم فيها بدء وظيفة تدريبية ، يحدث توفير موارد جديدة ، مما يستهلك قدرًا كبيرًا من الوقت قبل أن يبدأ التدريب فعليًا. هذه مشكلة شائعة يواجهها علماء البيانات عند تدريب نماذجهم. كانت كفاءة الوقت نقطة ألم كبيرة لأن هذه الوظائف التدريبية طويلة الأمد كانت تعيق الإنتاجية وعلماء البيانات ظلوا عالقين في هذه الوظائف لساعات.
حل نظرة عامة
يمثل الرسم البياني التالي المكونات المختلفة المستخدمة في هذا الحل.
يستخدم فريق علوم بيانات Best Egg أمازون ساجميكر ستوديو لبناء وتشغيل دفاتر Jupyter. وظائف معالجة SageMaker تشغيل خطوط الأنابيب الهندسية للميزات على مجموعة بيانات الإدخال لإنشاء ميزات. تقوم Best Egg بتدريب نماذج ائتمان متعددة باستخدام خوارزميات التصنيف والانحدار. يجب أن يعمل فريق علم البيانات أحيانًا مع بيانات تدريب محدودة بترتيب عشرات الآلاف من السجلات نظرًا لطبيعة حالات استخدامها. يدير Best Egg وظائف تدريب SageMaker مع ضبط آلي للمعلمات الفائقة مدعوم من النظرية الافتراضية. لتقليل التباين ، تستخدم Best Egg التحقق المتقاطع k-fold كجزء من الحاوية المخصصة لتقييم النموذج المدرب.
يتم تسجيل الأداة النموذجية المدربة وإصدارها في ملف سجل نموذج SageMaker. يتم تشغيل الاستدلال بطريقتين - الوقت الحقيقي والدُفعة - بناءً على متطلبات المستخدم. الأداة النموذجية المدربة مستضافة على أ نقطة نهاية الوقت الحقيقي لـ SageMaker باستخدام ميزات التحجيم التلقائي المضمنة وموازنة التحميل. تم تسجيل النموذج أيضًا من خلال وظائف تحويل دفعة مجدولة على أساس يومي. يتم تنظيم خط الأنابيب بالكامل من خلال خطوط أنابيب Amazon SageMaker، التي تتكون من سلسلة من الخطوات مثل خطوة معالجة لهندسة الميزات ، وخطوة ضبط للتدريب وضبط النموذج الآلي ، وخطوة نموذجية لتسجيل الأداة.
فيما يتعلق بالمشكلة الأساسية لوظائف ضبط المعلمات الفائقة طويلة الأمد ، استكشف Best Egg ميزة المسابح الدافئة التي تم إصدارها مؤخرًا والتي تديرها SageMaker. قامت SageMaker بإدارة المسابح الدافئة يسمح لك بالاحتفاظ بالبنية التحتية المتوفرة وإعادة استخدامها بعد الانتهاء من مهمة تدريبية لتقليل زمن الوصول لأحمال العمل المتكررة ، مثل التجريب التكراري أو تشغيل الوظائف المتتالية حيث تتطابق معلمات تكوين مهمة معينة مثل نوع المثيل أو العدد مع عمليات التشغيل السابقة. سمح ذلك لشركة Best Egg بإعادة استخدام البنية التحتية الحالية لوظائفها التدريبية المتكررة دون إضاعة الوقت في توفير البنية التحتية.
الغوص بعمق في ضبط النموذج وفوائد حمامات السباحة الدافئة
يرفع SageMaker Automated Model Tuning من التجمعات الدافئة افتراضيًا لأي مهمة ضبط اعتبارًا من أغسطس 2022 (إعلان). هذا يجعل من السهل جني فوائد Warm Pools حيث تحتاج فقط إلى تشغيل وظيفة ضبط وسيستخدم SageMaker Automatic Model Tuning تلقائيًا حمامات السباحة الدافئة بين وظائف التدريب اللاحقة التي تم إطلاقها كجزء من الضبط. عند اكتمال كل وظيفة تدريبية ، يتم الاحتفاظ بالموارد المتوفرة حية في تجمع دافئ بحيث تبدأ مهمة التدريب التالية التي تم إطلاقها كجزء من الضبط في نفس المجموعة مع الحد الأدنى من النفقات العامة لبدء التشغيل.
يصور سير العمل أدناه سلسلة من عمليات التدريب على الوظائف باستخدام حمام السباحة الدافئ.
- بعد اكتمال مهمة التدريب الأولى ، يتم الاحتفاظ بالمثيلات المستخدمة للتدريب في مجموعة البركة الدافئة.
- ستستخدم وظيفة التدريب التالية التي تم تشغيلها المثيل الموجود في المسبح الدافئ للتشغيل ، مما يلغي وقت البدء البارد اللازم لإعداد المثيل لبدء التشغيل.
- وبالمثل ، إذا جاءت المزيد من وظائف التدريب بنوع المثيل ، وعدد المثيلات ، ومعايير الحجم والشبكات المشابهة لموارد مجموعة التجمعات الدافئة ، فسيتم استخدام المثيلات المتطابقة لتشغيل المهام.
- بمجرد اكتمال مهمة التدريب ، سيتم الاحتفاظ بالمثيلات في المسبح الدافئ في انتظار وظائف جديدة.
- الحد الأقصى لطول الوقت الذي يمكن أن تستمر فيه مجموعة البركة الدافئة في تشغيل وظائف التدريب المتتالية هو 7 أيام.
- طالما أن الكتلة صحية وكان المسبح الدافئ ضمن المدة الزمنية المحددة ، فإن حالة المسبح الدافئ هي
Available
. - حمام السباحة الدافئ يبقى
Available
حتى تحدد وظيفة تدريب مطابقة لإعادة الاستخدام. إذا كانت حالة حمام السباحة الدافئة هيTerminated
، فهذه هي نهاية دورة حياة المسبح الدافئ.
- طالما أن الكتلة صحية وكان المسبح الدافئ ضمن المدة الزمنية المحددة ، فإن حالة المسبح الدافئ هي
يوضح الرسم البياني التالي سير العمل هذا.
كيف استفادت Best Egg: التحسينات ونقاط البيانات
لاحظت Best Egg أنه مع حمامات السباحة الدافئة ، كانت وظائف التدريب الخاصة بهم على SageMaker تعمل بشكل أسرع بعامل 3. في مشروع نموذج ائتماني واحد ، تم اختيار أفضل نموذج من بين ثماني وظائف مختلفة من HPO ، كل منها يحتوي على 40 تكرارًا مع خمس وظائف متوازية في وقت. استغرق كل تكرار حوالي دقيقة واحدة للحساب ، بينما في حالة عدم وجود برك دافئة ، فقد استغرق كل منها 1 دقائق. في المجموع ، استغرقت العملية ساعتين من وقت الحساب ، مع إضافة مدخلات إضافية من عالم البيانات ما يصل إلى نصف يوم عمل تقريبًا. بدون التجمعات الدافئة ، نقدر أن الحساب كان سيستغرق 5 ساعات فقط ، ومن المحتمل أن يتم توزيعه على مدار 2-6 أيام عمل.
نبذة عامة
في الختام ، ناقش هذا المنشور عناصر أعمال Best Egg ومشهد ML الخاص بالشركة. استعرضنا كيف تمكنت Best Egg من تسريع تدريبها وضبطها من خلال تمكين حمامات السباحة الدافئة لوظائف ضبط المعلمات الفائقة على SageMaker. لقد أوضحنا أيضًا مدى سهولة تنفيذ مجموعات دافئة لوظائف التدريب الخاصة بك بتكوين بسيط. في AWS ، نوصي القراء بالبدء في الاستكشاف حمامات دافئة للوظائف التدريبية التكرارية والمتكررة.
حول المؤلف
تريستان ميللر هو عالم بيانات رئيسي في Best Egg. يقوم ببناء ونشر نماذج ML لاتخاذ قرارات الاكتتاب والتسويق المهمة. يقوم بتطوير حلول مخصصة لمعالجة مشاكل محددة ، بالإضافة إلى الأتمتة لزيادة الكفاءة والحجم. وهو أيضًا كاتب أصول ماهر.
فاليريو بيروني هو مدير العلوم التطبيقية في AWS. يقود فريق العلوم والهندسة الذي يمتلك خدمة ضبط النماذج تلقائيًا عبر Amazon SageMaker. تكمن خبرة فاليريو في تطوير خوارزميات للتعلم الآلي على نطاق واسع والنماذج الإحصائية ، مع التركيز على صنع القرار القائم على البيانات وإضفاء الطابع الديمقراطي على الذكاء الاصطناعي
جاناباثي كريشنامورثي هو كبير مهندسي حلول ML في AWS. يوفر Ganapathi إرشادات توجيهية لعملاء بدء التشغيل والمؤسسات ، مما يساعدهم في تصميم التطبيقات السحابية ونشرها على نطاق واسع. وهو متخصص في التعلم الآلي ويركز على مساعدة العملاء على استخدام الذكاء الاصطناعي / تعلم الآلة لتحقيق نتائج أعمالهم. عندما لا يكون في العمل ، يستمتع باستكشاف الهواء الطلق والاستماع إلى الموسيقى
أججاي جوفيندارام هو مهندس حلول أول في AWS. يعمل مع العملاء الاستراتيجيين الذين يستخدمون الذكاء الاصطناعي / تعلم الآلة لحل مشاكل الأعمال المعقدة. تكمن خبرته في تقديم التوجيه الفني بالإضافة إلى المساعدة في التصميم لعمليات نشر تطبيقات الذكاء الاصطناعي / التعلم الآلي المتواضعة إلى الواسعة النطاق. تتراوح معرفته من هندسة التطبيقات إلى البيانات الضخمة والتحليلات والتعلم الآلي. إنه يستمتع بالاستماع إلى الموسيقى أثناء الراحة ، وتجربة الهواء الطلق ، وقضاء الوقت مع أحبائه.
هاريهاران سوريش هو مهندس حلول أول في AWS. إنه شغوف بقواعد البيانات والتعلم الآلي وتصميم الحلول المبتكرة. قبل انضمامه إلى AWS ، كان Hariharan مهندسًا للمنتجات ، ومتخصصًا في تنفيذ الخدمات المصرفية الأساسية ، ومطورًا ، وعمل مع مؤسسات BFSI لأكثر من 11 عامًا. بعيدًا عن التكنولوجيا ، فهو يستمتع بالطيران المظلي وركوب الدراجات.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/best-egg-achieved-three-times-faster-ml-model-training-with-amazon-sagemaker-automatic-model-tuning/
- 000
- 1
- 100
- 11
- 2014
- 2022
- 7
- a
- ماهرون
- من نحن
- حسابي
- تحقق
- في
- في الواقع
- إضافي
- العنوان
- بعد
- AI / ML
- خوارزميات
- يسمح
- وحده
- أمازون
- الأمازون SageMaker
- كمية
- المحللين
- تحليلات
- و
- اشعارات
- تطبيق
- التطبيقات
- تطبيقي
- الموافقة على
- هندسة معمارية
- مجموعة
- مصطنع
- مساعدة
- سمات
- السيارات
- أتمتة
- الآلي
- أوتوماتيك
- تلقائيا
- أتمتة
- AWS
- سيئة
- البنوك والمصارف
- على أساس
- أساس
- لان
- قبل
- أقل من
- الفوائد
- أفضل
- أفضل
- ما بين
- بفسي
- كبير
- البيانات الكبيرة
- مليار
- مجلس
- نساعدك في بناء
- ابني
- يبني
- مدمج
- الأعمال
- مرشح
- فيزا وماستركارد
- حمل
- حقيبة
- الحالات
- تصنيف
- سحابة
- التطبيقات السحابية
- كتلة
- الكود
- تركيبات
- تأتي
- مشترك
- الشركة
- إكمال
- الطلب مكتمل
- يكمل
- إكمال
- مجمع
- مكونات
- حساب
- إحصاء
- اختتام
- الثقة
- واثق
- الاعداد
- على التوالي
- نظرت
- تتكون
- مستهلك
- سلوك المستهلك
- بيانات المستهلك
- وعاء
- استمر
- جوهر
- الخدمات المصرفية الأساسية
- استطاع
- الدورة
- ائتمان
- بطاقة إئتمان
- التصنيف الائتماني
- المعايير
- عبر
- على
- زبون
- العملاء
- يوميا
- البيانات
- علم البيانات
- عالم البيانات
- تعتمد على البيانات
- قواعد البيانات
- يوم
- أيام
- تعامل
- القرار
- اتخاذ القرار
- القرارات
- الترتيب
- تم التوصيل
- نشر
- نشر
- ينشر
- تصميم
- تصميم
- حدد
- يحدد
- المطور
- تطوير
- يطور
- مختلف
- صعبة
- اتجاه
- بحث
- ناقش
- كل
- كفاءة
- بكفاءة
- عناصر
- مؤهل
- القضاء
- في مكان آخر
- تمكين
- تمكين
- الهندسة
- مشروع
- عملاء المؤسسة
- تقدير
- الأثير (ETH)
- تقييم
- كل
- كل يوم
- القائمة
- الخبره في مجال الغطس
- تعاني
- خبرة
- شرح
- استكشاف
- استكشاف
- الوجه
- تسهيل
- أسرع
- الميزات
- المميزات
- نهائي
- تمويل
- المعيل هو
- مالي
- القدرة المادية
- القطاع المالي
- الاسم الأول
- تركز
- ركز
- متابعيك
- تبدأ من
- تماما
- جي بي آي
- توليد
- يولد
- معطى
- خير
- نصفي
- صحة الإنسان
- صحي
- مساعدة
- مساعدة
- غطاء محرك السيارة
- استضافت
- ساعات العمل
- كيفية
- لكن
- HTML
- HTTPS
- تحسين Hyperparameter
- ضبط Hyperparameter
- يحدد
- تحديد
- تنفيذ
- التنفيذ
- أهمية
- تحسين
- تحسينات
- in
- القيمة الاسمية
- مؤشر
- العالمية
- البنية التحتية
- مبتكرة
- إدخال
- رؤى
- مثل
- IT
- تكرير
- التكرارات
- وظيفة
- المشــاريــع
- انضمام
- الأحكام
- المعرفة
- المشهد
- على نطاق واسع
- كمون
- إطلاق
- أطلقت
- قيادة
- قيادة
- يؤدي
- تعلم
- الإقراض
- الطول
- روافع
- تجميل
- على الأرجح
- محدود
- استماع
- تحميل
- القروض
- طويل
- أحب
- آلة
- آلة التعلم
- رائد
- جعل
- يصنع
- القيام ب
- إدارة
- تمكن
- إدارة
- مدير
- يدير
- إدارة
- كثير
- مارس
- التسويق
- مباراة
- مطابقة
- مطابقة
- أقصى
- الأعضاء
- طريقة
- متري
- طحان
- ملايين
- أدنى
- دقيقة
- دقائق
- ML
- خوارزميات ML
- نموذج
- عارضات ازياء
- مال
- الأكثر من ذلك
- متعدد
- موسيقى
- الطبيعة
- حاجة
- بحاجة
- الشبكات
- جديد
- التالي
- أجهزة الكمبيوتر المحمولة
- موضوعي
- الوهب
- ONE
- الأمثل
- التحسين
- الأمثل
- الأمثل
- طلب
- المنظمات
- في الهواء الطلق
- في الخارج
- الم
- موازية
- المعلمات
- جزء
- عاطفي
- مجتمع
- أداء
- شخص
- الشخصية
- القروض الشخصية
- خط أنابيب
- المنصة
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- البوينت
- تجمع
- حمامات
- إمكانيات
- منشور
- مدعوم
- توقع
- إعداد
- سابق
- التسعير
- قبل
- المشكلة
- مشاكل
- عملية المعالجة
- معالجة
- منتج
- إنتاجية
- المنتجات
- تنفيذ المشاريع
- تعزيز
- ويوفر
- توفير
- تصنيف
- القراء
- في الوقت الحقيقي
- مؤخرا
- نوصي
- تسجيل
- تخفيض
- بخصوص
- مسجل
- تسجيل
- تراجع
- صدر
- تكرارية
- يمثل
- مطلوب
- المتطلبات الأساسية
- مورد
- الموارد
- استعرض
- المخاطرة
- نماذج إدارة المخاطر
- يجري
- تشغيل
- sagemaker
- الضبط التلقائي لنموذج SageMaker
- نفسه
- حجم
- التحجيم
- المقرر
- علوم
- عالم
- العلماء
- القطاع
- مختار
- اختيار
- كبير
- تسلسل
- مسلسلات
- الخدمة
- عدة
- هام
- مماثل
- الاشارات
- منذ
- ماهر
- بطيء
- So
- حل
- الحلول
- حل
- مصادر
- متخصص
- متخصص
- محدد
- محدد
- سرعة
- الإنفاق
- انتشار
- بداية
- بدء التشغيل
- إحصائي
- الحالة
- خطوة
- خطوات
- صريح
- إستراتيجي
- قوي
- بناء
- لاحق
- هذه
- أخذ
- مع الأخذ
- المهام
- فريق
- فريق
- تقني
- تقنيات
- تكنولوجيا
- •
- من مشاركة
- وبالتالي
- الآلاف
- ثلاثة
- عبر
- الوقت
- مرات
- إلى
- أدوات
- الإجمالي
- تتبع الشحنة
- قطار
- متدرب
- قادة الإيمان
- القطارات
- تحول
- الشفافية
- أثار
- عادة
- مع
- الاكتتاب
- تستخدم
- مستخدم
- التحقق من صحة
- تشكيلة
- مختلف
- حجم
- انتظار
- محفظة
- دافئ
- رحب
- سواء
- التي
- في حين
- من الذى
- سوف
- في غضون
- بدون
- للعمل
- عمل
- سير العمل
- أعمال
- سوف
- سنوات
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت
- صفر