شارك في تأليف هذا المنشور على المدونة Guillermo Ribeiro ، كبير علماء البيانات في Cepsa.
لقد تطور التعلم الآلي (ML) بسرعة من كونه اتجاهًا عصريًا ناشئًا من البيئات الأكاديمية وأقسام الابتكار ليصبح وسيلة رئيسية لتقديم قيمة عبر الأعمال التجارية في كل صناعة. يسير هذا الانتقال من التجارب في المختبرات إلى حل مشاكل العالم الحقيقي في بيئات الإنتاج جنبًا إلى جنب MLOps، أو تكيف DevOps مع عالم ML.
يساعد MLOps على تبسيط وأتمتة دورة الحياة الكاملة لنموذج ML ، مع التركيز على مجموعات البيانات المصدر ، وإمكانية تكرار التجربة ، ورمز خوارزمية ML ، وجودة النموذج.
At سيبسا، شركة طاقة عالمية ، نستخدم ML لمعالجة المشاكل المعقدة عبر خطوط أعمالنا ، من إجراء الصيانة التنبؤية للمعدات الصناعية إلى مراقبة وتحسين العمليات البتروكيماوية في مصافي التكرير لدينا.
في هذا المنشور ، نناقش كيف قمنا ببناء البنية المرجعية الخاصة بنا لـ MLOps باستخدام خدمات AWS الرئيسية التالية:
- الأمازون SageMaker، وهي خدمة لبناء وتدريب ونشر نماذج ML
- وظائف خطوة AWS، وهي خدمة سير عمل مرئية منخفضة الشفرة بدون خادم تُستخدم لتنظيم العمليات وأتمتتها
- أمازون إيفينت بريدج، ناقل حدث بدون خادم
- AWS لامدا، وهي خدمة حوسبة بدون خادم تتيح لك تشغيل التعليمات البرمجية دون توفير أو إدارة الخوادم
نوضح أيضًا كيف قمنا بتطبيق هذه البنية المرجعية على مشاريع ML الجديدة في شركتنا.
التحدي
خلال السنوات الأربع الماضية ، بدأت خطوط عمل متعددة عبر Cepsa مشاريع ML ، ولكن سرعان ما بدأت تظهر بعض المشكلات والقيود.
لم يكن لدينا بنية مرجعية للتعلم الآلي ، لذلك اتبع كل مشروع مسار تنفيذ مختلف ، وأداء تدريبًا خاصًا للنموذج ونشره. بدون طريقة شائعة للتعامل مع كود المشروع ومعلماته وبدون تسجيل نموذج ML أو نظام إصدار ، فقدنا إمكانية التتبع بين مجموعات البيانات والرموز والنماذج.
اكتشفنا أيضًا مجالًا للتحسين في طريقة تشغيلنا للنماذج في الإنتاج ، لأننا لم نراقب النماذج المنشورة ، وبالتالي لم يكن لدينا الوسائل لتتبع أداء النموذج. نتيجة لذلك ، عادة ما نقوم بإعادة تدريب النماذج بناءً على الجداول الزمنية ، لأننا نفتقر إلى المقاييس الصحيحة لاتخاذ قرارات مستنيرة لإعادة التدريب.
الحل
بدءًا من التحديات التي كان علينا التغلب عليها ، قمنا بتصميم حل عام يهدف إلى فصل إعداد البيانات ، والتدريب النموذجي ، والاستدلال ، ومراقبة النموذج ، وتميزنا بسجل نموذج مركزي. بهذه الطريقة ، قمنا بتبسيط إدارة البيئات عبر حسابات AWS المتعددة ، مع تقديم إمكانية تتبع النماذج المركزية.
يستخدم علماء البيانات والمطورون لدينا سحابة AWS 9 (IDE سحابي لكتابة التعليمات البرمجية وتشغيلها وتصحيح الأخطاء) لمجادلة البيانات وتجريب ML و GitHub كمستودع كود Git.
يستخدم سير عمل التدريب التلقائي الكود الذي أنشأه فريق علوم البيانات لـ نماذج القطار على SageMaker ولتسجيل نماذج الإخراج في سجل النموذج.
يدير سير عمل مختلف نشر النموذج: فهو يحصل على المرجع من سجل النموذج ويقوم بإنشاء نقطة نهاية للاستدلال باستخدام ميزات استضافة نموذج SageMaker.
قمنا بتنفيذ كل من التدريب النموذجي وسير عمل النشر باستخدام وظائف الخطوة ، لأنها قدمت إطارًا مرنًا يتيح إنشاء مهام سير عمل محددة لكل مشروع وتنسيق خدمات ومكونات AWS المختلفة بطريقة مباشرة.
نموذج استهلاك البيانات
في Cepsa ، نستخدم سلسلة من بحيرات البيانات لتغطية احتياجات العمل المتنوعة ، وتتشارك جميع بحيرات البيانات هذه في نموذج استهلاك بيانات مشترك يسهل على مهندسي البيانات وعلماء البيانات العثور على البيانات التي يحتاجون إليها واستهلاكها.
للتعامل مع التكاليف والمسؤوليات بسهولة ، يتم فصل بيئات بحيرة البيانات تمامًا عن منتج البيانات وتطبيقات المستهلك ، ويتم نشرها في حسابات AWS مختلفة تنتمي إلى منظمة AWS مشتركة.
يتم توفير البيانات المستخدمة لتدريب نماذج ML والبيانات المستخدمة كمدخلات استدلال للنماذج المدربة من بحيرات البيانات المختلفة من خلال مجموعة من واجهات برمجة التطبيقات المحددة جيدًا باستخدام بوابة أمازون API، وهي خدمة لإنشاء واجهات برمجة التطبيقات ونشرها وصيانتها ومراقبتها وتأمينها على نطاق واسع. تستخدم الواجهة الخلفية API أمازون أثينا (خدمة استعلام تفاعلية لتحليل البيانات باستخدام معيار SQL) للوصول إلى البيانات المخزنة بالفعل في خدمة تخزين أمازون البسيطة (Amazon S3) والمفهرسة في غراء AWS كتالوج البيانات.
يوفر الرسم التخطيطي التالي نظرة عامة عامة على هندسة Cepsa's MLOps.
تدريب نموذجي
عملية التدريب مستقلة لكل نموذج ويتم التعامل معها من قبل أ خطوات سير العمل القياسية، مما يمنحنا المرونة لنمذجة العمليات بناءً على متطلبات المشروع المختلفة. لدينا قالب أساسي محدد نقوم بإعادة استخدامه في معظم المشاريع ، وإجراء تعديلات طفيفة عند الحاجة. على سبيل المثال ، قرر بعض مالكي المشاريع إضافة بوابات يدوية للموافقة على عمليات نشر نماذج الإنتاج الجديدة ، بينما قام مالكو المشروع الآخرون بتنفيذ آليات اكتشاف الأخطاء وإعادة المحاولة الخاصة بهم.
نقوم أيضًا بإجراء تحويلات على مجموعات البيانات المدخلة المستخدمة لتدريب النموذج. لهذا الغرض ، نستخدم وظائف Lambda المدمجة في سير عمل التدريب. في بعض السيناريوهات التي تتطلب تحويلات بيانات أكثر تعقيدًا ، نقوم بتشغيل الكود الخاص بنا في خدمة الأمازون المرنة للحاويات (Amazon ECS) تشغيل AWS فارجيت، محرك حوسبة بدون خادم لتشغيل الحاويات.
يستخدم فريق علوم البيانات لدينا خوارزميات مخصصة بشكل متكرر ، لذلك نستفيد من القدرة على ذلك استخدام الحاويات المخصصة في تدريب نموذج SageMaker، يعتمد على سجل الأمازون المرنة للحاويات (Amazon ECR) ، سجل حاوية مُدار بالكامل يسهل تخزين صور الحاويات وإدارتها ومشاركتها ونشرها.
تستند معظم مشاريع ML الخاصة بنا إلى مكتبة Scikit-Learn ، لذلك قمنا بتوسيع المعيار حاوية SageMaker Scikit-Learn لتضمين متغيرات البيئة المطلوبة للمشروع ، مثل معلومات مستودع Git وخيارات النشر.
باستخدام هذا النهج ، يحتاج علماء البيانات لدينا فقط إلى التركيز على تطوير خوارزمية التدريب وتحديد المكتبات التي يتطلبها المشروع. عندما يقومون بدفع التغييرات البرمجية إلى مستودع Git ، فإن نظام CI / CD الخاص بنا (جنكينز المستضافة على AWS) الحاوية مع رمز التدريب والمكتبات. تم دفع هذه الحاوية إلى Amazon ECR وتم تمريرها أخيرًا كمعامل لاستدعاء تدريب SageMaker.
عند اكتمال عملية التدريب ، يتم تخزين النموذج الناتج في Amazon S3 ، ويتم إضافة مرجع في سجل النموذج ، ويتم حفظ جميع المعلومات والمقاييس التي تم جمعها في كتالوج التجارب. يضمن هذا إمكانية التكاثر الكامل لأن كود الخوارزمية والمكتبات مرتبطة بالنموذج المدرَّب جنبًا إلى جنب مع البيانات المرتبطة بالتجربة.
الرسم البياني التالي يوضح نموذج التدريب وعملية إعادة التدريب.
نشر النموذج
تتميز البنية بالمرونة وتسمح بالنشر التلقائي واليدوي للنماذج المدربة. يتم استدعاء سير عمل موزع النموذج تلقائيًا عن طريق حدث ينشره تدريب SageMaker في EventBridge بعد انتهاء التدريب ، ولكن يمكن أيضًا استدعاؤه يدويًا إذا لزم الأمر ، مع تمرير إصدار النموذج الصحيح من نموذج التسجيل. لمزيد من المعلومات حول الاستدعاء التلقائي ، راجع أتمتة Amazon SageMaker مع Amazon EventBridge.
يسترد مسار عمل موزع النموذج معلومات النموذج من نموذج التسجيل والاستخدامات تكوين سحابة AWS، بنية تحتية مُدارة كخدمة رمز ، إما لنشر النموذج إلى نقطة نهاية استدلال في الوقت الفعلي أو إجراء استدلال دفعي باستخدام مجموعة بيانات إدخال مخزنة ، اعتمادًا على متطلبات المشروع.
عندما يتم نشر نموذج بنجاح في أي بيئة ، يتم تحديث سجل النموذج بعلامة جديدة تشير إلى البيئات التي يعمل بها النموذج حاليًا. في أي وقت يتم فيه إزالة نقطة نهاية ، يتم أيضًا حذف علامتها من سجل النموذج.
يوضح الرسم التخطيطي التالي سير العمل لنشر النموذج والاستدلال.
التجارب وتسجيل النموذج
يتيح لنا تخزين كل تجربة وإصدار نموذج في مكان واحد وامتلاك مستودع رمز مركزي فصل تدريب النموذج والنشر واستخدام حسابات AWS مختلفة لكل مشروع وبيئة.
تخزن جميع إدخالات التجربة معرّف الالتزام الخاص برمز التدريب والاستنتاج ، لذلك لدينا إمكانية تتبع كاملة لعملية التجريب بأكملها ويمكننا مقارنة التجارب المختلفة بسهولة. هذا يمنعنا من أداء عمل مكرر في مرحلة الاستكشاف العلمي للخوارزميات والنماذج ، ويمكننا من نشر نماذجنا في أي مكان ، بشكل مستقل عن الحساب والبيئة حيث تم تدريب النموذج. ينطبق هذا أيضًا على النماذج المدربة في بيئة تجربة AWS Cloud9 الخاصة بنا.
بشكل عام ، لدينا تدريب نموذجي مؤتمت بالكامل وخطوط أنابيب للنشر ولدينا المرونة لأداء عمليات نشر النماذج اليدوية السريعة عندما لا يعمل شيء ما بشكل صحيح أو عندما يحتاج الفريق إلى نموذج تم نشره في بيئة مختلفة لأغراض التجربة.
حالة استخدام مفصلة: مشروع YET Dragon
يهدف مشروع YET Dragon إلى تحسين أداء الإنتاج لمصنع البتروكيماويات التابع لشركة Cepsa في شنغهاي. لتحقيق هذا الهدف ، درسنا عملية الإنتاج بدقة ، بحثًا عن الخطوات الأقل كفاءة. كان هدفنا هو زيادة كفاءة العائد للعمليات من خلال إبقاء تركيز المكونات أقل من الحد الأدنى بالضبط.
لمحاكاة هذه العملية ، قمنا ببناء أربعة نماذج مضافة عامة أو GAM ، نماذج خطية تعتمد استجابتها على الوظائف السلسة لمتغيرات التنبؤ ، للتنبؤ بنتائج عمليتي أكسدة ، وعملية تركيز واحدة ، والعائد المذكور أعلاه. قمنا أيضًا ببناء مُحسِّن لمعالجة نتائج نماذج GAM الأربعة والعثور على أفضل التحسينات التي يمكن تطبيقها في المصنع.
على الرغم من أن نماذجنا مدربة على البيانات التاريخية ، إلا أن المصنع يمكن أن يعمل في بعض الأحيان في ظل ظروف لم تكن مسجلة في مجموعة بيانات التدريب ؛ نتوقع أن نماذج المحاكاة الخاصة بنا لن تعمل بشكل جيد في ظل هذه السيناريوهات ، لذلك قمنا أيضًا ببناء نموذجين لاكتشاف الشذوذ باستخدام خوارزميات Isolation Forests ، والتي تحدد مدى نقاط البيانات لبقية البيانات للكشف عن الحالات الشاذة. تساعدنا هذه النماذج في اكتشاف مثل هذه المواقف لتعطيل عمليات التحسين الآلي كلما حدث ذلك.
العمليات الكيميائية الصناعية متغيرة للغاية وتحتاج نماذج ML إلى أن تكون متوافقة بشكل جيد مع تشغيل المصنع ، لذلك يلزم إعادة التدريب المتكرر بالإضافة إلى إمكانية تتبع النماذج المستخدمة في كل حالة. كان YET Dragon هو أول مشروع تحسين ML الخاص بنا الذي يتميز بسجل نموذجي ، وقابلية استنساخ كاملة للتجارب ، وعملية تدريب آلية مُدارة بالكامل.
الآن ، خط الأنابيب الكامل الذي يجلب نموذجًا إلى الإنتاج (تحويل البيانات ، تدريب النموذج ، تتبع التجربة ، تسجيل النموذج ، ونشر النموذج) مستقل لكل نموذج ML. يتيح لنا ذلك تحسين النماذج بشكل متكرر (على سبيل المثال إضافة متغيرات جديدة أو اختبار خوارزميات جديدة) وربط مراحل التدريب والنشر بمحفزات مختلفة.
النتائج والتحسينات المستقبلية
نحن قادرون حاليًا على تدريب نماذج ML الستة ونشرها وتتبعها تلقائيًا في مشروع YET Dragon ، وقد نشرنا بالفعل أكثر من 30 إصدارًا لكل من نماذج الإنتاج. تم توسيع بنية MLOps هذه إلى مئات من نماذج ML في مشاريع أخرى عبر الشركة.
نخطط لمواصلة إطلاق مشاريع جديدة في YET استنادًا إلى هذه البنية ، والتي خفضت متوسط مدة المشروع بنسبة 25٪ ، بفضل تقليل وقت التمهيد وأتمتة خطوط أنابيب ML. لقد قدرنا أيضًا توفير حوالي 300,000 يورو سنويًا بفضل الزيادة في العائد والتركيز والتي كانت نتيجة مباشرة لمشروع YET Dragon.
إن التطور قصير المدى لهيكل MLOps هذا هو نحو مراقبة النموذج والاختبار الآلي. نحن نخطط لاختبار كفاءة النموذج تلقائيًا مقابل النماذج التي تم نشرها مسبقًا قبل نشر نموذج جديد. نحن نعمل أيضًا على تنفيذ مراقبة النموذج ومراقبة انحراف البيانات بالاستدلال الأمازون SageMaker نموذج مراقب، من أجل أتمتة إعادة تدريب النموذج.
وفي الختام
تواجه الشركات التحدي المتمثل في جلب مشاريع ML الخاصة بهم إلى الإنتاج بطريقة آلية وفعالة. تساعد أتمتة دورة حياة نموذج ML الكاملة على تقليل أوقات المشروع وتضمن جودة أفضل للنموذج وعمليات نشر أسرع وأكثر تواترًا للإنتاج.
من خلال تطوير بنية MLOps موحدة تم اعتمادها من قبل شركات مختلفة في جميع أنحاء الشركة ، تمكنا في Cepsa من تسريع عملية تمهيد مشروع ML وتحسين جودة نموذج ML ، وتوفير إطار عمل موثوق وآلي يمكن لفرق علوم البيانات لدينا أن تبتكره بشكل أسرع. .
لمزيد من المعلومات حول MLOps على SageMaker ، قم بزيارة Amazon SageMaker لـ MLOps وتحقق من حالات استخدام العملاء الأخرى في AWS مدونة التعلم الآلي.
عن المؤلفين
غييرمو ريبيرو خيمينيز هو عالم بيانات كبير في Cepsa حاصل على درجة الدكتوراه. في الفيزياء النووية. لديه 6 سنوات من الخبرة في مشاريع علوم البيانات ، وخاصة في صناعة الاتصالات والطاقة. يقود حاليًا فرق علماء البيانات في قسم التحول الرقمي في Cepsa ، مع التركيز على توسيع نطاق مشاريع التعلم الآلي وإنتاجها.
غييرمو مينينديز كورال هو مهندس حلول في AWS Energy and Utilities. يتمتع بخبرة تزيد عن 15 عامًا في تصميم وبناء تطبيقات SW ، ويقدم حاليًا إرشادات معمارية لعملاء AWS في صناعة الطاقة ، مع التركيز على التحليلات والتعلم الآلي.
- كوينسمارت. أفضل بورصة للبيتكوين والعملات المشفرة في أوروبا.
- بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. دخول مجاني.
- كريبتوهوك. الرادار. تجربة مجانية.
- المصدر: https://aws.amazon.com/blogs/machine-learning/how-cepsa-used-amazon-sagemaker-and-aws-step-functions-to-industrialize-their-ml-projects-and-operate- نماذجهم على نطاق واسع /
- "
- 000
- 100
- 15 سنة
- a
- القدرة
- من نحن
- الوصول
- حسابي
- التأهيل
- في
- Ad
- وأضاف
- مميزات
- ضد
- خوارزمية
- خوارزميات
- الكل
- يسمح
- سابقا
- أمازون
- وسط
- تحليلات
- تحليل
- في أى مكان
- API
- واجهات برمجة التطبيقات
- التطبيقات
- تطبيقي
- نهج
- الموافقة على
- معماري
- هندسة معمارية
- حول
- أسوشيتد
- أتمتة
- الآلي
- أوتوماتيك
- تلقائيا
- أتمتة
- أتمتة
- متاح
- AWS
- لان
- أن تصبح
- قبل
- يجري
- أقل من
- أفضل
- المدونة
- نساعدك في بناء
- ابني
- يبني
- الأعمال
- الأعمال
- حقيبة
- الحالات
- مركزية
- معين
- تحدى
- التحديات
- مادة كيميائية
- سحابة
- الكود
- ارتكاب
- مشترك
- حول الشركة
- إكمال
- تماما
- مجمع
- عنصر
- مكونات
- إحصاء
- من التركيز
- التواصل
- تستهلك
- مستهلك
- استهلاك
- وعاء
- حاويات
- التكاليف
- استطاع
- بهيكل
- خلق
- يخلق
- خلق
- حاليا
- على
- زبون
- العملاء
- البيانات
- علم البيانات
- عالم البيانات
- قررت
- القرارات
- اعتمادا
- يعتمد
- نشر
- نشر
- نشر
- نشر
- تصميم
- تصميم
- مفصلة
- الكشف عن
- كشف
- حدد
- المطورين
- تطوير
- مختلف
- رقمي
- التحول الرقمي
- مباشرة
- بحث
- تنين
- كل
- بسهولة
- كفاءة
- فعال
- الناشئة
- تمكن
- نقطة النهاية
- طاقة
- محرك
- المهندسين
- البيئة
- معدات
- مقدر
- الحدث/الفعالية
- تطور
- بالضبط
- مثال
- توقع
- الخبره في مجال الغطس
- تجربة
- استكشاف
- مواجهة
- FAST
- أسرع
- الميزات
- عقار مميز
- أخيرا
- الاسم الأول
- مرونة
- مرن
- تركز
- متابعيك
- الإطار
- تبدأ من
- بالإضافة إلى
- وظائف
- مستقبل
- البوابات و حواجز اللعب
- العلاجات العامة
- بوابة
- GitHub جيثب:
- العالمية
- هدف
- مقبض
- وجود
- مساعدة
- يساعد
- جدا
- تاريخي
- يحمل
- استضافت
- استضافة
- كيفية
- HTTPS
- مئات
- صور
- التنفيذ
- نفذت
- تحسن
- تحسين
- تحسين
- في أخرى
- تتضمن
- القيمة الاسمية
- مستقل
- بشكل مستقل
- صناعي
- العالمية
- معلومات
- وأبلغ
- البنية التحتية
- الابتكار
- إدخال
- المتكاملة
- التفاعلية
- إدخال
- عزل
- مسائل
- IT
- احتفظ
- حفظ
- القفل
- إطلاق
- قيادة
- تعلم
- المكتبة
- خطوط
- موقع
- أبحث
- آلة
- آلة التعلم
- صنع
- المحافظة
- صيانة
- جعل
- يصنع
- إدارة
- تمكن
- إدارة
- أسلوب
- كتيب
- يدويا
- يعني
- المقاييس
- ML
- نموذج
- عارضات ازياء
- مراقبة
- مراقبة
- الأكثر من ذلك
- أكثر
- متعدد
- إحتياجات
- طريقة التوسع
- عملية
- التحسين
- مزيد من الخيارات
- طلب
- منظمة
- أخرى
- الخاصة
- أصحاب
- مرور
- أداء
- أداء
- مرحلة جديدة
- فيزياء
- نقاط
- تنبأ
- مشاكل
- عملية المعالجة
- العمليات
- منتج
- الإنتــاج
- تنفيذ المشاريع
- مشروع ناجح
- المقدمة
- ويوفر
- توفير
- نشر
- غرض
- أغراض
- دفع
- جودة
- في الوقت الحقيقي
- تخفيض
- تسجيل جديد
- مسجل
- الخدمة الموثوقة
- مستودع
- مطلوب
- المتطلبات الأساسية
- استجابة
- المسؤوليات
- REST
- مما أدى
- النتائج
- يجري
- تشغيل
- حجم
- التحجيم
- علوم
- عالم
- العلماء
- تأمين
- مسلسلات
- Serverless
- الخدمة
- خدمات
- طقم
- شنغهاي
- مشاركة
- المدى القصير
- الاشارات
- محاكاة
- عزباء
- حالة
- SIX
- So
- حل
- الحلول
- بعض
- شيء
- محدد
- سرعة
- مراحل
- معيار
- بدأت
- تخزين
- متجر
- تبسيط
- بنجاح
- نظام
- الهدف
- فريق
- فريق
- شركة الاتصالات
- تجربه بالعربي
- الاختبار
- •
- المصدر
- وبالتالي
- بعناية
- عتبة
- عبر
- الوقت
- مرات
- نحو
- التتبع
- مسار
- تتبع الشحنة
- قادة الإيمان
- تحول
- التحولات
- انتقال
- مع
- us
- تستخدم
- عادة
- خدمات
- قيمنا
- الإصدار
- محدد جيدًا
- في حين
- بدون
- للعمل
- سير العمل
- عامل
- العالم
- جاري الكتابة
- عام
- سنوات
- التوزيعات للسهم الواحد