این پست توسط تریستان میلر از بهترین تخم مرغ نوشته شده است.
بهترین تخم مرغ یک پلت فرم اعتماد مالی پیشرو است که محصولات و منابع وام دهی را با تمرکز بر کمک به مردم در مدیریت امور مالی روزمره خود احساس اطمینان بیشتری ارائه می دهد. از مارس 2014، Best Egg 22 میلیارد دلار وام شخصی مصرف کننده با عملکرد اعتباری قوی ارائه کرده است، از تقریبا 637,000 عضو به پلتفرم Best Egg Financial Health که اخیراً راه اندازی شده استقبال کرده است، و به بیش از 180,000 عضو کارت که کارت اعتباری Best Egg جدید را در کیف پول خود حمل می کنند، قدرت داده است.
آمازون SageMaker یک سرویس یادگیری ماشینی کاملاً مدیریت شده (ML) است که ابزارهای مختلفی را برای ساخت، آموزش، بهینه سازی و استقرار مدل های ML ارائه می دهد. SageMaker فراهم می کند تنظیم خودکار مدل، که بلند کردن سنگین تمایزناپذیر تهیه و مدیریت زیرساخت محاسباتی را برای اجرای چندین تکرار و انتخاب مدل بهینه شده از آموزش مدیریت می کند.
برای کمک به تنظیم کارآمد هایپرپارامترهای مورد نیاز خود و تعیین بهترین مدل، در این پست نحوه انجام آن بحث خواهد شد بهترین تخم مرغ با استفاده از تنظیم هایپرپارامتر SageMaker استخرهای گرم و به بهبود سه برابری در زمان آموزش مدل دست یافت.
از نمای کلی مورد استفاده کنید
تحلیلگران اعتبار ریسک هنگام وام دادن یا ارائه کارت اعتباری به مشتریان با در نظر گرفتن انواع ویژگی های کاربر از مدل های رتبه بندی اعتباری استفاده می کنند. این مدل آماری یک امتیاز نهایی یا شاخص خوب بد (GBI) ایجاد میکند که تعیین میکند آیا درخواست اعتبار را تأیید یا رد کنید. بینش ML تصمیم گیری را تسهیل می کند. برای ارزیابی ریسک برنامه های اعتباری، ML از منابع داده های مختلف استفاده می کند و بدین ترتیب خطر عدم تعهد مشتری را پیش بینی می کند.
چالش
یک مشکل مهم در بخش مالی این است که هیچ روش یا ساختار پذیرفته شده جهانی برای مقابله با مجموعه گسترده احتمالاتی که باید در هر زمان در نظر گرفته شوند وجود ندارد. استاندارد کردن ابزارهایی که تیم ها به منظور ارتقای شفافیت و ردیابی در سراسر جهان استفاده می کنند، دشوار است. استفاده از ML می تواند به کسانی که در صنعت مالی هستند کمک کند تا در مورد قیمت گذاری، مدیریت ریسک و رفتار مصرف کننده قضاوت بهتری داشته باشند. دانشمندان داده چندین الگوریتم ML را آموزش میدهند تا میلیونها رکورد داده مصرفکننده را بررسی کنند، ناهنجاریها را شناسایی کنند و ارزیابی کنند که آیا یک فرد واجد شرایط اعتبار است یا خیر.
SageMaker می تواند تنظیم هایپرپارامتر خودکار را بر اساس تکنیک های بهینه سازی چندگانه اجرا کند جستجوی شبکه ای, بیزی, جستجوی تصادفیو هایپرباند. تنظیم خودکار مدل باعث میشود که پیکربندی مدل بهینه را به راحتی به صفر برسانید و زمان و هزینه را برای استفاده بهتر در سایر بخشهای مالی آزاد میکند. به عنوان بخشی از تنظیم هایپرپارامتر، SageMaker چندین تکرار از کد آموزشی را روی مجموعه داده آموزشی با ترکیب های مختلف هایپرپارامتر اجرا می کند. سپس SageMaker بهترین مدل کاندید را با فراپارامترهای بهینه بر اساس متریک هدف پیکربندی شده تعیین می کند.
Best Egg توانست تنظیم هایپرپارامتر را با ویژگی بهینه سازی هایپرپارامتر خودکار (HPO) SageMaker خودکار کند و آن را موازی کند. با این حال، هر کار تنظیم فراپارامتر میتواند ساعتها طول بکشد، و انتخاب بهترین مدل برای بسیاری از کارهای تنظیم فراپارامتر در طول چند روز انجام شد. کارهای تنظیم فراپارامتر ممکن است به دلیل ماهیت وظایف تکراری که HPO در زیر پوشش اجرا می کند کند باشد. هر بار که یک کار آموزشی شروع می شود، تامین منابع جدید اتفاق می افتد، که زمان قابل توجهی را قبل از شروع واقعی آموزش صرف می کند. این یک مشکل رایج است که دانشمندان داده هنگام آموزش مدل های خود با آن مواجه می شوند. بهره وری زمان یک نقطه دردناک اصلی بود زیرا این مشاغل آموزشی طولانی مدت مانع بهره وری می شدند و دانشمندان داده ساعت ها در این مشاغل گیر می کردند.
بررسی اجمالی راه حل
نمودار زیر اجزای مختلف مورد استفاده در این محلول را نشان می دهد.
بهترین تیم علم داده تخم مرغ استفاده می کند Amazon SageMaker Studio برای ساخت و راه اندازی نوت بوک های Jupyter. مشاغل پردازش SageMaker برای تولید ویژگیها، خطوط لوله مهندسی ویژگی را روی مجموعه داده ورودی اجرا کنید. Best Egg چندین مدل اعتباری را با استفاده از الگوریتم های طبقه بندی و رگرسیون آموزش می دهد. تیم علم داده گاهی اوقات باید با داده های آموزشی محدود به ترتیب ده ها هزار رکورد با توجه به ماهیت موارد استفاده آنها کار کند. Best Egg کارهای آموزشی SageMaker را با تنظیم خودکار فراپارامتر ارائه میدهد بهینه سازی بیزی. برای کاهش واریانس، Best Egg از اعتبار سنجی متقاطع k-fold به عنوان بخشی از ظرف سفارشی خود برای ارزیابی مدل آموزش دیده استفاده می کند.
مصنوع مدل آموزش دیده ثبت شده و نسخه شده است رجیستری مدل SageMaker. استنباط به دو صورت – زمان واقعی و دسته ای – بر اساس نیاز کاربر اجرا می شود. مصنوع مدل آموزشدیده بر روی یک میزبانی میشود نقطه پایان بلادرنگ SageMaker با استفاده از مقیاس خودکار داخلی و ویژگی های تعادل بار. مدل نیز از طریق نمره گذاری شده است کارهای تبدیل دسته ای به صورت روزانه برنامه ریزی شده است. کل خط لوله از طریق هماهنگ شده است خطوط لوله آمازون SageMaker، متشکل از دنباله ای از مراحل مانند یک مرحله پردازش برای مهندسی ویژگی، یک مرحله تنظیم برای آموزش و تنظیم خودکار مدل و یک مرحله مدل برای ثبت آرتیفکت.
با توجه به مشکل اصلی کارهای تنظیم هایپرپارامتر طولانی مدت، Best Egg ویژگی استخرهای گرم اخیرا منتشر شده توسط SageMaker را بررسی کرد. SageMaker مدیریت استخرهای گرم به شما این امکان را میدهد تا پس از اتمام یک کار آموزشی، زیرساختهای ارائهشده را حفظ کرده و مجدداً از آن استفاده کنید تا تأخیر برای بارهای کاری تکراری، مانند آزمایشهای تکراری یا کارهای در حال اجرا متوالی که در آن پارامترهای پیکربندی کار خاص مانند نوع نمونه یا تعداد با اجراهای قبلی مطابقت دارند، کاهش یابد. این به Best Egg اجازه داد تا از زیرساخت های موجود برای مشاغل آموزشی تکراری خود بدون اتلاف وقت برای تهیه زیرساخت استفاده مجدد کند.
غواصی عمیق در تنظیم مدل و مزایای استخرهای گرم
تنظیم خودکار مدل SageMaker به طور پیشفرض از Warm Pools برای هر کار تنظیمی استفاده میکند آگوست 2022 (اعلامیه). این امر باعث میشود تا از مزایای Warm Pools استفاده کنید، زیرا فقط باید یک کار تنظیم را راهاندازی کنید و SageMaker Automatic Model Tuning به طور خودکار از استخرهای گرم بین کارهای آموزشی بعدی که به عنوان بخشی از تنظیم راهاندازی میشوند استفاده میکند. پس از اتمام هر کار آموزشی، منابع تدارک دیده شده در یک استخر گرم زنده نگه داشته می شوند تا کار آموزشی بعدی که به عنوان بخشی از تنظیم راه اندازی می شود، در همان استخر با حداقل هزینه راه اندازی شروع شود.
گردش کار زیر مجموعه ای از کارهای آموزشی را با استفاده از استخر گرم نشان می دهد.
- پس از تکمیل اولین کار آموزشی، نمونه های مورد استفاده برای آموزش در خوشه استخر گرم نگهداری می شوند.
- کار آموزشی بعدی که راهاندازی میشود، از نمونه موجود در استخر گرم برای اجرا استفاده میکند و زمان شروع سرد مورد نیاز برای آمادهسازی نمونه برای راهاندازی را حذف میکند.
- به همین ترتیب، اگر مشاغل آموزشی بیشتری با نوع نمونه، تعداد نمونه، حجم و معیارهای شبکه مشابه منابع خوشه استخر گرم وارد شوند، از نمونههای همسان برای اجرای کارها استفاده میشود.
- پس از تکمیل کار آموزشی، نمونه ها در استخر گرم و منتظر مشاغل جدید نگهداری می شوند.
- حداکثر مدت زمانی که یک کلاستر استخر گرم می تواند به اجرای کارهای آموزشی متوالی ادامه دهد 7 روز است.
- تا زمانی که خوشه سالم باشد و استخر گرم در مدت زمان مشخص شده باشد، وضعیت استخر گرم است.
Available
. - استخر گرم باقی می ماند
Available
تا زمانی که یک کار آموزشی منطبق را برای استفاده مجدد شناسایی کند. اگر وضعیت استخر گرم باشدTerminated
، پس این پایان چرخه عمر استخر گرم است.
- تا زمانی که خوشه سالم باشد و استخر گرم در مدت زمان مشخص شده باشد، وضعیت استخر گرم است.
نمودار زیر این گردش کار را نشان می دهد.
چگونه بهترین تخم مرغ سود برد: بهبودها و نقاط داده
Best Egg متوجه شد که با استخرهای گرم، کارهای آموزشی آنها در SageMaker با ضریب 3 سریعتر اجرا می شد. در یک پروژه مدل اعتباری، بهترین مدل از هشت شغل مختلف HPO انتخاب شد که هر کدام دارای 40 تکرار با پنج کار موازی در زمان. محاسبه هر تکرار حدود 1 دقیقه طول می کشد، در حالی که بدون استخرهای گرم معمولاً هر کدام 5 دقیقه طول می کشد. در مجموع، این فرآیند 2 ساعت زمان محاسباتی طول کشید، با ورودی اضافی از دانشمند داده که حدود نیمی از روز کاری را اضافه کرد. بدون استخرهای گرم، ما تخمین می زنیم که محاسبه به تنهایی 6 ساعت طول می کشد، که احتمالاً در طول 2 تا 3 روز کاری گسترش می یابد.
خلاصه
در پایان، این پست عناصر کسب و کار Best Egg و چشم انداز ML شرکت را مورد بحث قرار داد. ما بررسی کردیم که چگونه Best Egg توانست با فعال کردن استخرهای گرم برای کارهای تنظیم فراپارامتری خود در SageMaker، آموزش و تنظیم مدل خود را سرعت بخشد. ما همچنین توضیح دادیم که چقدر ساده است که استخرهای گرم را برای مشاغل آموزشی خود با یک پیکربندی ساده پیاده سازی کنید. در AWS، ما به خوانندگان خود توصیه می کنیم کاوش را شروع کنند استخرهای گرم برای مشاغل آموزشی تکراری و تکراری
درباره نویسنده
تریستان میلر یک دانشمند ارشد داده در Best Egg است. او مدلهای ML را میسازد و به کار میبرد تا تصمیمات مهمی را در مورد تعهد و بازاریابی بگیرد. او راه حل های سفارشی برای رسیدگی به مشکلات خاص و همچنین اتوماسیون برای افزایش کارایی و مقیاس ایجاد می کند. او همچنین اوریگامیست ماهری است.
والریو پرونه مدیر علوم کاربردی در AWS است. او تیم علمی و مهندسی را رهبری می کند که دارای سرویس تنظیم خودکار مدل در سراسر Amazon SageMaker است. تخصص والریو در توسعه الگوریتمهایی برای یادگیری ماشینی در مقیاس بزرگ و مدلهای آماری، با تمرکز بر تصمیمگیری مبتنی بر داده و دموکراتیزهسازی هوش مصنوعی است.
گاناپاتی کریشنامورتی یک معمار ارشد راه حل های ML در AWS است. Ganapathi راهنمایی های تجویزی را برای مشتریان راه اندازی و سازمانی ارائه می دهد و به آنها کمک می کند تا برنامه های کاربردی ابری را در مقیاس طراحی و اجرا کنند. او در یادگیری ماشین تخصص دارد و بر کمک به مشتریان برای استفاده از AI/ML برای نتایج کسب و کار خود متمرکز است. وقتی سر کار نیست، از گشت و گذار در فضای باز و گوش دادن به موسیقی لذت می برد
آجی گوویندارام Sr. Solutions Architect در AWS است. او با مشتریان استراتژیک که از AI/ML برای حل مشکلات پیچیده تجاری استفاده می کنند کار می کند. تجربه او در ارائه جهت فنی و همچنین کمک طراحی برای استقرار برنامه های کاربردی AI/ML در مقیاس متوسط تا بزرگ نهفته است. دانش او از معماری اپلیکیشن گرفته تا داده های بزرگ، تجزیه و تحلیل و یادگیری ماشینی را شامل می شود. او از گوش دادن به موسیقی در هنگام استراحت، تجربه در فضای باز و گذراندن وقت با عزیزانش لذت می برد.
هریهاران سورش یک معمار ارشد راه حل در AWS است. او علاقه زیادی به پایگاه داده ها، یادگیری ماشینی و طراحی راه حل های نوآورانه دارد. قبل از پیوستن به AWS، Hariharan یک معمار محصول، متخصص پیاده سازی بانکداری اصلی و توسعه دهنده بود و بیش از 11 سال با سازمان های BFSI کار کرد. او خارج از تکنولوژی، از پاراگلایدر و دوچرخه سواری لذت می برد.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- پلاتوبلاک چین. Web3 Metaverse Intelligence. دانش تقویت شده دسترسی به اینجا.
- منبع: https://aws.amazon.com/blogs/machine-learning/best-egg-achieved-three-times-faster-ml-model-training-with-amazon-sagemaker-automatic-model-tuning/
- 000
- 1
- 100
- 11
- 2014
- 2022
- 7
- a
- قادر
- درباره ما
- حساب
- دست
- در میان
- واقعا
- اضافی
- نشانی
- پس از
- AI / ML
- الگوریتم
- اجازه می دهد تا
- تنها
- آمازون
- آمازون SageMaker
- مقدار
- تحلیلگران
- علم تجزیه و تحلیل
- و
- خبر
- کاربرد
- برنامه های کاربردی
- اعمال می شود
- تصویب
- معماری
- صف
- مصنوعی
- کمک
- خواص
- خودکار
- خودکار بودن
- خودکار
- اتوماتیک
- بطور خودکار
- اتوماسیون
- AWS
- بد
- بانکداری
- مستقر
- اساس
- زیرا
- قبل از
- در زیر
- مزایای
- بهترین
- بهتر
- میان
- BFSI
- بزرگ
- بزرگ داده
- بیلیون
- تخته
- ساختن
- بنا
- می سازد
- ساخته شده در
- کسب و کار
- نامزد
- کارت
- حمل
- مورد
- موارد
- طبقه بندی
- ابر
- برنامه های کاربردی ابر
- خوشه
- رمز
- ترکیب
- بیا
- مشترک
- شرکت
- کامل
- تکمیل شده
- تکمیل شده
- اتمام
- پیچیده
- اجزاء
- محاسبه
- محاسبه
- نتیجه
- اعتماد به نفس
- مطمئن
- پیکر بندی
- متوالی
- در نظر گرفته
- شامل
- مصرف کننده
- رفتار مصرف کننده
- داده های مصرف کننده
- ظرف
- ادامه دادن
- هسته
- بانکداری مرکزی
- میتوانست
- دوره
- اعتبار
- کارت اعتباری
- رتبه اعتباری
- ضوابط
- صلیب
- سفارشی
- مشتری
- مشتریان
- روزانه
- داده ها
- علم اطلاعات
- دانشمند داده
- داده محور
- پایگاه های داده
- روز
- روز
- معامله
- تصمیم
- تصمیم گیری
- تصمیم گیری
- به طور پیش فرض
- تحویل داده
- گسترش
- اعزام ها
- مستقر می کند
- طرح
- طراحی
- مشخص کردن
- تعیین می کند
- توسعه دهنده
- در حال توسعه
- توسعه
- مختلف
- مشکل
- جهت
- بحث و تبادل نظر
- بحث کردیم
- هر
- بهره وری
- موثر
- عناصر
- واجد شرایط
- از بین بردن
- در جای دیگر
- قدرت
- را قادر می سازد
- مهندسی
- سرمایه گذاری
- مشتریان سازمانی
- تخمین زدن
- اتر (ETH)
- ارزیابی
- هر
- هر روز
- موجود
- تجربه
- تجربه
- تخصص
- توضیح داده شده
- کشف
- بررسی
- چهره
- تسهیل کردن
- سریعتر
- ویژگی
- امکانات
- نهایی
- سرمایه گذاری
- امور مالی
- مالی
- سلامت مالی
- بخش مالی
- نام خانوادگی
- تمرکز
- متمرکز شده است
- پیروی
- از جانب
- کاملا
- جی بی آی
- تولید می کنند
- تولید می کند
- داده
- خوب
- نیم
- سلامتی
- سالم
- کمک
- کمک
- کاپوت
- میزبانی
- ساعت ها
- چگونه
- اما
- HTML
- HTTPS
- بهینه سازی هایپرپارامتر
- تنظیم فراپارامتر
- شناسایی می کند
- شناسایی
- انجام
- پیاده سازی
- مهم
- بهبود
- ارتقاء
- in
- افزایش
- شاخص
- صنعت
- شالوده
- ابتکاری
- ورودی
- بینش
- نمونه
- IT
- تکرار
- تکرار
- کار
- شغل ها
- پیوستن
- قضاوت ها
- دانش
- چشم انداز
- در مقیاس بزرگ
- تاخیر
- راه اندازی
- راه اندازی
- رهبری
- برجسته
- منجر می شود
- یادگیری
- امانت دادن
- طول
- اهرم ها
- بلند کردن اجسام
- احتمالا
- محدود شده
- استماع
- بار
- وام
- طولانی
- محبوب
- دستگاه
- فراگیری ماشین
- عمده
- ساخت
- باعث می شود
- ساخت
- مدیریت
- اداره می شود
- مدیریت
- مدیر
- مدیریت می کند
- مدیریت
- بسیاری
- مارس
- بازار یابی (Marketing)
- مسابقه
- تطبیق
- مطابق
- بیشترین
- اعضا
- روش
- متری
- اسیابان
- میلیون ها نفر
- حداقل
- دقیقه
- دقیقه
- ML
- الگوریتم های ML
- مدل
- مدل
- پول
- بیش
- چندگانه
- موسیقی
- طبیعت
- نیاز
- ضروری
- شبکه
- جدید
- بعد
- نوت بوک
- هدف
- ارائه
- ONE
- بهینه
- بهینه سازی
- بهینه سازی
- بهینه
- سفارش
- سازمان های
- خارج از منزل
- خارج از
- درد
- موازی
- پارامترهای
- بخش
- احساساتی
- مردم
- کارایی
- شخص
- شخصی
- وام های شخصی
- خط لوله
- سکو
- افلاطون
- هوش داده افلاطون
- PlatoData
- نقطه
- استخر
- استخرها
- فرصت
- پست
- صفحه اصلی
- پیش بینی
- آماده
- قبلی
- قیمت گذاری
- قبلا
- مشکل
- مشکلات
- روند
- در حال پردازش
- محصول
- بهره وری
- محصولات
- پروژه
- ترویج
- فراهم می کند
- ارائه
- رتبه
- خوانندگان
- زمان واقعی
- تازه
- توصیه
- سوابق
- كاهش دادن
- با توجه
- ثبت نام
- ثبت نام
- رگرسیون
- منتشر شد
- تکراری
- نشان دهنده
- ضروری
- مورد نیاز
- منابع
- منابع
- بررسی
- خطر
- مدیریت ریسک
- دویدن
- در حال اجرا
- حکیم ساز
- تنظیم خودکار مدل SageMaker
- همان
- مقیاس
- مقیاس گذاری
- برنامه ریزی
- علم
- دانشمند
- دانشمندان
- بخش
- انتخاب شد
- انتخاب
- ارشد
- دنباله
- سلسله
- سرویس
- چند
- قابل توجه
- مشابه
- ساده
- پس از
- ماهر
- کند
- So
- راه حل
- مزایا
- حل
- منابع
- متخصص
- تخصصی
- خاص
- مشخص شده
- سرعت
- هزینه
- گسترش
- شروع
- شروع
- آماری
- وضعیت
- گام
- مراحل
- ساده
- استراتژیک
- قوی
- ساختار
- متعاقب
- چنین
- گرفتن
- مصرف
- وظایف
- تیم
- تیم ها
- فنی
- تکنیک
- پیشرفته
- La
- شان
- در نتیجه
- هزاران نفر
- سه
- از طریق
- زمان
- بار
- به
- ابزار
- جمع
- پیگردی
- قطار
- آموزش دیده
- آموزش
- قطار
- دگرگون کردن
- شفافیت
- باعث شد
- به طور معمول
- زیر
- تعهد
- استفاده کنید
- کاربر
- اعتبار سنجی
- تنوع
- مختلف
- حجم
- منتظر
- کیف پول
- گرم
- استقبال
- چه
- که
- در حین
- WHO
- اراده
- در داخل
- بدون
- مهاجرت کاری
- مشغول به کار
- گردش کار
- با این نسخهها کار
- خواهد بود
- سال
- شما
- زفیرنت
- صفر