কিভাবে VMware GitLab, Amazon MWAA, এবং Amazon SageMaker ব্যবহার করে স্ক্র্যাচ থেকে MLOps পাইপলাইন তৈরি করেছে

এই পোস্টটি VMware কার্বন ব্ল্যাকের মেশিন লার্নিং ইঞ্জিনিয়ার, মহিমা আগরওয়াল এবং সিনিয়র ইঞ্জিনিয়ারিং ম্যানেজার দীপক মেটেমের সাথে সহ-লেখা হয়েছে

ভিএমওয়্যার কার্বন ব্ল্যাক আধুনিক সাইবার আক্রমণের সম্পূর্ণ স্পেকট্রামের বিরুদ্ধে সুরক্ষা প্রদানকারী একটি বিখ্যাত নিরাপত্তা সমাধান। পণ্যের দ্বারা উত্পন্ন টেরাবাইট ডেটা সহ, নিরাপত্তা বিশ্লেষণ দল সারফেস ক্রিটিক্যাল অ্যাটাক এবং গোলমাল থেকে উদ্ভূত হুমকির স্পটলাইট করার জন্য মেশিন লার্নিং (এমএল) সমাধান তৈরিতে ফোকাস করে।

ভিএমওয়্যার কার্বন ব্ল্যাক টিমের জন্য একটি কাস্টম এন্ড-টু-এন্ড MLOps পাইপলাইন ডিজাইন করা এবং তৈরি করা গুরুত্বপূর্ণ যা ML লাইফসাইকেলে ওয়ার্কফ্লোকে অর্কেস্ট্রেট এবং স্বয়ংক্রিয় করে এবং মডেল প্রশিক্ষণ, মূল্যায়ন এবং স্থাপনা সক্ষম করে।

এই পাইপলাইনটি নির্মাণের দুটি প্রধান উদ্দেশ্য রয়েছে: দেরী-পর্যায়ের মডেল বিকাশের জন্য ডেটা বিজ্ঞানীদের সমর্থন করা এবং উচ্চ ভলিউমে এবং রিয়েল-টাইম উত্পাদন ট্র্যাফিকের মডেলগুলি পরিবেশন করে পণ্যের পৃষ্ঠের মডেলের পূর্বাভাস। অতএব, VMware কার্বন ব্ল্যাক এবং AWS ব্যবহার করে একটি কাস্টম MLOps পাইপলাইন তৈরি করতে বেছে নিয়েছে আমাজন সেজমেকার এর ব্যবহার সহজ, বহুমুখিতা এবং সম্পূর্ণরূপে পরিচালিত পরিকাঠামোর জন্য। আমরা আমাদের এমএল প্রশিক্ষণ এবং স্থাপনার পাইপলাইন ব্যবহার করে অর্কেস্ট্রেট করি Apache Airflow এর জন্য Amazon পরিচালিত ওয়ার্কফ্লো (Amazon MWAA), যা আমাদেরকে স্বয়ংক্রিয় স্কেলিং বা অবকাঠামো রক্ষণাবেক্ষণের বিষয়ে চিন্তা না করেই প্রোগ্রাম্যাটিকভাবে ওয়ার্কফ্লো এবং পাইপলাইন রচনায় আরও বেশি ফোকাস করতে সক্ষম করে।

এই পাইপলাইনের সাহায্যে, একসময় যা ছিল জুপিটার নোটবুক-চালিত এমএল গবেষণা এখন একটি স্বয়ংক্রিয় প্রক্রিয়া যা ডেটা বিজ্ঞানীদের সামান্য ম্যানুয়াল হস্তক্ষেপের সাথে উত্পাদনে মডেল স্থাপন করে। এর আগে, একটি মডেল প্রশিক্ষণ, মূল্যায়ন এবং স্থাপনের প্রক্রিয়া এক দিন সময় নিতে পারে; এই বাস্তবায়নের সাথে, সবকিছুই একটি ট্রিগার দূরে এবং সামগ্রিক সময়কে কয়েক মিনিটে কমিয়ে দিয়েছে।

এই পোস্টে, ভিএমওয়্যার কার্বন ব্ল্যাক এবং এডব্লিউএস স্থপতিরা আলোচনা করে যে আমরা কীভাবে কাস্টম এমএল ওয়ার্কফ্লো তৈরি এবং পরিচালনা করেছি গিটলব, Amazon MWAA, এবং SageMaker. আমরা এখন পর্যন্ত কী অর্জন করেছি, পাইপলাইনে আরও বর্ধিতকরণ এবং পথ ধরে শেখা পাঠ নিয়ে আলোচনা করি।

সমাধান ওভারভিউ

নিম্নলিখিত চিত্রটি এমএল প্ল্যাটফর্মের আর্কিটেকচারকে চিত্রিত করে।

উচ্চ স্তরের সমাধান ডিজাইন

এই ML প্ল্যাটফর্মটি বিভিন্ন কোড রিপোজিটরি জুড়ে বিভিন্ন মডেল দ্বারা ব্যবহার করার জন্য কল্পনা করা হয়েছিল এবং ডিজাইন করা হয়েছিল। আমাদের দল GitLab ব্যবহার করে সোর্স কোড ম্যানেজমেন্ট টুল হিসেবে সমস্ত কোড রিপোজিটরি বজায় রাখতে। মডেল রিপোজিটরি সোর্স কোডের যেকোনো পরিবর্তন ক্রমাগত ব্যবহার করে একত্রিত করা হয় গিটল্যাব সিআই, যা পাইপলাইনে পরবর্তী কর্মপ্রবাহকে আহ্বান করে (মডেল প্রশিক্ষণ, মূল্যায়ন, এবং স্থাপনা)।

নিচের আর্কিটেকচার ডায়াগ্রামটি এন্ড-টু-এন্ড ওয়ার্কফ্লো এবং আমাদের MLOps পাইপলাইনের সাথে জড়িত উপাদানগুলিকে চিত্রিত করে।

এন্ড-টু-এন্ড ওয়ার্কফ্লো

এমএল মডেল প্রশিক্ষণ, মূল্যায়ন, এবং স্থাপনার পাইপলাইনগুলি অ্যামাজন MWAA ব্যবহার করে সাজানো হয়, যাকে বলা হয় পরিচালিত অ্যাসাইক্লিক গ্রাফ (ডিএজি)। একটি DAG হল একত্রে কাজগুলির একটি সংগ্রহ, নির্ভরতা এবং সম্পর্কের সাথে সংগঠিত যাতে বলা হয় যে সেগুলি কীভাবে চালানো উচিত।

উচ্চ স্তরে, সমাধান আর্কিটেকচারে তিনটি প্রধান উপাদান রয়েছে:

• ML পাইপলাইন কোড সংগ্রহস্থল
• এমএল মডেল প্রশিক্ষণ এবং মূল্যায়ন পাইপলাইন
• এমএল মডেল স্থাপনার পাইপলাইন

আসুন আলোচনা করি কিভাবে এই বিভিন্ন উপাদানগুলি পরিচালিত হয় এবং কিভাবে তারা একে অপরের সাথে যোগাযোগ করে।

ML পাইপলাইন কোড সংগ্রহস্থল

মডেল রেপো MLOps রেপোকে তাদের ডাউনস্ট্রিম পাইপলাইন হিসাবে সংহত করার পরে এবং একজন ডেটা বিজ্ঞানী তাদের মডেল রেপোতে কোড কমিট করার পরে, একজন গিটল্যাব রানার সেই রেপোতে সংজ্ঞায়িত স্ট্যান্ডার্ড কোড বৈধতা এবং পরীক্ষা করে এবং কোড পরিবর্তনের উপর ভিত্তি করে MLOps পাইপলাইন ট্রিগার করে। আমরা গিটল্যাবের মাল্টি-প্রকল্প পাইপলাইন ব্যবহার করি এই ট্রিগারটিকে বিভিন্ন রিপোতে সক্ষম করতে।

MLOps GitLab পাইপলাইন ধাপের একটি নির্দিষ্ট সেট চালায়। এটি পাইলিন্ট ব্যবহার করে মৌলিক কোড বৈধতা পরিচালনা করে, ডকার চিত্রের মধ্যে মডেলের প্রশিক্ষণ এবং অনুমান কোড প্যাকেজ করে এবং ধারক চিত্রটি প্রকাশ করে অ্যামাজন ইলাস্টিক কনটেইনার রেজিস্ট্রি (আমাজন ইসিআর)। Amazon ECR হল একটি সম্পূর্ণরূপে পরিচালিত কন্টেইনার রেজিস্ট্রি যা উচ্চ-পারফরম্যান্স হোস্টিং অফার করে, যাতে আপনি যেকোন জায়গায় নির্ভরযোগ্যভাবে অ্যাপ্লিকেশনের ছবি এবং শিল্পকর্ম স্থাপন করতে পারেন।

এমএল মডেল প্রশিক্ষণ এবং মূল্যায়ন পাইপলাইন

ছবিটি প্রকাশিত হওয়ার পরে, এটি প্রশিক্ষণ এবং মূল্যায়ন শুরু করে অ্যাপাচি এয়ারফ্লো এর মাধ্যমে পাইপলাইন এডাব্লুএস ল্যাম্বদা ফাংশন Lambda হল একটি সার্ভারবিহীন, ইভেন্ট-চালিত কম্পিউট পরিষেবা যা আপনাকে কার্যত যেকোন ধরনের অ্যাপ্লিকেশন বা ব্যাকএন্ড পরিষেবার জন্য সার্ভারের ব্যবস্থা বা পরিচালনা ছাড়াই কোড চালাতে দেয়।

পাইপলাইনটি সফলভাবে ট্রিগার হওয়ার পরে, এটি প্রশিক্ষণ এবং মূল্যায়ন DAG পরিচালনা করে, যার ফলে সেজমেকারে মডেল প্রশিক্ষণ শুরু হয়। এই প্রশিক্ষণ পাইপলাইনের শেষে, চিহ্নিত ব্যবহারকারী গোষ্ঠী ইমেলের মাধ্যমে প্রশিক্ষণ এবং মডেল মূল্যায়ন ফলাফল সহ একটি বিজ্ঞপ্তি পায় অ্যামাজন সাধারণ বিজ্ঞপ্তি পরিষেবা (Amazon SNS) এবং স্ল্যাক। Amazon SNS হল A2A এবং A2P মেসেজিংয়ের জন্য সম্পূর্ণরূপে পরিচালিত পাব/সাব পরিষেবা।

মূল্যায়নের ফলাফলের পুঙ্খানুপুঙ্খ বিশ্লেষণের পর, তথ্য বিজ্ঞানী বা এমএল প্রকৌশলী নতুন মডেল স্থাপন করতে পারেন যদি নতুন প্রশিক্ষিত মডেলের কর্মক্ষমতা আগের সংস্করণের তুলনায় ভালো হয়। মডেলগুলির কর্মক্ষমতা মডেল-নির্দিষ্ট মেট্রিক্সের (যেমন F1 স্কোর, MSE, বা বিভ্রান্তি ম্যাট্রিক্স) এর উপর ভিত্তি করে মূল্যায়ন করা হয়।

এমএল মডেল স্থাপনার পাইপলাইন

স্থাপনা শুরু করার জন্য, ব্যবহারকারী GitLab কাজ শুরু করে যা একই Lambda ফাংশনের মাধ্যমে Deployment DAG ট্রিগার করে। পাইপলাইন সফলভাবে চালানোর পরে, এটি নতুন মডেলের সাথে সেজমেকার এন্ডপয়েন্ট তৈরি বা আপডেট করে। এটি অ্যামাজন এসএনএস এবং স্ল্যাক ব্যবহার করে ইমেলের মাধ্যমে শেষ পয়েন্টের বিবরণ সহ একটি বিজ্ঞপ্তি পাঠায়।

যেকোনো একটি পাইপলাইনে ব্যর্থতার ক্ষেত্রে, ব্যবহারকারীদের একই যোগাযোগ চ্যানেলের মাধ্যমে অবহিত করা হয়।

সেজমেকার রিয়েল-টাইম ইনফারেন্স অফার করে যা কম লেটেন্সি এবং উচ্চ থ্রুপুট প্রয়োজনীয়তা সহ অনুমান কাজের চাপের জন্য আদর্শ। এই শেষ পয়েন্টগুলি সম্পূর্ণরূপে পরিচালিত, ভারসাম্যপূর্ণ এবং স্বয়ংক্রিয়ভাবে স্কেল করা হয় এবং উচ্চ প্রাপ্যতার জন্য একাধিক প্রাপ্যতা অঞ্চল জুড়ে স্থাপন করা যেতে পারে। আমাদের পাইপলাইন সফলভাবে চালানোর পরে একটি মডেলের জন্য এমন একটি শেষ পয়েন্ট তৈরি করে।

নিম্নলিখিত বিভাগে, আমরা বিভিন্ন উপাদান প্রসারিত এবং বিস্তারিত মধ্যে ডুব.

গিটল্যাব: প্যাকেজ মডেল এবং ট্রিগার পাইপলাইন

আমরা গিটল্যাবকে আমাদের কোড ভান্ডার হিসাবে ব্যবহার করি এবং মডেল কোড প্যাকেজ করার জন্য পাইপলাইনের জন্য এবং ডাউনস্ট্রিম এয়ারফ্লো DAGs ট্রিগার করি।

বহু-প্রকল্প পাইপলাইন

মাল্টি-প্রজেক্ট গিটল্যাব পাইপলাইন বৈশিষ্ট্যটি ব্যবহার করা হয় যেখানে প্যারেন্ট পাইপলাইন (আপস্ট্রিম) একটি মডেল রেপো এবং চাইল্ড পাইপলাইন (ডাউনস্ট্রিম) হল MLOps রেপো। প্রতিটি রেপো একটি .gitlab-ci.yml বজায় রাখে এবং আপস্ট্রিম পাইপলাইনে সক্রিয় নিম্নলিখিত কোড ব্লক ডাউনস্ট্রিম MLOps পাইপলাইনকে ট্রিগার করে।

trigger: project: path/to/ml-ops branch: main strategy: depend

আপস্ট্রিম পাইপলাইন মডেল কোডটি ডাউনস্ট্রিম পাইপলাইনে পাঠায় যেখানে প্যাকেজিং এবং প্রকাশনা CI কাজগুলি ট্রিগার হয়। মডেল কোড কনটেইনারাইজ করার কোড এবং এটিকে অ্যামাজন ECR-এ প্রকাশ করার কোড MLOps পাইপলাইন দ্বারা রক্ষণাবেক্ষণ ও পরিচালনা করা হয়। এটি ACCESS_TOKEN এর মত ভেরিয়েবল পাঠায় (এর অধীনে তৈরি করা যেতে পারে সেটিংস, প্রবেশ), JOB_ID (আপস্ট্রিম আর্টিফ্যাক্ট অ্যাক্সেস করতে), এবং $CI_PROJECT_ID (মডেল রেপোর প্রকল্প আইডি) ভেরিয়েবল, যাতে MLOps পাইপলাইন মডেল কোড ফাইলগুলি অ্যাক্সেস করতে পারে। সঙ্গে কাজের নিদর্শন গিটল্যাবের বৈশিষ্ট্য, ডাউনস্ট্রিম রেপো নিম্নলিখিত কমান্ড ব্যবহার করে দূরবর্তী শিল্পকর্মগুলি অ্যাক্সেস করে:

curl --output artifacts.zip --header "PRIVATE-TOKEN: <your_access_token>" "https://gitlab.example.com/api/v4/projects/1/jobs/42/artifacts"

মডেল রেপো একই রেপো থেকে একাধিক মডেলের জন্য ডাউনস্ট্রিম পাইপলাইনগুলি ব্যবহার করতে পারে যা স্টেজটি প্রসারিত করে যা এটিকে ট্রিগার করে প্রসারিত GitLab থেকে কীওয়ার্ড, যা আপনাকে বিভিন্ন পর্যায়ে একই কনফিগারেশন পুনরায় ব্যবহার করতে দেয়।

Amazon ECR-তে মডেল ইমেজ প্রকাশ করার পর, MLOps পাইপলাইন Lambda ব্যবহার করে Amazon MWAA ট্রেনিং পাইপলাইন ট্রিগার করে। ব্যবহারকারীর অনুমোদনের পর, এটি একই Lambda ফাংশন ব্যবহার করে মডেল স্থাপনার Amazon MWAA পাইপলাইনকে ট্রিগার করে।

শব্দার্থিক সংস্করণ এবং পাসিং সংস্করণ ডাউনস্ট্রিম

আমরা সংস্করণ ECR ইমেজ এবং SageMaker মডেলের জন্য কাস্টম কোড তৈরি করেছি। MLOps পাইপলাইন চিত্র এবং মডেলের জন্য শব্দার্থিক সংস্করণ লজিক পরিচালনা করে সেই পর্যায়ের অংশ হিসেবে যেখানে মডেল কোড কন্টেইনারাইজ করা হয় এবং সংস্করণগুলিকে আর্টিফ্যাক্ট হিসাবে পরবর্তী পর্যায়ে চলে যায়।

পুনরায় প্রশিক্ষণ

যেহেতু পুনঃপ্রশিক্ষণ একটি ML জীবনচক্রের একটি গুরুত্বপূর্ণ দিক, আমরা আমাদের পাইপলাইনের অংশ হিসাবে পুনরায় প্রশিক্ষণের ক্ষমতা প্রয়োগ করেছি। মডেল পুনঃপ্রশিক্ষণ সংস্করণ নম্বর এবং টাইমস্ট্যাম্পের উপর ভিত্তি করে এটি পুনরায় প্রশিক্ষণ দিচ্ছে কিনা তা সনাক্ত করতে আমরা SageMaker তালিকা-মডেল API ব্যবহার করি।

আমরা ব্যবহার করে পুনরায় প্রশিক্ষণ পাইপলাইনের দৈনিক সময়সূচী পরিচালনা করি গিটল্যাবের সময়সূচী পাইপলাইন.

টেরাফর্ম: অবকাঠামো সেটআপ

একটি Amazon MWAA ক্লাস্টার, ECR সংগ্রহস্থল, Lambda ফাংশন, এবং SNS বিষয় ছাড়াও, এই সমাধানটিও ব্যবহার করে এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM) ভূমিকা, ব্যবহারকারী এবং নীতি; আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) বালতি, এবং একটি অ্যামাজন ক্লাউডওয়াচ লগ ফরওয়ার্ডার

আমাদের পাইপলাইন জুড়ে জড়িত পরিষেবাগুলির জন্য অবকাঠামো সেটআপ এবং রক্ষণাবেক্ষণকে প্রবাহিত করতে, আমরা ব্যবহার করি Terraform কোড হিসাবে অবকাঠামো বাস্তবায়ন করতে। যখনই ইনফ্রা আপডেটের প্রয়োজন হয়, কোড পরিবর্তনগুলি একটি GitLab CI পাইপলাইন ট্রিগার করে যা আমরা সেট আপ করি, যা বিভিন্ন পরিবেশে পরিবর্তনগুলিকে যাচাই করে এবং স্থাপন করে (উদাহরণস্বরূপ, ডেভ, স্টেজ এবং প্রোড অ্যাকাউন্টে একটি IAM নীতিতে অনুমতি যোগ করা)।

Amazon ECR, Amazon S3, এবং Lambda: পাইপলাইন সুবিধা

আমরা আমাদের পাইপলাইন সহজতর করার জন্য নিম্নলিখিত মূল পরিষেবাগুলি ব্যবহার করি:

• আমাজন ইসিআর - মডেল কন্টেইনার চিত্রগুলির সুবিধাজনক পুনরুদ্ধার বজায় রাখতে এবং অনুমতি দেওয়ার জন্য, আমরা সেগুলিকে শব্দার্থিক সংস্করণ দিয়ে ট্যাগ করি এবং প্রতি সেট আপ করা ইসিআর সংগ্রহস্থলগুলিতে আপলোড করি ${project_name}/${model_name} Terraform মাধ্যমে। এটি বিভিন্ন মডেলের মধ্যে বিচ্ছিন্নতার একটি ভাল স্তর সক্ষম করে, এবং আমাদের কাস্টম অ্যালগরিদম ব্যবহার করতে এবং পছন্দসই মডেল ম্যানিফেস্ট তথ্য (মডেল নাম, সংস্করণ, প্রশিক্ষণ ডেটা পথ, এবং আরও) অন্তর্ভুক্ত করার জন্য অনুমান অনুরোধ এবং প্রতিক্রিয়াগুলি ফর্ম্যাট করতে দেয়।
• আমাজন S3 – আমরা মডেল ট্রেনিং ডেটা, মডেল প্রতি প্রশিক্ষিত মডেল আর্টিফ্যাক্ট, এয়ারফ্লো ডিএজি এবং পাইপলাইনগুলির জন্য প্রয়োজনীয় অন্যান্য অতিরিক্ত তথ্য বজায় রাখতে S3 বালতি ব্যবহার করি।
• ল্যামডা - যেহেতু আমাদের এয়ারফ্লো ক্লাস্টার নিরাপত্তা বিবেচনার জন্য একটি পৃথক VPC-তে স্থাপন করা হয়েছে, তাই DAGগুলি সরাসরি অ্যাক্সেস করা যাবে না। তাই, আমরা একটি ল্যাম্বডা ফাংশন ব্যবহার করি, যা টেরাফর্মের সাথে রক্ষণাবেক্ষণ করা হয়, DAG নামের দ্বারা নির্দিষ্ট করা যেকোন DAGগুলিকে ট্রিগার করতে। সঠিক IAM সেটআপের সাথে, GitLab CI জব Lambda ফাংশনকে ট্রিগার করে, যা কনফিগারেশনের মধ্য দিয়ে অনুরোধ করা প্রশিক্ষণ বা ডিপ্লয়মেন্ট ডিএজিতে চলে যায়।

আমাজন MWAA: প্রশিক্ষণ এবং স্থাপনার পাইপলাইন

পূর্বে উল্লিখিত হিসাবে, আমরা প্রশিক্ষণ এবং স্থাপনার পাইপলাইন অর্কেস্ট্রেট করতে Amazon MWAA ব্যবহার করি। আমরা উপলব্ধ SageMaker অপারেটর ব্যবহার Airflow জন্য Amazon প্রদানকারী প্যাকেজ সেজমেকারের সাথে সংহত করতে (জিনজা টেমপ্লেটিং এড়াতে)।

আমরা এই প্রশিক্ষণ পাইপলাইনে নিম্নলিখিত অপারেটর ব্যবহার করি (নিম্নলিখিত ওয়ার্কফ্লো ডায়াগ্রামে দেখানো হয়েছে):

MWAA প্রশিক্ষণ পাইপলাইন

আমরা স্থাপনার পাইপলাইনে নিম্নলিখিত অপারেটরগুলি ব্যবহার করি (নিম্নলিখিত ওয়ার্কফ্লো ডায়াগ্রামে দেখানো হয়েছে):

মডেল স্থাপনা পাইপলাইন

আমরা উভয় পাইপলাইনে ত্রুটি/সফল বার্তা এবং মূল্যায়ন ফলাফল প্রকাশ করতে Slack এবং Amazon SNS ব্যবহার করি। স্ল্যাক নিম্নলিখিতগুলি সহ বার্তাগুলি কাস্টমাইজ করার জন্য বিস্তৃত বিকল্প সরবরাহ করে:

• SnsPublishOperator - আমরা ব্যাবহার করি SnsPublishOperator ব্যবহারকারীর ইমেলে সাফল্য/ব্যর্থতার বিজ্ঞপ্তি পাঠাতে
• স্ল্যাক API - আমরা তৈরি করেছি ইনকামিং ওয়েবহুক URL পছন্দসই চ্যানেলে পাইপলাইন বিজ্ঞপ্তি পেতে

ক্লাউডওয়াচ এবং ভিএমওয়্যার ওয়েভফ্রন্ট: পর্যবেক্ষণ এবং লগিং

এন্ডপয়েন্ট মনিটরিং এবং লগিং কনফিগার করতে আমরা একটি CloudWatch ড্যাশবোর্ড ব্যবহার করি। এটি প্রতিটি প্রকল্পের জন্য নির্দিষ্ট বিভিন্ন অপারেশনাল এবং মডেল পারফরম্যান্স মেট্রিকগুলিকে কল্পনা করতে এবং ট্র্যাক রাখতে সহায়তা করে। তাদের কিছু ট্র্যাক করার জন্য স্বয়ংক্রিয় স্কেলিং নীতিগুলির উপরে, আমরা ক্রমাগত CPU এবং মেমরি ব্যবহার, প্রতি সেকেন্ডে অনুরোধ, প্রতিক্রিয়া বিলম্ব এবং মডেল মেট্রিক্সের পরিবর্তনগুলি পর্যবেক্ষণ করি।

CloudWatch এমনকি একটি VMware Tanzu Wavefront ড্যাশবোর্ডের সাথে একত্রিত করা হয়েছে যাতে এটি মডেল এন্ডপয়েন্টের পাশাপাশি প্রকল্প স্তরে অন্যান্য পরিষেবাগুলির জন্য মেট্রিক্সকে কল্পনা করতে পারে৷

ব্যবসায়িক সুবিধা এবং পরবর্তী কি

ML পাইপলাইনগুলি ML পরিষেবা এবং বৈশিষ্ট্যগুলির জন্য অত্যন্ত গুরুত্বপূর্ণ৷ এই পোস্টে, আমরা AWS থেকে ক্ষমতা ব্যবহার করে একটি এন্ড-টু-এন্ড ML ব্যবহারের ক্ষেত্রে আলোচনা করেছি। আমরা SageMaker এবং Amazon MWAA ব্যবহার করে একটি কাস্টম পাইপলাইন তৈরি করেছি, যা আমরা প্রকল্প এবং মডেল জুড়ে পুনঃব্যবহার করতে পারি এবং ML লাইফসাইকেল স্বয়ংক্রিয়ভাবে তৈরি করেছি, যা মডেল প্রশিক্ষণ থেকে উৎপাদন স্থাপনার সময়কে কমিয়ে 10 মিনিটের মতো করেছে৷

এমএল লাইফসাইকেলের বোঝা সেজমেকারে স্থানান্তরিত করার সাথে সাথে, এটি মডেল প্রশিক্ষণ এবং স্থাপনার জন্য অপ্টিমাইজড এবং মাপযোগ্য পরিকাঠামো প্রদান করেছে। SageMaker-এর সাথে মডেল পরিবেশন আমাদেরকে মিলিসেকেন্ড দেরি এবং পর্যবেক্ষণ ক্ষমতা সহ রিয়েল-টাইম ভবিষ্যদ্বাণী করতে সাহায্য করেছে। আমরা সেটআপের সহজতার জন্য এবং পরিকাঠামো পরিচালনার জন্য Terraform ব্যবহার করেছি।

এই পাইপলাইনের পরবর্তী পদক্ষেপগুলি হবে মডেল ট্রেনিং পাইপলাইনকে পুনঃপ্রশিক্ষণের ক্ষমতা সহ উন্নত করা যেটি তা নির্ধারিত হোক বা মডেল ড্রিফ্ট সনাক্তকরণ, সমর্থন ছায়া স্থাপন বা A/B পরীক্ষা দ্রুত এবং যোগ্য মডেল স্থাপনের জন্য, এবং ML বংশ ট্র্যাকিং এর উপর ভিত্তি করে। আমরা মূল্যায়ন করার পরিকল্পনাও করছি অ্যামাজন সেজমেকার পাইপলাইন কারণ GitLab ইন্টিগ্রেশন এখন সমর্থিত।

পাঠ শিখেছি

এই সমাধানটি তৈরি করার অংশ হিসাবে, আমরা শিখেছি যে আপনার তাড়াতাড়ি সাধারণীকরণ করা উচিত, তবে অতিরিক্ত সাধারণীকরণ করবেন না। যখন আমরা প্রথম আর্কিটেকচার ডিজাইন শেষ করেছিলাম, আমরা একটি সেরা অনুশীলন হিসাবে মডেল কোডের জন্য কোড টেমপ্লেটিং তৈরি এবং প্রয়োগ করার চেষ্টা করেছি। যাইহোক, এটি উন্নয়ন প্রক্রিয়ার এত তাড়াতাড়ি ছিল যে টেমপ্লেটগুলি হয় খুব সাধারণীকৃত ছিল বা ভবিষ্যতের মডেলগুলির জন্য পুনঃব্যবহারযোগ্য হওয়ার জন্য খুব বিস্তারিত ছিল।

পাইপলাইনের মাধ্যমে প্রথম মডেলটি সরবরাহ করার পর, আমাদের পূর্ববর্তী কাজের অন্তর্দৃষ্টিগুলির উপর ভিত্তি করে টেমপ্লেটগুলি স্বাভাবিকভাবেই বেরিয়ে এসেছে। একটি পাইপলাইন প্রথম দিন থেকে সবকিছু করতে পারে না।

মডেল পরীক্ষা এবং উত্পাদন প্রায়ই খুব ভিন্ন (বা কখনও কখনও এমনকি বিরোধপূর্ণ) প্রয়োজনীয়তা আছে. একটি দল হিসাবে শুরু থেকেই এই প্রয়োজনীয়তাগুলির ভারসাম্য বজায় রাখা এবং সেই অনুযায়ী অগ্রাধিকার দেওয়া অত্যন্ত গুরুত্বপূর্ণ।

উপরন্তু, আপনার একটি পরিষেবার প্রতিটি বৈশিষ্ট্য প্রয়োজন নাও হতে পারে। একটি পরিষেবা থেকে প্রয়োজনীয় বৈশিষ্ট্যগুলি ব্যবহার করা এবং একটি মডুলারাইজড ডিজাইন থাকা আরও দক্ষ বিকাশের চাবিকাঠি এবং একটি নমনীয় পাইপলাইন।

উপসংহার

এই পোস্টে, আমরা দেখিয়েছি কিভাবে আমরা SageMaker এবং Amazon MWAA ব্যবহার করে একটি MLOps সমাধান তৈরি করেছি যা ডেটা বিজ্ঞানীদের সামান্য ম্যানুয়াল হস্তক্ষেপের সাথে উত্পাদনে মডেল স্থাপনের প্রক্রিয়াকে স্বয়ংক্রিয় করে। আমরা আপনাকে একটি সম্পূর্ণ MLOps সমাধান তৈরি করার জন্য SageMaker, Amazon MWAA, Amazon S3, এবং Amazon ECR এর মতো বিভিন্ন AWS পরিষেবাগুলি মূল্যায়ন করতে উত্সাহিত করি৷

*Apache, Apache Airflow, এবং Airflow হয় নিবন্ধিত ট্রেডমার্ক বা ট্রেডমার্ক অ্যাপাচি সফটওয়্যার ফাউন্ডেশন মার্কিন যুক্তরাষ্ট্র এবং/অথবা অন্যান্য দেশে।

লেখক সম্পর্কে

 দীপক মেটেম VMware, কার্বন ব্ল্যাক ইউনিটের একজন সিনিয়র ইঞ্জিনিয়ারিং ম্যানেজার। তিনি এবং তার দল স্ট্রিমিং ভিত্তিক অ্যাপ্লিকেশন এবং পরিষেবাগুলি তৈরি করার জন্য কাজ করে যা গ্রাহকদের রিয়েল-টাইমে মেশিন লার্নিং ভিত্তিক সমাধান আনতে অত্যন্ত উপলব্ধ, মাপযোগ্য এবং স্থিতিস্থাপক। তিনি এবং তার দল ডেটা বিজ্ঞানীদের জন্য তাদের এমএল মডেলগুলি তৈরি, প্রশিক্ষণ, স্থাপন এবং বৈধকরণের জন্য প্রয়োজনীয় সরঞ্জাম তৈরি করার জন্যও দায়ী৷

মহিমা আগরওয়াল VMware, কার্বন ব্ল্যাক ইউনিটের একজন মেশিন লার্নিং ইঞ্জিনিয়ার।
তিনি VMware CB SBU-এর জন্য মেশিন লার্নিং প্ল্যাটফর্মের মূল উপাদান এবং আর্কিটেকচার ডিজাইন, বিল্ডিং এবং ডেভেলপ করার কাজ করেন।

বংশী কৃষ্ণ এনাবোথলা AWS-এর একজন সিনিয়র অ্যাপ্লাইড এআই স্পেশালিস্ট আর্কিটেক্ট। উচ্চ-প্রভাবিত ডেটা, বিশ্লেষণ এবং মেশিন লার্নিং উদ্যোগকে ত্বরান্বিত করতে তিনি বিভিন্ন সেক্টরের গ্রাহকদের সাথে কাজ করেন। তিনি AI এবং ML-এ সুপারিশ সিস্টেম, এনএলপি, এবং কম্পিউটার ভিশন এলাকা সম্পর্কে উত্সাহী। কাজের বাইরে, ভামশি একজন RC উত্সাহী, RC সরঞ্জাম (বিমান, গাড়ি এবং ড্রোন) তৈরি করেন এবং বাগান করাও উপভোগ করেন।

সাহিল থাপার একজন এন্টারপ্রাইজ সলিউশন আর্কিটেক্ট। তিনি গ্রাহকদের AWS ক্লাউডে উচ্চ উপলব্ধ, মাপযোগ্য এবং স্থিতিস্থাপক অ্যাপ্লিকেশন তৈরি করতে সহায়তা করার জন্য তাদের সাথে কাজ করেন। তিনি বর্তমানে কন্টেইনার এবং মেশিন লার্নিং সমাধানের উপর দৃষ্টি নিবদ্ধ করছেন।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/how-vmware-built-an-mlops-pipeline-from-scratch-using-gitlab-amazon-mwaa-and-amazon-sagemaker/