AWS Trainium এবং Amazon SageMaker-এর মাধ্যমে কর্মক্ষমতা বাড়ান এবং আপনার গভীর শিক্ষার প্রশিক্ষণ খরচ কমিয়ে দিন

আজ, হাজার হাজার গ্রাহক ব্যবহার করে মেশিন লার্নিং (ML) মডেল তৈরি, প্রশিক্ষণ এবং স্থাপন করছে আমাজন সেজমেকার তাদের ব্যবসা এবং গ্রাহক অভিজ্ঞতা পুনরায় উদ্ভাবন করার সম্ভাবনা আছে যে অ্যাপ্লিকেশন ক্ষমতা. এই ML মডেলগুলি গত কয়েক বছর ধরে আকার এবং জটিলতায় ক্রমবর্ধমান হয়েছে, যার ফলে বিভিন্ন কাজের পরিসরে অত্যাধুনিক নির্ভুলতার দিকে পরিচালিত হয়েছে এবং দিন থেকে সপ্তাহে প্রশিক্ষণের সময়কে ঠেলে দিচ্ছে। ফলস্বরূপ, গ্রাহকদের অবশ্যই তাদের মডেলগুলিকে কয়েকশ থেকে হাজার হাজার এক্সিলারেটর জুড়ে স্কেল করতে হবে, যা তাদের প্রশিক্ষণের জন্য আরও ব্যয়বহুল করে তোলে।

SageMaker হল একটি সম্পূর্ণরূপে পরিচালিত ML পরিষেবা যা ডেভেলপার এবং ডেটা বিজ্ঞানীদের সহজেই ML মডেল তৈরি, প্রশিক্ষণ এবং স্থাপন করতে সাহায্য করে৷ সেজমেকার ইতিমধ্যেই এমএল প্রশিক্ষণের জন্য হার্ডওয়্যার এক্সিলারেটর সমন্বিত কম্পিউট অফারগুলির বিস্তৃত এবং গভীরতম পছন্দ প্রদান করে, সহ G5 (Nvidia A10G) উদাহরণস্বরূপ এবং P4d (Nvidia A100) উদাহরণস্বরূপ।

ক্রমবর্ধমান গণনা প্রয়োজনীয়তা দ্রুত এবং আরো ব্যয়-কার্যকর প্রক্রিয়াকরণ শক্তির জন্য কল করে। মডেল প্রশিক্ষণের সময় আরও কমাতে এবং এমএল অনুশীলনকারীদের দ্রুত পুনরাবৃত্তি করতে সক্ষম করতে, AWS চিপস, সার্ভার এবং ডেটা সেন্টার সংযোগ জুড়ে উদ্ভাবন করছে। নতুন Trn1 দৃষ্টান্ত দ্বারা চালিত এডব্লিউএস ট্রেনিয়াম চিপগুলি AWS-এ সর্বোত্তম মূল্য-কর্মক্ষমতা এবং দ্রুততম ML মডেল প্রশিক্ষণ প্রদান করে, 50% পর্যন্ত কম খরচে তুলনীয় GPU-ভিত্তিক দৃষ্টান্তগুলির উপর গভীর শিক্ষার মডেলগুলিকে প্রশিক্ষিত করার জন্য নির্ভুলতার কোন হ্রাস ছাড়াই৷

এই পোস্টে, আমরা দেখাই কিভাবে আপনি SageMaker-এর সাথে Trn1 দৃষ্টান্ত ব্যবহার করে আপনার কর্মক্ষমতা সর্বাধিক করতে এবং খরচ কমাতে পারেন।

সমাধান ওভারভিউ

সেজমেকার ট্রেনিং জব ml.trn1 দৃষ্টান্ত সমর্থন করে, ট্রেনিয়াম চিপ দ্বারা চালিত, যা ক্লাউডে উচ্চ-পারফরম্যান্স এমএল প্রশিক্ষণ অ্যাপ্লিকেশনের জন্য নির্মিত। আপনি প্রাকৃতিক ভাষা প্রক্রিয়াকরণ (এনএলপি), কম্পিউটার ভিশন এবং সুপারিশকারী মডেলগুলিকে প্রশিক্ষণ দিতে সেজমেকারে ml.trn1 উদাহরণ ব্যবহার করতে পারেন অ্যাপ্লিকেশনের বিস্তৃত সেট, যেমন বক্তৃতা স্বীকৃতি, সুপারিশ, জালিয়াতি সনাক্তকরণ, চিত্র এবং ভিডিও শ্রেণীবিভাগ, এবং পূর্বাভাস। ml.trn1 দৃষ্টান্তে 16টি ট্রেনিয়াম চিপ পর্যন্ত বৈশিষ্ট্য রয়েছে, যা পরবর্তীতে AWS দ্বারা নির্মিত একটি দ্বিতীয় প্রজন্মের ML চিপ। এডাব্লুএস ইনফেরেন্টিয়া. ml.trn1 উদাহরণ প্রথম অ্যামাজন ইলাস্টিক কম্পিউট ক্লাউড (Amazon EC2) 800 Gbps পর্যন্ত ইলাস্টিক ফ্যাব্রিক অ্যাডাপ্টার (EFA) নেটওয়ার্ক ব্যান্ডউইথ সহ উদাহরণ। দক্ষ ডেটা এবং মডেলের সমান্তরালতার জন্য, প্রতিটি ml.trn1.32xl ইন্সট্যান্সে 512 GB উচ্চ-ব্যান্ডউইথ মেমরি রয়েছে, FP3.4/BF16 কম্পিউট পাওয়ারের 16 পেটাফ্লপ পর্যন্ত সরবরাহ করে এবং নিউরনলিংক, একটি ইন্ট্রা-ইনস্ট্যান্স, উচ্চ-ব্যান্ডউইথ, নন-ব্লকিং ইন্টারকনক্টের বৈশিষ্ট্য রয়েছে। .

ট্রেনিয়াম দুটি কনফিগারেশনে পাওয়া যায় এবং ইউএস ইস্ট (এন. ভার্জিনিয়া) এবং ইউএস পশ্চিম (ওরেগন) অঞ্চলে ব্যবহার করা যেতে পারে।

নিম্নলিখিত টেবিলটি Trn1 দৃষ্টান্তগুলির বৈশিষ্ট্যগুলিকে সংক্ষিপ্ত করে।

আসুন একটি সহজ উদাহরণ দিয়ে সেজমেকারের সাথে ট্রেনিয়াম কীভাবে ব্যবহার করবেন তা বুঝুন। আমরা হাগিং ফেস ট্রান্সফরমার লাইব্রেরি ব্যবহার করে সেজমেকার প্রশিক্ষণ এবং পাইটর্চ সহ একটি পাঠ্য শ্রেণিবিন্যাস মডেল প্রশিক্ষণ দেব।

আমরা অ্যামাজন রিভিউ ডেটাসেট ব্যবহার করি, যা amazon.com থেকে রিভিউ নিয়ে গঠিত। তথ্যটি 18 বছর ধরে বিস্তৃত, মার্চ 35 পর্যন্ত প্রায় 2013 মিলিয়ন পর্যালোচনা সমন্বিত। পর্যালোচনাগুলির মধ্যে পণ্য এবং ব্যবহারকারীর তথ্য, রেটিং এবং একটি প্লেইনটেক্সট পর্যালোচনা অন্তর্ভুক্ত রয়েছে। নিম্নলিখিত কোড থেকে একটি উদাহরণ AmazonPolarity পরীক্ষার সেট:

{
title':'Great CD', 'content':"My lovely Pat has one of the GREAT voices of her generation. I have listened to this CD for YEARS and I still LOVE IT. When I'm in a good mood it makes me feel better. A bad mood just evaporates like sugar in the rain. This CD just oozes LIFE. Vocals are jusat STUUNNING and lyrics just kill. One of life's hidden gems. This is a desert isle CD in my book. Why she never made it big is just beyond me. Everytime I play this, no matter black, white, young, old, male, female EVERYBODY says one thing ""Who was that singing ?""", 'label':1
}

এই পোস্টের জন্য, আমরা শুধুমাত্র বিষয়বস্তু এবং লেবেল ক্ষেত্র ব্যবহার করি। বিষয়বস্তু ক্ষেত্রটি একটি বিনামূল্যের পাঠ্য পর্যালোচনা, এবং লেবেল ক্ষেত্র হল একটি বাইনারি মান যাতে ইতিবাচক বা নেতিবাচক পর্যালোচনার জন্য যথাক্রমে 1 বা 0 থাকে।

আমাদের অ্যালগরিদমের জন্য, আমরা BERT ব্যবহার করি, একটি ট্রান্সফরমার মডেল যা একটি স্ব-তত্ত্বাবধানে ইংরেজি ডেটার একটি বৃহৎ কর্পাসের উপর প্রাক-প্রশিক্ষিত। এই মডেলটি প্রাথমিকভাবে এমন কাজগুলির উপর সূক্ষ্ম টিউন করার লক্ষ্যে তৈরি করা হয়েছে যা সিদ্ধান্ত নেওয়ার জন্য পুরো বাক্যটি (সম্ভাব্যভাবে মুখোশযুক্ত) ব্যবহার করে, যেমন সিকোয়েন্স শ্রেণীবিভাগ, টোকেন শ্রেণীবিভাগ বা প্রশ্নের উত্তর দেওয়া।

বাস্তবায়নের বিবরণ

আসুন মডেলটি প্রশিক্ষণের সাথে জড়িত বিভিন্ন উপাদানগুলিকে ঘনিষ্ঠভাবে দেখে শুরু করি:

• এডব্লিউএস ট্রেনিয়াম - এর মূলে, প্রতিটি ট্রেনিয়ামের উদাহরণ এতে অন্তর্নির্মিত ট্রেনিয়াম ডিভাইস রয়েছে। Trn1.2xlarge এর 1টি Trainium ডিভাইস রয়েছে এবং Trn1.32xlarge এর 16টি ট্রেনিয়াম ডিভাইস রয়েছে। প্রতিটি ট্রেনিয়াম ডিভাইসে কম্পিউট (2 NeuronCore-v2), 32 GB HBM ডিভাইস মেমরি এবং দ্রুত আন্তঃ-ডিভাইস যোগাযোগের জন্য NeuronLink থাকে। প্রতিটি নিউরনকোর-v2 পৃথক ইঞ্জিন (টেনসর/ভেক্টর/স্ক্যালার/জিপিএসআইএমডি) সহ একটি সম্পূর্ণ স্বাধীন ভিন্ন ভিন্ন গণনা ইউনিট গঠিত। GPSIMD হল সম্পূর্ণরূপে প্রোগ্রামেবল সাধারণ-উদ্দেশ্যের প্রসেসর যা আপনি কাস্টম অপারেটর বাস্তবায়ন করতে এবং নিউরনকোর ইঞ্জিনগুলিতে সরাসরি চালাতে ব্যবহার করতে পারেন।
• আমাজন সেজমেকার প্রশিক্ষণ - সেজমেকার পরিকাঠামো নিয়ে চিন্তা না করেই মডেলগুলিকে সহজে প্রশিক্ষণ দেওয়ার জন্য সম্পূর্ণরূপে পরিচালিত প্রশিক্ষণের অভিজ্ঞতা প্রদান করে৷ আপনি যখন সেজমেকার ট্রেনিং ব্যবহার করেন, তখন এটি একটি প্রশিক্ষণের কাজের জন্য প্রয়োজনীয় সমস্ত কিছু চালায়, যেমন কোড, কন্টেইনার এবং ডেটা, আমন্ত্রণ পরিবেশ থেকে আলাদা একটি গণনা পরিকাঠামোতে। এটি আমাদের সমান্তরালভাবে পরীক্ষা চালানো এবং দ্রুত পুনরাবৃত্তি করতে দেয়। সেজমেকার একটি প্রদান করে পাইথন এসডিকে প্রশিক্ষণের কাজ শুরু করতে। এই পোস্টের উদাহরণটি Trainium ব্যবহার করে প্রশিক্ষণের কাজটি ট্রিগার করতে SageMaker Python SDK ব্যবহার করে।
• AWS নিউরন - যেহেতু Trainium NeuronCore এর নিজস্ব কম্পিউট ইঞ্জিন আছে, তাই আমাদের ট্রেনিং কোড কম্পাইল করার জন্য আমাদের একটি মেকানিজম দরকার। দ্য AWS নিউরন কম্পাইলার Pytorch/XLA-তে লেখা কোড নেয় এবং নিউরন ডিভাইসে চালানোর জন্য এটি অপ্টিমাইজ করে। নিউরন কম্পাইলারটি ডিপ লার্নিং কন্টেইনারের অংশ হিসাবে একীভূত করা হয়েছে যা আমরা আমাদের মডেলকে প্রশিক্ষণের জন্য ব্যবহার করব।
• পাইটর্চ/এক্সএলএ - এই পাইথন প্যাকেজ PyTorch ডিপ লার্নিং ফ্রেমওয়ার্ক এবং Trainium এর মত ক্লাউড এক্সিলারেটর সংযোগ করতে XLA ডিপ লার্নিং কম্পাইলার ব্যবহার করে। একটি নতুন PyTorch নেটওয়ার্ক তৈরি করতে বা XLA ডিভাইসে চালানোর জন্য বিদ্যমান একটিকে রূপান্তর করতে শুধুমাত্র XLA-নির্দিষ্ট কোডের কয়েকটি লাইন প্রয়োজন। আমরা আমাদের ব্যবহারের ক্ষেত্রে দেখব কী কী পরিবর্তন করতে হবে।
• বিতরণ প্রশিক্ষণ - একাধিক নিউরনকোরে প্রশিক্ষণটি দক্ষতার সাথে চালানোর জন্য, আমাদের উপলব্ধ নিউরনকোরগুলিতে প্রশিক্ষণ বিতরণ করার জন্য একটি ব্যবস্থা প্রয়োজন। সেজমেকার ট্রেনিয়াম দৃষ্টান্তগুলির সাথে টর্চরান সমর্থন করে, যা ক্লাস্টারে নিউরনকোরের সংখ্যার সমতুল্য একাধিক প্রক্রিয়া চালানোর জন্য ব্যবহার করা যেতে পারে। এটি নিম্নরূপ সেজমেকার অনুমানকারীকে বিতরণ পরামিতি পাস করে করা হয়, যা একটি ডেটা সমান্তরাল বিতরণ প্রশিক্ষণ শুরু করে যেখানে একই মডেলটি বিভিন্ন নিউরনকোরে লোড করা হয় যা পৃথক ডেটা ব্যাচ প্রক্রিয়া করে:

distribution={"torch_distributed": {"enabled": True}}

Trainium চালানোর জন্য স্ক্রিপ্ট পরিবর্তন প্রয়োজন

আসুন ট্রেনিয়ামে চালানোর জন্য একটি নিয়মিত GPU-ভিত্তিক PyTorch স্ক্রিপ্ট গ্রহণ করার জন্য প্রয়োজনীয় কোড পরিবর্তনগুলি দেখুন। উচ্চ স্তরে, আমাদের নিম্নলিখিত পরিবর্তনগুলি করতে হবে:

1. Pytorch/XLA ডিভাইস দিয়ে GPU ডিভাইস প্রতিস্থাপন করুন। যেহেতু আমরা টর্চ ডিস্ট্রিবিউশন ব্যবহার করি, তাই আমাদেরকে XLA-এর সাহায্যে ট্রেনিং শুরু করতে হবে নিম্নরূপ ডিভাইস হিসেবে:

   device = "xla"
   torch.distributed.init_process_group(device)

2. আমরা PyTorch/XLA ডিস্ট্রিবিউটেড ব্যাকএন্ড ব্যবহার করি PyTorch ডিস্ট্রিবিউটেড এপিআইগুলিকে XLA কমিউনিকেশন শব্দার্থবিদ্যায় ব্রিজ করতে।
3. আমরা ডেটা ইনজেশন পাইপলাইনের জন্য PyTorch/XLA MpDeviceLoader ব্যবহার করি। MpDeviceLoader তিনটি ধাপকে ওভারল্যাপ করে কর্মক্ষমতা উন্নত করতে সাহায্য করে: ডিভাইসে ট্রেসিং, সংকলন এবং ডেটা ব্যাচ লোড করা। আমাদের নিম্নরূপ MpDeviceDataLoader এর সাথে PyTorch ডেটালোডার মোড়ানো দরকার:

   train_device_loader = pl.MpDeviceLoader(train_loader, "xla")

4. নিম্নলিখিত কোডে দেখানো হিসাবে XLA-প্রদত্ত API ব্যবহার করে অপ্টিমাইজেশান ধাপটি চালান। এটি কোরগুলির মধ্যে গ্রেডিয়েন্টগুলিকে একত্রিত করে এবং XLA ডিভাইসের ধাপ গণনা করে।

   torch_xla.core.xla_model.optimizer_step(optimizer)

5. জেনেরিক PyTorch API-তে CUDA API (যদি থাকে) ম্যাপ করুন।
6. CUDA ফিউজড অপ্টিমাইজার (যদি থাকে) জেনেরিক PyTorch বিকল্প দিয়ে প্রতিস্থাপন করুন।

সম্পূর্ণ উদাহরণ, যা সেজমেকার এবং ট্রেনিয়াম ব্যবহার করে একটি পাঠ্য শ্রেণিবিন্যাস মডেলকে প্রশিক্ষণ দেয়, নিম্নলিখিতটিতে উপলব্ধ গিটহুব রেপো. নোটবুক ফাইল SageMaker এবং Trainium.ipynb ব্যবহার করে শ্রেণিবিন্যাস মডেল তৈরির জন্য ফাইন টিউন ট্রান্সফরমার হল এন্ট্রিপয়েন্ট এবং প্রশিক্ষণ চালানোর জন্য ধাপে ধাপে নির্দেশাবলী রয়েছে।

বেঞ্চমার্ক পরীক্ষা

পরীক্ষায়, আমরা দুটি প্রশিক্ষণের কাজ চালিয়েছি: একটি ml.trn1.32xlarge-এ এবং একটি ml.p4d.24xlarge-এ একই ব্যাচের আকার, প্রশিক্ষণের ডেটা এবং অন্যান্য হাইপারপ্যারামিটার। প্রশিক্ষণের কাজ চলাকালীন, আমরা সেজমেকার প্রশিক্ষণের কাজের বিলযোগ্য সময় পরিমাপ করেছি, এবং উদাহরণের প্রকারের জন্য প্রতি ঘন্টায় প্রশিক্ষণের কাজগুলি চালানোর জন্য প্রয়োজনীয় সময়কে গুণ করে মূল্য-কর্মক্ষমতা গণনা করেছি। আমরা একাধিক কাজের রানের মধ্যে থেকে প্রতিটি উদাহরণের জন্য সেরা ফলাফল নির্বাচন করেছি।

নিম্নলিখিত সারণীটি আমাদের বেঞ্চমার্ক ফলাফলগুলিকে সংক্ষিপ্ত করে।

ফলাফলগুলি দেখায় যে ট্রেনিয়াম দৃষ্টান্তের জন্য P4d উদাহরণের চেয়ে কম খরচ হয়, একই মডেলকে একই ইনপুট ডেটা এবং প্রশিক্ষণের পরামিতিগুলির সাথে প্রশিক্ষণের সময় একই থ্রুপুট এবং নির্ভুলতা প্রদান করে। এর মানে হল যে ট্রেনিয়াম দৃষ্টান্ত GPU-ভিত্তিক P4D দৃষ্টান্তগুলির তুলনায় ভাল মূল্য-কর্মক্ষমতা প্রদান করে। এইরকম একটি সাধারণ উদাহরণ দিয়ে, আমরা দেখতে পাচ্ছি ট্রেনিয়াম প্রশিক্ষণের জন্য প্রায় 22% দ্রুত সময় এবং P50d দৃষ্টান্তের তুলনায় 4% পর্যন্ত কম খরচের অফার করে।

প্রশিক্ষিত মডেল স্থাপন

আমরা মডেলটি প্রশিক্ষণ দেওয়ার পরে, আমরা এটিকে বিভিন্ন ধরনের উদাহরণ যেমন CPU, GPU, বা AWS Inferentia-এ স্থাপন করতে পারি। লক্ষ্য করার মূল বিষয় হল প্রশিক্ষিত মডেলটি স্থাপন এবং অনুমান করার জন্য বিশেষ হার্ডওয়্যারের উপর নির্ভরশীল নয়। সেজমেকার রিয়েল-টাইম বা ব্যাচ মেকানিজম উভয় ব্যবহার করে একটি প্রশিক্ষিত মডেল স্থাপন করার প্রক্রিয়া সরবরাহ করে। GitHub রেপোর নোটবুকের উদাহরণে একটি ml.c5.xlarge (CPU-ভিত্তিক) উদাহরণ ব্যবহার করে প্রশিক্ষিত মডেলটিকে একটি রিয়েল-টাইম এন্ডপয়েন্ট হিসাবে স্থাপন করার জন্য কোড রয়েছে।

উপসংহার

এই পোস্টে, আমরা দেখেছি কিভাবে Trainium এবং SageMaker ব্যবহার করতে হয় একটি শ্রেণীবিভাগ মডেল দ্রুত সেট আপ করতে এবং প্রশিক্ষণ দিতে যা সঠিকতার সাথে আপস না করে 50% পর্যন্ত খরচ সাশ্রয় করে। আপনি প্রি-ট্রেনিং বা ফাইন-টিউনিং ট্রান্সফরমার-ভিত্তিক মডেলের বিস্তৃত ব্যবহারের ক্ষেত্রে ট্রেনিয়াম ব্যবহার করতে পারেন। বিভিন্ন মডেল আর্কিটেকচারের সমর্থন সম্পর্কে আরও তথ্যের জন্য, পড়ুন মডেল আর্কিটেকচার ফিট নির্দেশিকা.

লেখক সম্পর্কে

অরুণ কুমার লোকনাথ অ্যামাজন সেজমেকার সার্ভিস টিমের সাথে একজন সিনিয়র এমএল সলিউশন আর্কিটেক্ট। তিনি গ্রাহকদের এমএল উৎপাদন কাজের লোড তৈরি, প্রশিক্ষণ এবং স্কেলে SageMaker-এ স্থানান্তরিত করতে সহায়তা করার দিকে মনোনিবেশ করেন। তিনি বিশেষ করে এনএলপি এবং সিভির ক্ষেত্রে ডিপ লার্নিংয়ে বিশেষজ্ঞ। কাজের বাইরে, তিনি দৌড়ানো এবং হাইকিং উপভোগ করেন।

মার্ক ইউ AWS SageMaker-এর একজন সফটওয়্যার ইঞ্জিনিয়ার। তিনি বৃহৎ মাপের বিতরণকৃত প্রশিক্ষণ ব্যবস্থা নির্মাণ, প্রশিক্ষণ কর্মক্ষমতা অপ্টিমাইজ করা এবং সেজমেকার ট্রেনিয়াম সহ উচ্চ-পারফরম্যান্স এমএল ট্রেনিং হার্ডওয়্যার বিকাশের উপর দৃষ্টি নিবদ্ধ করেন। মেশিন লার্নিং ইনফ্রাস্ট্রাকচার অপটিমাইজেশন সম্পর্কেও মার্কের গভীর জ্ঞান রয়েছে। তার অবসর সময়ে, তিনি হাইকিং এবং দৌড় উপভোগ করেন।

ওমরি ফুচস AWS SageMaker-এর একজন সফটওয়্যার ডেভেলপমেন্ট ম্যানেজার। তিনি সেজমেকার প্রশিক্ষণ কাজের প্ল্যাটফর্মের জন্য দায়ী প্রযুক্তিগত নেতা, সেজমেকার প্রশিক্ষণ কর্মক্ষমতা অপ্টিমাইজ করা এবং প্রশিক্ষণের অভিজ্ঞতার উন্নতিতে মনোনিবেশ করেন। অত্যাধুনিক এমএল এবং এআই প্রযুক্তির প্রতি তার আবেগ রয়েছে। তার অবসর সময়ে, তিনি সাইক্লিং এবং হাইকিং পছন্দ করেন।

গাল ওশ্রী অ্যামাজন সেজমেকার দলের একজন সিনিয়র প্রোডাক্ট ম্যানেজার। মেশিন লার্নিং টুল, ফ্রেমওয়ার্ক এবং পরিষেবাগুলিতে কাজ করার 7 বছরের অভিজ্ঞতা রয়েছে৷

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/maximize-performance-and-reduce-your-deep-learning-training-cost-with-aws-trainium-and-amazon-sagemaker/