আমাজন সেজমেকার আপনার ML অনুমানের চাহিদা মেটাতে সাহায্য করার জন্য মেশিন লার্নিং (ML) পরিকাঠামো এবং মডেল স্থাপনার বিকল্পগুলির একটি বিস্তৃত নির্বাচন প্রদান করে। এটি একটি সম্পূর্ণ-পরিচালিত পরিষেবা এবং MLOps সরঞ্জামগুলির সাথে একীভূত হয় যাতে আপনি আপনার মডেল স্থাপনা স্কেল করতে, অনুমান খরচ কমাতে, উত্পাদনে আরও কার্যকরভাবে মডেলগুলি পরিচালনা করতে এবং অপারেশনাল বোঝা কমাতে কাজ করতে পারেন৷ সেজমেকার একাধিক প্রদান করে অনুমান বিকল্প তাই আপনি আপনার কাজের চাপের জন্য সবচেয়ে উপযুক্ত বিকল্পটি বেছে নিতে পারেন।
CPU-র নতুন প্রজন্মগুলি বিশেষায়িত অন্তর্নির্মিত নির্দেশাবলীর কারণে ML অনুমানে উল্লেখযোগ্য কর্মক্ষমতা উন্নতির প্রস্তাব দেয়। এই পোস্টে, আমরা কিভাবে আপনি সুবিধা নিতে পারেন উপর ফোকাস AWS Graviton3-ভিত্তিক অ্যামাজন ইলাস্টিক কম্পিউট ক্লাউড (EC2) C7g উদাহরণ তুলনীয় EC50 দৃষ্টান্তের তুলনায় 2% পর্যন্ত অনুমান খরচ কমাতে সাহায্য করতে বাস্তব সময়ের অনুমান অ্যামাজন সেজমেকারে। আমরা দেখাই কিভাবে আপনি অনুমান কার্যক্ষমতা মূল্যায়ন করতে পারেন এবং মাত্র কয়েকটি ধাপে আপনার এমএল ওয়ার্কলোডগুলিকে AWS Graviton ইনস্ট্যান্সে স্যুইচ করতে পারেন।
গ্রাহক অ্যাপ্লিকেশনের জনপ্রিয় এবং বিস্তৃত পরিসর কভার করার জন্য, এই পোস্টে আমরা PyTorch, TensorFlow, XGBoost এবং স্কিট-লার্ন ফ্রেমওয়ার্কের ইনফারেন্স পারফরম্যান্স নিয়ে আলোচনা করব। আমরা কম্পিউটার ভিশন (সিভি), ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং (এনএলপি), শ্রেণীবিভাগ, এবং মডেলের জন্য র্যাঙ্কিং পরিস্থিতি এবং বেঞ্চমার্কিংয়ের জন্য ml.c6g, ml.c7g, ml.c5, এবং ml.c6i সেজমেকার উদাহরণগুলি কভার করি।
বেঞ্চমার্কিং ফলাফল
AWS PyTorch, TensorFlow, XGBoost, এবং AWS Graviton50-ভিত্তিক EC3 C2g দৃষ্টান্তগুলির সাথে অ্যামাজন সেজমেকারে তুলনীয় EC7 দৃষ্টান্তগুলির সাথে স্কিট-লার্ন মডেল অনুমানের জন্য 2% পর্যন্ত খরচ সাশ্রয় করেছে৷ একই সময়ে, অনুমানের বিলম্বতাও হ্রাস পায়।
তুলনা করার জন্য, আমরা চারটি ভিন্ন উদাহরণ প্রকার ব্যবহার করেছি:
চারটি উদাহরণেই 16টি vCPU এবং 32 GiB মেমরি রয়েছে।
নিম্নলিখিত গ্রাফে, আমরা চারটি উদাহরণ প্রকারের জন্য প্রতি মিলিয়ন অনুমানের খরচ পরিমাপ করেছি। আমরা প্রতি মিলিয়ন অনুমানের ফলাফলকে একটি c5.4x বড় উদাহরণে আরও স্বাভাবিক করেছি, যা চার্টের Y-অক্ষে 1 হিসাবে পরিমাপ করা হয়। আপনি দেখতে পাচ্ছেন যে XGBoost মডেলগুলির জন্য, c7g.4xlarge (AWS Graviton3) এর জন্য প্রতি মিলিয়ন অনুমান c50xlarge-এর প্রায় 5.4% এবং c40i.6xlarge-এর 4%; PyTorch NLP মডেলের জন্য, c30 এবং c50i.5x বড় উদাহরণের তুলনায় খরচ সঞ্চয় প্রায় 6-4%। অন্যান্য মডেল এবং ফ্রেমওয়ার্কের জন্য, আমরা c30 এবং c5i.6x বড় দৃষ্টান্তের তুলনায় কমপক্ষে 4% খরচ সঞ্চয় পরিমাপ করেছি।
পূর্ববর্তী অনুমান খরচ তুলনা গ্রাফের অনুরূপ, নিম্নলিখিত গ্রাফটি একই চারটি উদাহরণের জন্য মডেল p90 লেটেন্সি দেখায়। আমরা লেটেন্সি ফলাফলকে আরও স্বাভাবিক করেছি c5.4x বৃহৎ উদাহরণে, যা চার্টের Y-অক্ষে 1 হিসাবে পরিমাপ করা হয়। c7g.4xlarge (AWS Graviton3) মডেলের ইনফারেন্স লেটেন্সি c50xlarge এবং c5.4i.6xlarge-এ পরিমাপ করা বিলম্বের চেয়ে 4% পর্যন্ত ভাল।
AWS Graviton উদাহরণে স্থানান্তর করুন
AWS Graviton দৃষ্টান্তগুলিতে আপনার মডেলগুলি স্থাপন করতে, আপনি হয় ব্যবহার করতে পারেন AWS ডিপ লার্নিং কন্টেইনার (DLCs) বা আপনার নিজের পাত্রে আনুন যেগুলি ARMv8.2 আর্কিটেকচারের সাথে সামঞ্জস্যপূর্ণ।
AWS Graviton দৃষ্টান্তে আপনার মডেলগুলির স্থানান্তর (বা নতুন স্থাপনা) সহজবোধ্য কারণ AWS শুধুমাত্র PyTorch, TensorFlow, scikit-learn, এবং XGBoost সহ মডেলগুলিকে হোস্ট করার জন্য কন্টেইনার সরবরাহ করে না, কিন্তু মডেলগুলি স্থাপত্যগতভাবেও অজ্ঞেয়বাদী। আপনি আপনার নিজস্ব লাইব্রেরিও আনতে পারেন, তবে নিশ্চিত হন যে আপনার কন্টেইনারটি এমন একটি পরিবেশে তৈরি করা হয়েছে যা ARMv8.2 আর্কিটেকচারকে সমর্থন করে। আরও তথ্যের জন্য, দেখুন আপনার নিজস্ব অ্যালগরিদম ধারক নির্মাণ.
আপনার মডেল স্থাপন করার জন্য আপনাকে তিনটি ধাপ সম্পূর্ণ করতে হবে:
- একটি সেজমেকার মডেল তৈরি করুন। এতে অন্যান্য পরামিতিগুলির মধ্যে, মডেল ফাইলের অবস্থান, স্থাপনার জন্য ব্যবহৃত ধারক এবং অনুমান স্ক্রিপ্টের অবস্থান সম্পর্কে তথ্য থাকবে। (যদি আপনার কাছে একটি বিদ্যমান মডেল ইতিমধ্যেই একটি গণনা অপ্টিমাইজড ইনফারেন্স ইনস্ট্যান্সে স্থাপন করা থাকে, আপনি এই পদক্ষেপটি এড়িয়ে যেতে পারেন।)
- একটি এন্ডপয়েন্ট কনফিগারেশন তৈরি করুন। এটিতে এন্ডপয়েন্টের জন্য আপনি যে ধরনের ইন্সট্যান্স চান (উদাহরণস্বরূপ, AWS Graviton7 এর জন্য ml.c3g.xlarge), আগের ধাপে আপনি যে মডেলটি তৈরি করেছেন তার নাম এবং প্রতি এন্ডপয়েন্ট প্রতি উদাহরণের সংখ্যা সম্পর্কে তথ্য থাকবে।
- পূর্ববর্তী ধাপে তৈরি এন্ডপয়েন্ট কনফিগারেশনের সাথে এন্ডপয়েন্টটি চালু করুন।
বিস্তারিত নির্দেশাবলীর জন্য, পড়ুন Amazon SageMaker-এর সাথে AWS Graviton-ভিত্তিক উদাহরণে মেশিন লার্নিং ইনফারেন্স ওয়ার্কলোড চালান
বেঞ্চমার্কিং পদ্ধতি
আমরা ব্যবহার করেছি আমাজন সেজমেকার ইনফারেন্স সুপারিশকারী বিভিন্ন দৃষ্টান্ত জুড়ে কর্মক্ষমতা বেঞ্চমার্কিং স্বয়ংক্রিয় করতে। এই পরিষেবাটি আপনার ML মডেলের পারফরম্যান্সের তুলনা করে লেটেন্সি এবং খরচের ক্ষেত্রে বিভিন্ন দৃষ্টান্তে এবং উদাহরণ এবং কনফিগারেশনের সুপারিশ করে যা সর্বনিম্ন খরচে সেরা পারফরম্যান্স দেয়৷ আমরা ইনফারেন্স রেকমেন্ডার ব্যবহার করে পূর্বোক্ত কর্মক্ষমতা ডেটা সংগ্রহ করেছি। আরো বিস্তারিত জানার জন্য, দেখুন গিটহুব রেপো.
আপনি ব্যবহার করতে পারেন নমুনা নোটবুক বেঞ্চমার্ক চালানো এবং ফলাফল পুনরুত্পাদন. আমরা বেঞ্চমার্কিংয়ের জন্য নিম্নলিখিত মডেলগুলি ব্যবহার করেছি:
উপসংহার
AWS PyTorch, TensorFlow, XGBoost, এবং AWS Graviton50-ভিত্তিক EC3 C2g দৃষ্টান্তগুলির সাথে অ্যামাজন সেজমেকারে তুলনীয় EC7 দৃষ্টান্তগুলির সাথে স্কিট-লার্ন মডেল অনুমানের জন্য 2% পর্যন্ত খরচ সাশ্রয় করেছে৷ আপনি এই পোস্টে প্রদত্ত পদক্ষেপগুলি অনুসরণ করে আপনার বিদ্যমান অনুমান ব্যবহারের ক্ষেত্রে স্থানান্তর করতে পারেন বা AWS Graviton-এ নতুন ML মডেল স্থাপন করতে পারেন। এছাড়াও আপনি উল্লেখ করতে পারেন AWS Graviton প্রযুক্তিগত গাইড, যা অপ্টিমাইজ করা লাইব্রেরি এবং সর্বোত্তম অনুশীলনের তালিকা প্রদান করে যা আপনাকে বিভিন্ন কাজের চাপ জুড়ে AWS Graviton দৃষ্টান্তগুলির সাথে খরচের সুবিধাগুলি অর্জন করতে সহায়তা করবে।
AWS Graviton-এ অনুরূপ পারফরম্যান্স লাভ দেখা যায় না এমন ক্ষেত্রে আপনি যদি ব্যবহার করেন, তাহলে অনুগ্রহ করে আমাদের সাথে যোগাযোগ করুন। আমরা AWS Graviton-কে ML অনুমানের জন্য সবচেয়ে সাশ্রয়ী এবং দক্ষ সাধারণ-উদ্দেশ্য প্রসেসর করতে আরও কর্মক্ষমতার উন্নতি যোগ করতে থাকব।
লেখক সম্পর্কে
সুনিতা নাদামপল্লী AWS-এর একজন সফটওয়্যার ডেভেলপমেন্ট ম্যানেজার। তিনি মেশিন লার্নিং, এইচপিসি এবং মাল্টিমিডিয়া ওয়ার্কলোডের জন্য গ্র্যাভিটন সফ্টওয়্যার পারফরম্যান্স অপ্টিমাইজেশানের নেতৃত্ব দেন। তিনি ওপেন সোর্স ডেভেলপমেন্ট এবং আর্ম এসওসি-এর সাথে সাশ্রয়ী সফ্টওয়্যার সমাধান প্রদানের বিষয়ে উত্সাহী৷
জেমিন দেশাই অ্যামাজন সেজমেকার ইনফারেন্স টিমের সাথে একজন সফটওয়্যার ডেভেলপমেন্ট ইঞ্জিনিয়ার। তিনি AI কে জনসাধারণের কাছে নিয়ে যাওয়ার এবং বৈশিষ্ট্য এবং পরিষেবাগুলিতে উত্পাদন করার মাধ্যমে অত্যাধুনিক AI সম্পদগুলির ব্যবহারযোগ্যতা উন্নত করার বিষয়ে উত্সাহী৷ তার অবসর সময়ে, তিনি সঙ্গীত অন্বেষণ এবং ভ্রমণ উপভোগ করেন।
মাইক স্নাইডার Phoenix AZ ভিত্তিক একটি সিস্টেম ডেভেলপার। তিনি ডিপ লার্নিং কন্টেইনারের সদস্য, বিভিন্ন ফ্রেমওয়ার্ক কন্টেইনার ইমেজকে সমর্থন করে, যাতে গ্রাভিটন ইনফারেন্স অন্তর্ভুক্ত থাকে। তিনি অবকাঠামো দক্ষতা এবং স্থিতিশীলতার জন্য নিবেদিত।
মোহন গান্ধী AWS-এর একজন সিনিয়র সফটওয়্যার ইঞ্জিনিয়ার। তিনি গত 10 বছর ধরে AWS এর সাথে আছেন এবং EMR, EFA এবং RDS এর মত বিভিন্ন AWS পরিষেবাতে কাজ করেছেন। বর্তমানে, তিনি সেজমেকার ইনফারেন্স এক্সপেরিয়েন্স উন্নত করার দিকে মনোনিবেশ করছেন। তার অবসর সময়ে, তিনি হাইকিং এবং ম্যারাথন উপভোগ করেন।
কিংওয়েই লি অ্যামাজন ওয়েব সার্ভিসেসের একজন মেশিন লার্নিং বিশেষজ্ঞ। তিনি তার পিএইচ.ডি. অপারেশনস রিসার্চে তিনি তার উপদেষ্টার গবেষণা অনুদানের হিসাব ভেঙ্গে ফেলেন এবং তিনি যে নোবেল পুরস্কারের প্রতিশ্রুতি দিয়েছিলেন তা দিতে ব্যর্থ হন। বর্তমানে তিনি আর্থিক পরিষেবা এবং বীমা শিল্পে গ্রাহকদের AWS-এ মেশিন লার্নিং সমাধান তৈরি করতে সহায়তা করেন। অবসর সময়ে তিনি পড়া এবং পড়াতে পছন্দ করেন।
ওয়েন তোহ AWS-এ Graviton-এর জন্য একজন বিশেষজ্ঞ সমাধান স্থপতি। তিনি গ্রাহকদের বৃহৎ আকারের কন্টেইনার ওয়ার্কলোডের জন্য এআরএম আর্কিটেকচার গ্রহণ করতে সহায়তা করার দিকে মনোনিবেশ করেন। AWS-এ যোগদানের আগে, ওয়েন আইবিএম এবং রেড হ্যাট সহ বেশ কয়েকটি বড় সফ্টওয়্যার বিক্রেতার জন্য কাজ করেছিলেন।
লরেন মুলেনেক্স ডেনভার, CO-এ অবস্থিত একজন সলিউশন আর্কিটেক্ট। তিনি AWS-এ স্থপতি সমাধানে সাহায্য করার জন্য গ্রাহকদের সাথে কাজ করেন। তার অবসর সময়ে, তিনি হাইকিং এবং হাওয়াইয়ান খাবার রান্না উপভোগ করেন।
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- প্লেটোএআইস্ট্রিম। Web3 ডেটা ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- অ্যাড্রিয়েন অ্যাশলির সাথে ভবিষ্যত মিন্টিং। এখানে প্রবেশ করুন.
- PREIPO® এর সাথে PRE-IPO কোম্পানিতে শেয়ার কিনুন এবং বিক্রি করুন। এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/machine-learning/reduce-amazon-sagemaker-inference-cost-with-aws-graviton/
- : আছে
- : হয়
- :না
- :কোথায়
- $ ইউপি
- 1
- 10
- 100
- 98
- a
- সম্পর্কে
- হিসাব
- অর্জন করা
- দিয়ে
- যোগ
- পোষ্যপুত্র গ্রহণ করা
- সুবিধা
- পর
- AI
- অ্যালগরিদম
- ইতিমধ্যে
- এছাড়াও
- মর্দানী স্ত্রীলোক
- আমাজন সেজমেকার
- অ্যামাজন ওয়েব সার্ভিসেস
- মধ্যে
- an
- এবং
- অ্যাপ্লিকেশন
- স্থাপত্য
- রয়েছি
- এআরএম
- AS
- সম্পদ
- At
- স্বয়ংক্রিয় পদ্ধতি প্রয়োগ করা
- ডেস্কটপ AWS
- ভিত্তি
- BE
- কারণ
- হয়েছে
- benchmarks
- সুবিধা
- সর্বোত্তম
- সেরা অভ্যাস
- উত্তম
- আনা
- প্রশস্ত
- ভেঙে
- নির্মাণ করা
- নির্মিত
- বিল্ট-ইন
- বোঝা
- কিন্তু
- by
- CAN
- মামলা
- তালিকা
- শ্রেণীবিন্যাস
- মেঘ
- CO
- তুলনীয়
- তুলনা
- তুলনা
- উপযুক্ত
- সম্পূর্ণ
- গনা
- কম্পিউটার
- কম্পিউটার ভিশন
- কনফিগারেশন
- আধার
- কন্টেনারগুলি
- অবিরত
- রান্না
- মূল্য
- খরচ বাঁচানো
- সাশ্রয়ের
- খরচ
- আবরণ
- নির্মিত
- এখন
- ক্রেতা
- গ্রাহকদের
- উপাত্ত
- নিবেদিত
- গভীর
- গভীর জ্ঞানার্জন
- প্রদান করা
- প্রদান
- ডেনভার
- স্থাপন
- মোতায়েন
- বিস্তৃতি
- বিশদ
- বিস্তারিত
- বিকাশকারী
- উন্নয়ন
- বিভিন্ন
- আলোচনা করা
- না
- কারণে
- কার্যকরীভাবে
- দক্ষতা
- দক্ষ
- পারেন
- শেষপ্রান্ত
- প্রকৌশলী
- পরিবেশ
- থার (eth)
- মূল্যায়ন
- উদাহরণ
- বিদ্যমান
- অভিজ্ঞতা
- এক্সপ্লোরিং
- ব্যর্থ
- বৈশিষ্ট্য
- কয়েক
- ফাইল
- আর্থিক
- অর্থনৈতিক সেবা
- আবিষ্কার
- কেন্দ্রবিন্দু
- দৃষ্টি নিবদ্ধ করা
- গুরুত্ত্ব
- অনুসরণ
- জন্য
- চার
- ফ্রেমওয়ার্ক
- অবকাঠামো
- বিনামূল্যে
- অধিকতর
- একেই
- সাধারন ক্ষেত্রে
- প্রজন্ম
- দেয়
- প্রদান
- চিত্রলেখ
- হয়েছে
- আছে
- he
- সাহায্য
- সাহায্য
- সাহায্য
- তার
- হাইকিং
- তার
- নিমন্ত্রণকর্তা
- কিভাবে
- এইচপিসি
- এইচটিএমএল
- HTTPS দ্বারা
- আইবিএম
- if
- চিত্র
- উন্নতি
- উন্নতি
- উন্নতি
- in
- অন্তর্ভুক্ত করা
- সুদ্ধ
- শিল্প
- তথ্য
- পরিকাঠামো
- উদাহরণ
- নির্দেশাবলী
- বীমা
- বীমা শিল্প
- সংহত
- মধ্যে
- যোগদান
- JPG
- মাত্র
- ভাষা
- বড়
- গত
- অদৃশ্যতা
- বিশালাকার
- শিক্ষা
- অন্তত
- লাইব্রেরি
- মত
- তালিকা
- অবস্থান
- অধম
- মেশিন
- মেশিন লার্নিং
- করা
- পরিচালনা করা
- পরিচালক
- জনসাধারণ
- সম্মেলন
- সদস্য
- স্মৃতি
- মাইগ্রেট
- অভিপ্রয়াণ
- মিলিয়ন
- ML
- এমএলওএস
- মডেল
- মডেল
- অধিক
- সেতু
- Multimedia
- বহু
- সঙ্গীত
- নাম
- প্রাকৃতিক
- স্বভাবিক ভাষা
- স্বাভাবিক ভাষা প্রক্রিয়াকরণ
- প্রয়োজন
- চাহিদা
- নতুন
- NLP
- নোবেল পুরস্কার
- সংখ্যা
- of
- অর্পণ
- on
- কেবল
- ওপেন সোর্স
- কর্মক্ষম
- অপারেশনস
- অপ্টিমাইজ
- পছন্দ
- অপশন সমূহ
- or
- ক্রম
- অন্যান্য
- বাইরে
- নিজের
- পরামিতি
- কামুক
- কর্মক্ষমতা
- ফিনিক্স
- বাছাই
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- দয়া করে
- জনপ্রিয়
- পোস্ট
- চর্চা
- আগে
- পূর্বে
- পুরস্কার
- প্রক্রিয়াজাতকরণ
- প্রসেসর
- উত্পাদনের
- প্রতিশ্রুত
- প্রদান
- প্রদত্ত
- উপলব্ধ
- পাইটার্চ
- পরিসর
- রাঙ্কিং
- নাগাল
- পড়া
- গৃহীত
- বিশেষ পরামর্শ দেওয়া হচ্ছে
- লাল
- লাল টুপি
- হ্রাস করা
- হ্রাসপ্রাপ্ত
- গবেষণা
- ফলাফল
- চালান
- ঋষি নির্মাতা
- সেজমেকার ইনফারেন্স
- একই
- জমা
- স্কেল
- পরিস্থিতিতে
- scikit-শিখতে
- দেখ
- নির্বাচন
- জ্যেষ্ঠ
- সেবা
- সেবা
- বিভিন্ন
- সে
- প্রদর্শনী
- শো
- গুরুত্বপূর্ণ
- অনুরূপ
- So
- সফটওয়্যার
- সফটওয়্যার উন্নয়ন
- সফটওয়্যার ইঞ্জিনিয়ার
- সলিউশন
- বিশেষজ্ঞ
- বিশেষজ্ঞ
- স্থায়িত্ব
- রাষ্ট্র-এর-শিল্প
- ধাপ
- প্রারম্ভিক ব্যবহারের নির্দেশাবলী
- অকপট
- মামলা
- সমর্থক
- সমর্থন
- নিশ্চিত
- সুইচ
- সিস্টেম
- গ্রহণ করা
- গ্রহণ
- শিক্ষাদান
- টীম
- কারিগরী
- tensorflow
- শর্তাবলী
- চেয়ে
- যে
- সার্জারির
- তথ্য
- তাহাদিগকে
- এই
- তিন
- সময়
- থেকে
- সরঞ্জাম
- ভ্রমণ
- আদর্শ
- ধরনের
- us
- ব্যবহারযোগ্যতা
- ব্যবহার
- ব্যবহৃত
- ব্যবহার
- বিভিন্ন
- বিক্রেতারা
- দৃষ্টি
- প্রয়োজন
- we
- ওয়েব
- ওয়েব সার্ভিস
- আমরা একটি
- যে
- ইচ্ছা
- সঙ্গে
- হয়া যাই ?
- কাজ করছে
- কাজ
- এক্সজিবিস্ট
- বছর
- আপনি
- আপনার
- zephyrnet