কেন্দ্রীকরণের সাথে এআই আগুনকে খাওয়ান

স্পনসরড বৈশিষ্ট্য বিপ্লবী প্রযুক্তি এবং আবিষ্কারগুলির একটি অবিচলিত প্রবাহ - আগুন, কৃষি, চাকা, ছাপাখানা এবং ইন্টারনেট, নাম বলতে গেলে কয়েকটি - মানব উন্নয়ন এবং সভ্যতাকে গভীরভাবে আকার দিয়েছে। এবং উদ্ভাবনের সেই চক্রটি কৃত্রিম বুদ্ধিমত্তা (AI) দিয়ে অব্যাহত রয়েছে। 

গবেষণা সংস্থা IDC এই সিদ্ধান্তে পৌঁছেছে যে AI সত্যিই প্রায় "সবকিছুর" উত্তর। আইডিসি-তে ডেটা এবং অ্যানালিটিক্সের সহযোগী ভাইস প্রেসিডেন্ট রাসমুস অ্যান্ডসবের্গ বলেছেন: “বাস্তবতা হল, এআই এই মুহূর্তে আমরা যে সমস্ত কিছুর মুখোমুখি হচ্ছি তার সমাধান দেয়। AI দ্রুত-ট্র্যাকিং ডিজিটাল রূপান্তর যাত্রার একটি উত্স হতে পারে, বিস্ময়কর মুদ্রাস্ফীতির হারের সময়ে খরচ সাশ্রয় করতে পারে এবং শ্রমের অভাবের সময়ে স্বয়ংক্রিয়তা প্রচেষ্টাকে সমর্থন করতে পারে।"

অবশ্যই, এবং সমস্ত শিল্প এবং ফাংশন জুড়ে, শেষ ব্যবহারকারী সংস্থাগুলি AI এর সুবিধাগুলি আবিষ্কার করতে শুরু করেছে, কারণ ক্রমবর্ধমান শক্তিশালী অ্যালগরিদম এবং অন্তর্নিহিত অবকাঠামো উন্নত সিদ্ধান্ত গ্রহণ এবং উচ্চ উত্পাদনশীলতা সক্ষম করার জন্য আবির্ভূত হচ্ছে। 

কৃত্রিম বুদ্ধিমত্তা (AI) বাজারের জন্য বিশ্বব্যাপী রাজস্ব, যার মধ্যে AI কেন্দ্রিক এবং AI নন-কেন্দ্রিক অ্যাপ্লিকেশন উভয়ের জন্য সংশ্লিষ্ট সফ্টওয়্যার, হার্ডওয়্যার এবং পরিষেবাগুলি রয়েছে, 383.3 সালে মোট $2021 বিলিয়ন ছিল৷ যা আগের বছরের তুলনায় 20.7% বেশি ছিল, সর্বাধিক অনুসারে সাম্প্রতিক ইন্টারন্যাশনাল ডেটা কর্পোরেশন (IDC) বিশ্বব্যাপী আধা-বার্ষিক কৃত্রিম বুদ্ধিমত্তা ট্র্যাকার.

একইভাবে, ক্লাউডে এআই সফ্টওয়্যারের স্থাপনা অবিচলিত বৃদ্ধি দেখায়। IDC আশা করে যে নতুন কেনা এআই সফ্টওয়্যারের ক্লাউড সংস্করণগুলি 2022 সালে অন-প্রিমিসেস স্থাপনাকে ছাড়িয়ে যাবে।

আকাশ AI এর সীমা

AI বিশেষজ্ঞ Run:ai-এর চিফ টেকনোলজি অফিসার ডঃ রনেন দার, যেটি AI-এর জন্য একটি কম্পিউট-ম্যানেজমেন্ট প্ল্যাটফর্ম তৈরি করেছে, বিশ্বাস করেন যে নতুন এন্টারপ্রাইজ AI সেক্টরের জন্য আকাশই সীমাবদ্ধ। 

“এআই এমন একটি বাজার যা আমরা দেখতে পাচ্ছি খুব দ্রুত বাড়ছে। এবং এন্টারপ্রাইজের পরিপ্রেক্ষিতে, আমরা মেশিন লার্নিং এবং এআই-এর জন্য চাহিদা এবং গ্রহণ দেখতে পাই। এবং আমি মনে করি এই মুহূর্তে এখানে একটি নতুন প্রযুক্তি রয়েছে যা নতুন ক্ষমতা নিয়ে আসছে যা বিশ্বকে পরিবর্তন করতে চলেছে; যা ব্যবসায় বিপ্লব ঘটাতে চলেছে,” দার নোট করে। 

AI এর সাথে অন্বেষণ এবং পরীক্ষা শুরু করার এবং কীভাবে AI-কে ব্যবসায়িক মডেলগুলিতে একীভূত করা যায় তা বোঝার প্রয়োজনীয়তার বিষয়ে একটি ক্রমবর্ধমান স্পষ্ট বোঝাপড়া রয়েছে।

দার বিশ্বাস করেন যে AI বিদ্যমান এন্টারপ্রাইজ ব্যবসায়িক প্রক্রিয়াগুলিকে উন্নত করতে "আশ্চর্যজনক সুবিধা" আনতে পারে: "বর্তমান ব্যবসাকে অপ্টিমাইজ করার এবং প্রমাণ করার ক্ষেত্রে, আমরা এআই এবং মেশিন লার্নিং এর আশেপাশে প্রচুর ব্যবহারের ক্ষেত্রে দেখতে পাচ্ছি যা অপারেশনগুলিকে উন্নত করছে এবং কীভাবে সিদ্ধান্ত নেওয়া হচ্ছে৷ সরবরাহ এবং চাহিদার কাছাকাছি।"

তিনি উল্লেখ করেছেন যে নিউরাল নেটওয়ার্কের উপর ভিত্তি করে নতুন গভীর শিক্ষার মডেলগুলি প্রক্রিয়া, সিদ্ধান্ত গ্রহণ এবং আর্থিক পরিষেবা শিল্পে জালিয়াতি সনাক্তকরণের মতো গুরুত্বপূর্ণ ব্যবসায়িক প্রক্রিয়াগুলির যথার্থতা উন্নত করতে পারে। স্বাস্থ্যসেবা হল আরেকটি সেক্টর যেখানে AI এর সম্ভাবনা "বিশাল", বিশেষ করে ডাক্তারদের আরও ভাল ক্লিনিকাল সিদ্ধান্ত নিতে এবং নতুন ওষুধ আবিষ্কার ও বিকাশে সাহায্য করার ক্ষেত্রে। 

এবং, আরও সামনের দিকে তাকিয়ে, দার ভবিষ্যদ্বাণী করেছেন যে AI প্রযুক্তি একেবারে নতুন বাণিজ্যিক সুযোগগুলি সরবরাহ করতে সহায়তা করবে যা বর্তমানে স্ব-চালিত যানবাহন এবং নিমজ্জিত গেমিংয়ের মতো সেক্টরে বিদ্যমান নেই। 

অবকাঠামোগত বাধা অতিক্রম করতে হবে

এন্টারপ্রাইজে AI এবং মেশিন লার্নিং এর সুস্পষ্ট সম্ভাবনা থাকা সত্ত্বেও, দার স্বীকার করেছেন যে AI এর বাণিজ্যিক স্থাপনা অবকাঠামোর বিধানের আশেপাশের সমস্যাগুলির দ্বারা আটকে রাখা হয়েছে। তিনি পরামর্শ দেন যে সংস্থাগুলিকে প্রথম স্থানে এআই কোন সংস্থায় প্রবেশ করার উপায়টি দেখতে হবে।

সাধারণত, এটি একটি অসংলগ্ন, বিভাগ-দ্বারা-বিভাগ প্রক্রিয়া জড়িত থাকে যা বিভিন্ন দলকে স্বাধীনভাবে প্রযুক্তি এবং সংস্থান সরবরাহ করতে দেখে, যা নীরব স্থাপনার দিকে পরিচালিত করে। আইটি এই অ্যাডহক প্রকল্পগুলিকে কার্যকরভাবে নিয়ন্ত্রণ করতে পারে না এবং যা ঘটছে তার দৃশ্যমানতা নেই৷ এবং এটি AI পরিকাঠামো ব্যয়ের উপর ROI গণনা করা অসম্ভব না হলেও কঠিন করে তোলে। 

"এটি ধ্রুপদী সমস্যা: আগের দিনে এটি ছায়া আইটি ছিল এবং এখন এটি ছায়া এআই," দার বলেছেন। 

এছাড়াও, AI/ML-এর জন্য প্রয়োজনীয় অত্যাধুনিক অবকাঠামো হল একটি বিনিয়োগ কারণ এন্টারপ্রাইজগুলির খুব জটিল ডেটা প্রক্রিয়াকরণ এবং মডেলগুলিকে প্রশিক্ষণের জন্য শক্তিশালী GPU-অ্যাক্সিলারেটেড কম্পিউটিং হার্ডওয়্যার প্রয়োজন। 

"এআই টিমগুলির মডেলগুলিকে প্রশিক্ষণের জন্য প্রচুর কম্পিউটিং শক্তির প্রয়োজন, সাধারণত জিপিইউ ব্যবহার করে, যা প্রিমিয়াম ডেটা সেন্টার সংস্থান যা সাইল করা যায় এবং দক্ষতার সাথে ব্যবহার করা যায় না," দার বলেছেন। "এর ফলে নিশ্চিতভাবে প্রচুর অর্থ অপচয় হতে পারে।" 

এই নীরব পরিকাঠামোর ফলে 10% এরও কম ব্যবহারের মাত্রা হতে পারে, উদাহরণস্বরূপ।

রান:এআই পোল অনুসারে, 2021 স্টেট অফ এআই ইনফ্রাস্ট্রাকচার সার্ভে2021 সালের অক্টোবরে প্রকাশিত, উত্তরদাতাদের 87 শতাংশ বলেছেন যে তারা কিছু স্তরের GPU/কম্পিউট রিসোর্স বরাদ্দ সংক্রান্ত সমস্যার সম্মুখীন হয়েছেন, 12 শতাংশ বলেছেন যে এটি প্রায়শই ঘটে। ফলস্বরূপ, সমীক্ষা করা কোম্পানিগুলির 83 শতাংশ রিপোর্ট করেছে যে তারা তাদের GPU এবং AI হার্ডওয়্যার সম্পূর্ণরূপে ব্যবহার করছে না। প্রকৃতপক্ষে, প্রায় দুই-তৃতীয়াংশ (61 শতাংশ) তাদের জিপিইউ এবং এআই হার্ডওয়্যার বেশিরভাগই ব্যবহারের "মধ্যম" স্তরে রয়েছে।

AI এর কেন্দ্রীকরণ

এই সমস্যাগুলি সমাধানের জন্য দার এআই সংস্থানগুলির বিধানকে কেন্দ্রীভূত করার পক্ষে। Run:AI AI-এর জন্য একটি কম্পিউট-ম্যানেজমেন্ট প্ল্যাটফর্ম তৈরি করেছে যা ঠিক এই কাজটি করে, GPU কম্পিউট রিসোর্সকে কেন্দ্রীভূত এবং ভার্চুয়ালাইজ করে। GPU গুলিকে একটি একক ভার্চুয়াল স্তরে পুল করে এবং 100 শতাংশ ব্যবহারের জন্য স্বয়ংক্রিয় কাজের চাপ নির্ধারণ করে, এই পদ্ধতিটি বিভাগীয় স্তরে সাইলড সিস্টেমের তুলনায় সুবিধা প্রদান করে। 

অবকাঠামোকে কেন্দ্রীভূত করা নিয়ন্ত্রণ এবং দৃশ্যমানতা ফিরিয়ে দেয়, যখন তথ্য বিজ্ঞানীদের অবকাঠামো পরিচালনার ওভারহেড থেকে মুক্ত করে। এআই দলগুলি একটি সার্বজনীন এআই কম্পিউট রিসোর্স ভাগ করে যা চাহিদা বৃদ্ধি বা হ্রাসের সাথে সাথে ডায়নামিকভাবে ডায়াল আপ এবং ডাউন করা যেতে পারে, চাহিদার প্রতিবন্ধকতা এবং কম ব্যবহারের সময়কাল দূর করে। 

এই পদ্ধতি, ডার যুক্তি, সংস্থাগুলিকে তাদের হার্ডওয়্যার থেকে সর্বাধিক সুবিধা পেতে এবং অন্তর্নিহিত সংস্থান সীমাবদ্ধতার সীমাবদ্ধতা থেকে ডেটা বিজ্ঞানীদের মুক্ত করতে সহায়তা করতে পারে। এর সবকটির অর্থ হল তারা আরও কাজ চালাতে পারে এবং আরও AI মডেলগুলি উত্পাদনে আনতে পারে। 

লন্ডন মেডিকেল ইমেজিং ও আর্টিফিশিয়াল ইন্টেলিজেন্স সেন্টার ফর ভ্যালু বেইজড হেলথ কেয়ার, কিংস কলেজ লন্ডনের নেতৃত্বে এবং সেন্ট থমাস হাসপাতাল থেকে একটি উদাহরণ প্রদান করা হয়েছে। এটি কম্পিউটার দৃষ্টি এবং প্রাকৃতিক-ভাষা প্রক্রিয়াকরণের জন্য অত্যাধুনিক গভীর শিক্ষার অ্যালগরিদম প্রশিক্ষণের জন্য চিকিৎসা চিত্র এবং ইলেকট্রনিক স্বাস্থ্যসেবা ডেটা ব্যবহার করে। এই অ্যালগরিদমগুলি কার্যকর স্ক্রীনিং, দ্রুত নির্ণয় এবং ব্যক্তিগতকৃত থেরাপির জন্য নতুন সরঞ্জাম তৈরি করতে ব্যবহৃত হয়।

কেন্দ্র বুঝতে পেরেছে যে তার উত্তরাধিকারী AI পরিকাঠামো দক্ষতার সমস্যায় ভুগছে: কিছু উপাদানের জন্য "উল্লেখযোগ্য" নিষ্ক্রিয় সময়ের সাথে মোট GPU ব্যবহার 30 শতাংশের নিচে ছিল। Run:ai-এর প্ল্যাটফর্মের উপর ভিত্তি করে একটি কেন্দ্রীভূত AI কম্পিউট প্রভিশনিং মডেল গ্রহণ করে এই সমস্যাগুলির সমাধান করার পর, পরীক্ষার গতি এবং সামগ্রিক গবেষণা দক্ষতার সমান্তরাল উন্নতি সহ এর GPU ব্যবহার 110 শতাংশ বেড়েছে।

"আমাদের পরীক্ষায় কয়েক দিন বা মিনিট সময় লাগতে পারে, কম্পিউটিং শক্তি বা পুরো ক্লাস্টার ব্যবহার করে," বলেছেন ডাঃ এম. জর্জ কার্ডোসো, কিংস কলেজ লন্ডনের AI এর সহযোগী অধ্যাপক এবং সিনিয়র লেকচারার এবং AI সেন্টারের CTO৷ "ফলাফলের জন্য সময় কমানো নিশ্চিত করে যে আমরা মানুষের স্বাস্থ্য এবং জীবন সম্পর্কে আরও জটিল প্রশ্ন জিজ্ঞাসা করতে এবং উত্তর দিতে পারি," 

এআই জিপিইউ রিসোর্সকে কেন্দ্রীভূত করা ওয়েভকে মূল্যবান বাণিজ্যিক সুবিধা প্রদান করেছে, একটি লন্ডন-ভিত্তিক ফার্ম যা স্ব-চালিত গাড়ির জন্য এআই সফ্টওয়্যার তৈরি করে। এর প্রযুক্তি এমনভাবে ডিজাইন করা হয়েছে যাতে সেন্সিং এর উপর নির্ভর না করে, বরং ঘন শহুরে এলাকায় ভাল স্বায়ত্তশাসিত ড্রাইভিং এর জন্য বৃহত্তর বুদ্ধিমত্তার উপর ফোকাস করে।

ওয়েভের ফ্লিট লার্নিং লুপে ফ্লিটে মোতায়েন করার আগে ডেটা সংগ্রহ, কিউরেশন, মডেলের প্রশিক্ষণ, রি-সিমুলেশন এবং লাইসেন্সিং মডেলের একটি ক্রমাগত চক্র জড়িত। কোম্পানির প্রাথমিক GPU কম্পিউট খরচ ফ্লিট লার্নিং লুপ উৎপাদন প্রশিক্ষণ থেকে আসে। এটি সম্পূর্ণ ডেটাসেটের সাথে পণ্যের বেসলাইনকে প্রশিক্ষণ দেয় এবং ফ্লিট লার্নিং লুপের পুনরাবৃত্তির মাধ্যমে নতুন ডেটা সংগ্রহ করার জন্য ক্রমাগত পুনরায় প্রশিক্ষণ দেয়।

কোম্পানী বুঝতে শুরু করে যে এটি GPU শিডিউলিং "ভয়ঙ্কর" দ্বারা ভুগছে: যদিও এর উপলব্ধ GPU সংস্থানগুলির প্রায় 100 শতাংশ গবেষকদের জন্য বরাদ্দ করা হয়েছিল, প্রাথমিকভাবে যখন পরীক্ষা করা হয়েছিল তখন 45 শতাংশেরও কম ব্যবহার করা হয়েছিল। 

"কারণ GPU গুলি গবেষকদের জন্য স্থিরভাবে বরাদ্দ করা হয়েছিল, যখন গবেষকরা তাদের বরাদ্দ করা GPUগুলি ব্যবহার করছেন না অন্যরা সেগুলি অ্যাক্সেস করতে পারছিলেন না, এই বিভ্রম তৈরি করে যে মডেল প্রশিক্ষণের জন্য GPU গুলি সক্ষম ছিল এমনকি অনেক GPU নিষ্ক্রিয় বসেছিল" Wayve নোট। 

Run:ai এর সাথে কাজ করা সিলোগুলি সরিয়ে এবং সম্পদের স্ট্যাটিক বরাদ্দ বাদ দিয়ে এই সমস্যাটি মোকাবেলা করেছে। ভাগ করা জিপিইউগুলির পুল তৈরি করা হয়েছিল যাতে দলগুলিকে আরও জিপিইউ অ্যাক্সেস করতে এবং আরও বেশি কাজের চাপ চালানোর অনুমতি দেয়, যার ফলে তাদের ব্যবহারের 35% উন্নতি হয়েছিল। 

মিরর CPU দক্ষতা উন্নতি

VMware যেভাবে সাম্প্রতিক বছরগুলিতে সার্ভারের CPU গুলিকে সর্বাধিক ক্ষমতার জন্য ব্যবহার করা হচ্ছে তাতে যথেষ্ট দক্ষতার উন্নতি এনেছে তা প্রতিফলিত করে, AI কম্পিউট ওয়ার্কলোডের জন্য GPU ব্যবহারের দক্ষতাকে অপ্টিমাইজ করার জন্য নতুন উদ্ভাবন এখন প্রবাহে আসছে। 

"আপনি যদি সিপিইউগুলির উপরে চলে এমন সফ্টওয়্যার স্ট্যাক সম্পর্কে চিন্তা করেন তবে এটি প্রচুর ভিএমওয়্যার এবং ভার্চুয়ালাইজেশন দিয়ে তৈরি করা হয়েছিল," দার ব্যাখ্যা করে। "জিপিইউগুলি ডেটা সেন্টারে তুলনামূলকভাবে নতুন, এবং এআই এবং ভার্চুয়ালাইজেশনের জন্য সফ্টওয়্যার - যেমন এনভিডিয়া এআই এন্টারপ্রাইজ - এটি একটি সাম্প্রতিক উন্নয়ন।" 

“আমরা সেই ক্ষেত্রে ভগ্নাংশের জিপিইউ, চাকরির অদলবদল এবং এর মতো ক্ষমতা সহ উন্নত প্রযুক্তি নিয়ে এসেছি। কাজের চাপকে দক্ষতার সাথে জিপিইউ ভাগ করার অনুমতি দেওয়া,” দার বলেছেন, আরও উন্নতির পরিকল্পনা করা হচ্ছে।

Run:ai এন্টারপ্রাইজে GPU-এর ব্যবহার উন্নত এবং সহজ করতে NVIDIA-এর সাথে ঘনিষ্ঠভাবে কাজ করে। সাম্প্রতিকতম সহযোগিতার মধ্যে রয়েছে ক্লাউডে জিপিইউ ব্যবহারকারী কোম্পানিগুলির জন্য মাল্টি-ক্লাউড GPU নমনীয়তা সক্ষম করা এবং এর সাথে একীকরণ এনভিআইডিএ ট্রাইটন ইনফারেন্স সার্ভার সফ্টওয়্যার উত্পাদনে মডেল স্থাপনের প্রক্রিয়া সহজতর করার জন্য।

যেভাবে ইতিহাসের ধারায় প্রধান উদ্ভাবনগুলি মানব জাতি এবং বিশ্বের উপর গভীর প্রভাব ফেলেছে, দার উল্লেখ করেছেন যে সম্ভাব্য অসুবিধাগুলি পরিচালনা করার সময় AI এর শক্তিকে এর সম্ভাব্য সুবিধাগুলি সর্বাধিক করার জন্য যত্ন সহকারে ব্যবহার করতে হবে। তিনি AI-কে সবচেয়ে আদিম উদ্ভাবনের সাথে তুলনা করেছেন: আগুন। 

“এটি আগুনের মতো যা অনেক মহান জিনিস এনেছে এবং মানুষের জীবন পরিবর্তন করেছে। আগুনও ডেকে এনেছে বিপদ। তাই মানুষ বুঝতে পেরেছে কীভাবে আগুনের সাথে বাঁচতে হয়,” দার বলেছেন। "আমি মনে করি এটি আজকাল এআই-তেও রয়েছে।" 

Run:ai দ্বারা স্পন্সর.