এআই সুপারিশকারীরা বড় হওয়ার সাথে সাথে আরও ভাল হয়। বেশ কিছু মডেল ইতিপূর্বে বিলিয়ন প্যারামিটার সহ ট্রিলিয়ন পর্যন্ত প্রকাশ করা হয়েছে। মডেল ক্ষমতার প্রতিটি লাফ মানের ক্ষেত্রে উল্লেখযোগ্য উন্নতি এনেছে। 100 ট্রিলিয়ন প্যারামিটারের যুগ ঠিক কোণার কাছাকাছি।
জটিল, ঘন বিশ্রামের নিউরাল নেটওয়ার্ক প্রতিটি প্রশিক্ষণের পুনরাবৃত্তিতে 100 টিরও বেশি TFLOP সহ ক্রমবর্ধমান গণনা-নিবিড়। সুতরাং, এই ধরনের প্রশিক্ষণের কাজগুলির জন্য ভিন্নধর্মী সংস্থান সহ একটি ক্লাস্টার পরিচালনা করার জন্য কিছু পরিশীলিত প্রক্রিয়া থাকা গুরুত্বপূর্ণ।
সম্প্রতি, ইটিএইচ জুরিখের কোয়াই সিয়াটল এআই ল্যাব এবং ডিএস৩ ল্যাব প্রশিক্ষণ অ্যালগরিদম এবং প্রশিক্ষণ ব্যবস্থা উভয়ের যত্ন সহ-পরিকল্পনার মাধ্যমে এই সমস্যাটি মোকাবেলা করার জন্য "পার্সিয়া" নামে একটি অভিনব সিস্টেম প্রস্তাব করার জন্য সহযোগিতা করেছে। অ্যালগরিদম স্তরে, পারস্য এম্বেডিং স্তর এবং ঘন নিউরাল নেটওয়ার্ক মডিউলগুলিকে ভিন্নভাবে পরিচালনা করার জন্য একটি হাইব্রিড প্রশিক্ষণ অ্যালগরিদম গ্রহণ করে। এম্বেডিং স্তরটি প্রশিক্ষণ নমুনাগুলির থ্রুপুট উন্নত করার জন্য অসিঙ্ক্রোনাসভাবে প্রশিক্ষিত হয়, যখন বাকি নিউরাল নেটওয়ার্ক পরিসংখ্যানগত দক্ষতা সংরক্ষণের জন্য সিঙ্ক্রোনাসভাবে প্রশিক্ষিত হয়। সিস্টেম স্তরে, হাইব্রিড অ্যালগরিদমের পূর্ণ সম্ভাবনা উন্মোচনের জন্য মেমরি পরিচালনা এবং যোগাযোগ হ্রাসের জন্য বিস্তৃত সিস্টেম অপ্টিমাইজেশন প্রয়োগ করা হয়েছে।
100 ট্রিলিয়ন প্যারামিটার এআই মডেলের জন্য ক্লাউড সম্পদ
পার্সিয়া 100 ট্রিলিয়ন প্যারামিটার AI কাজের চাপ নিম্নলিখিত ভিন্নধর্মী সংস্থানগুলির উপর চলে:
কম্পিউট-ইনটেনসিভ ভার্চুয়াল মেশিনের 3,000 কোর
8 A2 ভার্চুয়াল মেশিন মোট 64 A100 Nvidia GPU যোগ করছে
30টি উচ্চ মেমরির ভার্চুয়াল মেশিন, প্রতিটিতে 12 টিবি র্যাম, মোট 360 টিবি
Kubernetes সঙ্গে অর্কেস্ট্রেশন
নেটওয়ার্ক লেটেন্সি কমানোর জন্য সমস্ত সংস্থান একই জোনে একযোগে চালু করতে হয়েছিল। গুগল ক্লাউড খুব কম নোটিশে প্রয়োজনীয় ক্ষমতা প্রদান করতে সক্ষম হয়েছিল।
এআই প্রশিক্ষণের জন্য সম্পদের প্রয়োজন।
Google Kubernetes Engine (GKE) 138টি VM এবং সফ্টওয়্যার কন্টেইনার স্থাপনের জন্য ব্যবহার করা হয়েছিল। কাজের চাপ কন্টেইনারাইজড থাকার ফলে প্রশিক্ষণের পোর্টিং এবং পুনরাবৃত্তিযোগ্যতাও সম্ভব হয়।
ফলাফল এবং সিদ্ধান্ত
Google ক্লাউড অবকাঠামোর সমর্থনে, দলটি 100 ট্রিলিয়ন প্যারামিটার পর্যন্ত পারস্যের মাপযোগ্যতা প্রদর্শন করেছে। হাইব্রিড ডিস্ট্রিবিউটেড ট্রেনিং অ্যালগরিদম ভিন্নধর্মী ক্লাস্টারগুলির দক্ষ ব্যবহারের জন্য বিস্তৃত সিস্টেম শিথিলতা চালু করেছে, যখন ভ্যানিলা SGD-এর মতো দ্রুত রূপান্তরিত হচ্ছে। অন-প্রিমিস হার্ডওয়্যারের সীমাবদ্ধতা কাটিয়ে ওঠার জন্য Google ক্লাউড অপরিহার্য ছিল এবং ব্যাপক আকারে বিতরণ করা মেশিন লার্নিং প্রশিক্ষণের জন্য একটি সর্বোত্তম কম্পিউটিং পরিবেশ প্রমাণ করেছে।
পার্সিয়াকে Google ক্লাউডের জন্য সেটআপ নির্দেশাবলী সহ github-এ একটি ওপেন সোর্স প্রকল্প হিসাবে প্রকাশ করা হয়েছে — একাডেমিয়া এবং শিল্প উভয়ের প্রত্যেকের জন্য 100-ট্রিলিয়ন-প্যারামিটার স্কেল, গভীর শিক্ষার সুপারিশকারী মডেলগুলিকে প্রশিক্ষণ দেওয়া সহজ হবে৷
ব্রায়ান ওয়াং একজন ফিউচারিস্ট থট লিডার এবং প্রতি মাসে 1 মিলিয়ন পাঠক সহ একটি জনপ্রিয় বিজ্ঞান ব্লগার। তার ব্লগ Nextbigfuture.com স্থান পেয়েছে #1 বিজ্ঞান সংবাদ ব্লগ। এটি স্পেস, রোবোটিক্স, আর্টিফিশিয়াল ইন্টেলিজেন্স, মেডিসিন, অ্যান্টি-এজিং বায়োটেকনোলজি, এবং ন্যানো টেকনোলজিসহ অনেক ব্যাহতকারী প্রযুক্তি এবং প্রবণতা জুড়েছে।
অত্যাধুনিক প্রযুক্তি চিহ্নিত করার জন্য পরিচিত, তিনি বর্তমানে উচ্চ সম্ভাব্য প্রাথমিক পর্যায়ের কোম্পানিগুলির জন্য একটি স্টার্টআপ এবং তহবিল সংগ্রহের সহ-প্রতিষ্ঠাতা। তিনি গভীর প্রযুক্তি বিনিয়োগের জন্য বরাদ্দের জন্য গবেষণা প্রধান এবং স্পেস এঞ্জেলসে একজন দেবদূত বিনিয়োগকারী।
কর্পোরেশনে ঘন ঘন বক্তা, তিনি একজন TEDx বক্তা, এককত্ব বিশ্ববিদ্যালয়ের বক্তা এবং রেডিও এবং পডকাস্টের জন্য অসংখ্য সাক্ষাৎকারে অতিথি ছিলেন। তিনি জনসাধারণের বক্তৃতা এবং পরামর্শের জন্য উন্মুক্ত।
