AI کے تجویز کنندگان بڑے ہوتے ہی بہتر ہوتے جاتے ہیں۔ بہت سے ماڈلز پہلے بھی بلین پیرامیٹرز کے ساتھ حال ہی میں ٹریلین تک جاری کیے گئے ہیں۔ ماڈل کی صلاحیت میں ہر اچھل کوالٹی میں نمایاں بہتری لائی ہے۔ 100 ٹریلین پیرامیٹرز کا دور بالکل قریب ہے۔
پیچیدہ، گھنے ریسٹ نیورل نیٹ ورک ہر تربیتی تکرار میں 100 سے زیادہ TFLOPs کے ساتھ تیزی سے حسابی ہے۔ اس طرح، اس طرح کے تربیتی کاموں کے لیے متضاد وسائل کے ساتھ کلسٹر کو منظم کرنے کے لیے کچھ جدید طریقہ کار کا ہونا ضروری ہے۔
حال ہی میں، ETH زیورخ کی Kwai Seattle AI Lab اور DS3 Lab نے تربیتی الگورتھم اور تربیتی نظام دونوں کے محتاط مشترکہ ڈیزائن کے ذریعے اس مسئلے سے نمٹنے کے لیے "Persia" کے نام سے ایک نیا نظام تجویز کرنے کے لیے تعاون کیا ہے۔ الگورتھم کی سطح پر، فارس سرایت کرنے والی پرت اور گھنے نیورل نیٹ ورک ماڈیولز کو مختلف طریقے سے سنبھالنے کے لیے ایک ہائبرڈ ٹریننگ الگورتھم اپناتا ہے۔ ایمبیڈنگ پرت کو تربیتی نمونوں کے تھرو پٹ کو بہتر بنانے کے لیے متضاد طور پر تربیت دی جاتی ہے، جبکہ باقی عصبی نیٹ ورک کو شماریاتی کارکردگی کو برقرار رکھنے کے لیے ہم آہنگی سے تربیت دی جاتی ہے۔ سسٹم کی سطح پر، ہائبرڈ الگورتھم کی مکمل صلاحیت کو بروئے کار لانے کے لیے میموری مینجمنٹ اور کمیونیکیشن میں کمی کے لیے نظام کی اصلاح کی ایک وسیع رینج کو لاگو کیا گیا ہے۔
100 ٹریلین پیرامیٹر AI ماڈلز کے لیے کلاؤڈ وسائل
فارس 100 ٹریلین پیرامیٹر AI کام کا بوجھ درج ذیل متفاوت وسائل پر چلتا ہے:
3,000 کور کمپیوٹ-انٹینسیو ورچوئل مشینیں۔
8 A2 ورچوئل مشینیں کل 64 A100 Nvidia GPUs کا اضافہ کرتی ہیں
30 ہائی میموری ورچوئل مشینیں، ہر ایک 12 TB RAM کے ساتھ، کل 360 TB
Kubernetes کے ساتھ آرکیسٹریشن
نیٹ ورک کی تاخیر کو کم سے کم کرنے کے لیے تمام وسائل کو ایک ہی زون میں بیک وقت لانچ کرنا تھا۔ گوگل کلاؤڈ بہت کم نوٹس کے ساتھ مطلوبہ صلاحیت فراہم کرنے کے قابل تھا۔
AI ٹریننگ کو برسٹ میں وسائل کی ضرورت ہے۔
Google Kubernetes Engine (GKE) کو 138 VMs اور سافٹ ویئر کنٹینرز کی تعیناتی کے لیے استعمال کیا گیا۔ کام کے بوجھ کو کنٹینرائز کرنے سے تربیت کی پورٹنگ اور دوبارہ قابلیت کی بھی اجازت ملتی ہے۔
نتائج اور نتائج
گوگل کلاؤڈ کے بنیادی ڈھانچے کے تعاون سے، ٹیم نے 100 ٹریلین پیرامیٹرز تک فارس کی توسیع پذیری کا مظاہرہ کیا۔ ہائبرڈ تقسیم شدہ تربیتی الگورتھم نے ونیلا ایس جی ڈی کی طرح تیزی سے تبدیل ہوتے ہوئے متضاد کلسٹرز کے موثر استعمال کے لیے وسیع نظام میں نرمی متعارف کرائی۔ گوگل کلاؤڈ آن پریمیس ہارڈویئر کی حدود پر قابو پانے کے لیے ضروری تھا اور اس نے بڑے پیمانے پر تقسیم شدہ مشین لرننگ ٹریننگ کے لیے ایک بہترین کمپیوٹنگ ماحول ثابت کیا۔
فارس کو گوگل کلاؤڈ کے لیے سیٹ اپ ہدایات کے ساتھ گیتھب پر ایک اوپن سورس پروجیکٹ کے طور پر جاری کیا گیا ہے — اکیڈمی اور انڈسٹری دونوں سے تعلق رکھنے والے ہر شخص کو 100-ٹریلین پیرامیٹر اسکیل، ڈیپ لرننگ تجویز کرنے والے ماڈلز کی تربیت کرنا آسان ہوگا۔
برائن وانگ ایک فیوچرسٹ تھیٹ لیڈر اور ایک مشہور سائنس بلاگر ہے جس میں ہر ماہ 1 لاکھ قارئین ہیں۔ اس کا بلاگ Nextbigfuture.com نمبر 1 سائنس نیوز بلاگ کی درجہ بندی ہے۔ اس میں خلل ، روبوٹکس ، مصنوعی ذہانت ، طب ، اینٹی ایجنگ بائیوٹیکنالوجی ، اور نینو ٹیکنالوجی سمیت بہت سی خلل ڈالنے والی ٹیکنالوجی اور رجحانات شامل ہیں۔
جدید ٹیکنالوجیز کی شناخت کے لیے جانا جاتا ہے ، وہ فی الوقت ابتدائی مرحلے کی کمپنیوں کے لیے اسٹارٹ اپ اور فنڈ ریزر کے شریک بانی ہیں۔ وہ گہری ٹیکنالوجی کی سرمایہ کاری کے لیے مختص تحقیق کے سربراہ اور خلائی فرشتے میں ایک فرشتہ سرمایہ کار ہیں۔
کارپوریشنوں میں بار بار اسپیکر ، وہ ٹی ای ڈی ایکس اسپیکر ، سنگولریٹی یونیورسٹی اسپیکر اور ریڈیو اور پوڈ کاسٹ کے متعدد انٹرویوز میں مہمان رہے ہیں۔ وہ عوامی تقریر اور مشاورت کے لیے کھلا ہے۔
