کس طرح لیٹنٹ اسپیس نے بڑے پیمانے پر ٹرانسفارمرز کی سرحدوں کو آگے بڑھانے کے لیے ایمیزون سیج میکر ماڈل متوازی لائبریری کا استعمال کیا۔

ماخذ نوڈ: 1204406

یہ بلاگ سارہ جین ہانگ سی ایس او، ڈیرل برن ہارٹ سی ٹی او، اور لیٹنٹ اسپیس کے سی ای او ایان تھامسن اور AWS کے پریم رنگا کی مشترکہ تصنیف ہے۔

اویکت جگہ تجریدی خیالات کی چھپی ہوئی نمائندگی ہے جو مشین لرننگ (ML) ماڈل سیکھتے ہیں۔ مثال کے طور پر، "کتا،" "پھول،" یا "دروازہ" تصورات یا خفیہ جگہ کے مقامات ہیں۔ پر اویکت جگہ، ہم ایک ایسے انجن پر کام کر رہے ہیں جو آپ کو زبان اور بصری اشارے دونوں کے ساتھ اس جگہ کو جوڑ توڑ اور دریافت کرنے کی اجازت دیتا ہے۔ لیٹنٹ اسپیس ٹیم دو شعبوں سے آتی ہے جن میں طویل عرصے سے بہت کم اوورلیپ ہوتا ہے: گرافکس اور نیچرل لینگویج پروسیسنگ (NLP)۔ روایتی طور پر، تصاویر اور متن کے طریقوں کو الگ الگ سنبھالا گیا ہے، ہر ایک کی پیچیدہ، مہنگی، اور نازک خصوصیت کی انجینئرنگ کی اپنی تاریخ ہے۔ NLP کام جیسے دستاویز کو سمجھنا یا سوالوں کا جواب دینا عام طور پر وژن کے کاموں جیسے منظر کو سمجھنا یا پیش کرنا، اور عام طور پر ہم ہر کام کے لیے بہت مختلف انداز اور ماڈل استعمال کرتے ہیں۔ لیکن یہ تیزی سے بدل رہا ہے۔

ایک مشترکہ خفیہ جگہ میں طریقوں کا یہ انضمام گیمنگ سے لے کر دستاویزی تفہیم تک تخلیقی اور تجارتی ایپلی کیشنز کی ایک نئی نسل کو کھولتا ہے۔ لیکن ان نئی ایپلی کیشنز کو ایک ہی ماڈل میں کھولنے سے اسکیلنگ کے نئے چیلنجز کھلتے ہیں، جیسا کہ رچرڈ سوٹن کے "دی بیٹر لیسن" میں روشنی ڈالی گئی ہے، اور اسکیلنگ کے قوانین پر گزشتہ چند سالوں میں دلچسپ کام کیا گیا ہے۔ اس کو ممکن بنانے کے لیے، لیٹنٹ اسپیس جدید تحقیق پر کام کر رہی ہے تاکہ ان طریقوں کو ایک ہی ماڈل میں فیوز کیا جا سکے، بلکہ اس کی پیمائش اور اس کو مؤثر طریقے سے کیا جا سکے۔ یہ وہ جگہ ہے جہاں ماڈل کی ہم آہنگی آتی ہے۔

ایمیزون سیج میکرکی منفرد خودکار ماڈل پارٹیشننگ اور موثر پائپ لائننگ اپروچ نے انجینئرنگ کی بہت کم کوششوں سے ماڈل کی ہم آہنگی کو اپنانا ممکن بنایا، اور ہم نے اپنی ماڈلز کی تربیت کو 1 بلین پیرامیٹرز سے بڑھا دیا (ہم p4d.24xlarge A100 مثالیں۔)، جو ہمارے لیے ایک اہم ضرورت ہے۔ مزید برآں، ہم نے مشاہدہ کیا کہ جب 16 نوڈ، آٹھ GPU ٹریننگ سیٹ اپ کے ساتھ SageMaker ماڈل متوازی لائبریری کے ساتھ ٹریننگ کرتے ہیں، تو ہم نے اپنے سابقہ ​​ٹریننگ رنز کے مقابلے کارکردگی میں 38% بہتری ریکارڈ کی۔

بڑے پیمانے پر ٹرانسفارمرز کی تربیت کے ساتھ چیلنجز

لیٹنٹ اسپیس میں، ہم اربوں پیرامیٹرز کے ساتھ ٹرانسفارمر ماڈلز میں زبان اور وژن کو فیوز کر رہے ہیں تاکہ صارف کے تخیل سے "آؤٹ آف ڈسٹری بیوشن" کے استعمال کے معاملات کو سپورٹ کیا جا سکے یا یہ حقیقی دنیا میں ہو لیکن ہمارے تربیتی ڈیٹا میں نہیں۔ ہم اربوں پیرامیٹرز اور اس سے آگے کی پیمائش میں شامل چیلنجوں سے دو مختلف طریقوں سے نمٹ رہے ہیں:

معلومات کی بازیافت کی تکنیک طویل عرصے سے سرچ انجنوں اور QA کاموں کا کلیدی جزو رہی ہے۔ حال ہی میں، کلاسک IR تکنیکوں کو جدید ٹرانسفارمرز کے ساتھ ملا کر دلچسپ پیش رفت ہوئی ہے، خاص طور پر سوالوں کے جواب دینے کے کاموں کے لیے جہاں ایک ماڈل کو نیورل ریٹریور کے ساتھ مشترکہ طور پر تربیت دی جاتی ہے جو سوالات کے جوابات دینے میں مدد کے لیے متعلقہ دستاویزات کو بازیافت کرنا سیکھتا ہے۔ ایک جائزہ کے لیے، FAIR کا حالیہ کام دیکھیں بازیافت اگمینٹڈ جنریشن: ذہین قدرتی زبان پروسیسنگ ماڈلز کی تخلیق کو ہموار کرنا اور فیوژن ان ڈیکوڈرگوگل برین کا واقعی، اور Nvidia کی اعصابی بازیافت سوال کے جواب کے لیے۔

جب کہ بازیافت میں اضافہ شدہ تکنیک لاگت اور کارکردگی میں مدد کرتی ہے، ہم اب بھی اپنے سب سے بڑے ماڈل کے لیے ایک GPU پر ماڈل کو فٹ کرنے سے قاصر ہیں۔ اس کا مطلب یہ ہے کہ ہمیں اس کی تربیت کے لیے ماڈل متوازی استعمال کرنے کی ضرورت ہے۔ تاہم، ہمارے بازیافت کے فن تعمیر کی نوعیت کی وجہ سے، ہمارے ماڈل کی تقسیم کو ڈیزائن کرنا مشکل تھا کیونکہ تربیتی آدانوں میں بازیافت شدہ سیاق و سباق کے درمیان باہمی انحصار کی وجہ سے۔ مزید برآں، یہاں تک کہ اگر ہم اس بات کا تعین کرتے ہیں کہ ہم اپنے ماڈل کو کس طرح تقسیم کرتے ہیں، تو ماڈل کے متوازی کو متعارف کرانا ہمارے لیے اپنی تحقیق اور ترقی کے لائف سائیکل میں دستی طور پر انجام دینے کے لیے انجینئرنگ کا ایک اہم کام تھا۔

سیج میکر ماڈل متوازی لائبریری

ماڈل متوازی ایک ماڈل کو متعدد آلات یا نوڈس (جیسے GPU سے لیس مثالوں) کے درمیان تقسیم کرنے اور GPU کے استعمال کو زیادہ سے زیادہ کرنے کے لیے ان آلات میں ماڈل کو تربیت دینے کے لیے ایک موثر پائپ لائن بنانے کا عمل ہے۔ دی ماڈل متوازی لائبریری سیج میکر میں خودکار ماڈل اسپلٹنگ فراہم کرکے ماڈل کی ہم آہنگی کو مزید قابل رسائی بناتا ہے، جسے بھی کہا جاتا ہے خودکار ماڈل کی تقسیم اور جدید ترین پائپ لائن رن شیڈولنگ۔ ماڈل تقسیم کرنے والے الگورتھم رفتار یا میموری کی کھپت کے لیے بہتر کر سکتے ہیں۔ لائبریری ایک تقسیم کرنے والے الگورتھم کا استعمال کرتی ہے جو میموری کو متوازن کرتی ہے، آلات کے درمیان رابطے کو کم کرتی ہے، اور کارکردگی کو بہتر بناتی ہے۔

خودکار ماڈل پارٹیشننگ

ہمارے PyTorch کے استعمال کے کیس کے لیے، ماڈل متوازی لائبریری اندرونی طور پر ایک ٹریسنگ سٹیپ چلاتی ہے (پہلے ٹریننگ سٹیپ میں) جو ماڈل گراف کی تعمیر کرتی ہے اور ٹینسر اور پیرامیٹر کی شکلوں کا تعین کرتی ہے۔ اس کے بعد یہ ایک درخت بناتا ہے، جو گھونسلے پر مشتمل ہوتا ہے۔ nn.Module ماڈل میں موجود اشیاء، نیز ٹریسنگ سے اکٹھا کیا گیا اضافی ڈیٹا، جیسے ذخیرہ شدہ مقدار nn.Parametersاور ہر ایک کے لیے رن ٹائم nn.Module.

پھر لائبریری اس درخت کو جڑ سے عبور کرتی ہے اور ایک تقسیم کرنے والا الگورتھم چلاتی ہے جو کمپیوٹیشنل بوجھ اور میموری کے استعمال میں توازن رکھتا ہے، اور مثالوں کے درمیان رابطے کو کم کرتا ہے۔ اگر متعدد nn.Modules ایک ہی nn.Parameter کا اشتراک کرتے ہیں، تو یہ ماڈیول ایک ہی ڈیوائس پر رکھے جاتے ہیں تاکہ ایک ہی پیرامیٹر کے متعدد ورژنز کو برقرار رکھنے سے بچ سکیں۔ تقسیم کا فیصلہ ہونے کے بعد، تفویض کردہ ماڈیولز اور وزن ان کے آلات پر لوڈ کیے جاتے ہیں۔

پائپ لائن چلانے کا شیڈولنگ

SageMaker تقسیم شدہ ماڈل متوازی لائبریری کی ایک اور بنیادی خصوصیت ہے۔ پائپ لائن چلتا ہے، جو ماڈل ٹریننگ کے دوران اس ترتیب کا تعین کرتا ہے جس میں کمپیوٹیشن بنائے جاتے ہیں اور ڈیٹا پر آلات پر کارروائی کی جاتی ہے۔ پائپ لائننگ ایک چھوٹے بیچ کو مائیکرو بیچز میں تقسیم کرنے پر مبنی ہے، جو ایک ایک کرکے ٹریننگ پائپ لائن میں ڈالے جاتے ہیں اور لائبریری کے رن ٹائم کے ذریعہ بیان کردہ رن شیڈول کی پیروی کرتے ہیں۔

مائیکرو بیچ پائپ لائن اس بات کو یقینی بناتی ہے کہ تمام GPUs مکمل طور پر استعمال کیے گئے ہیں، جو کہ ہمیں اپنے آپ کو بنانا ہوگا، لیکن ماڈل متوازی لائبریری کے ساتھ یہ پردے کے پیچھے صاف طور پر ہوتا ہے۔ آخر میں، ہم استعمال کر سکتے ہیں ایمیزون ایف ایس ایکس، جو کہ اس بات کو یقینی بنانے کے لیے اہم ہے کہ ہماری پڑھنے کی رفتار تیز ہو جائے کیونکہ بازیافت کے ساتھ ملٹی موڈل ماڈل کی تربیت کے دوران پڑھی جانے والی فائلوں کی تعداد کے پیش نظر۔

فن تعمیر کی تربیت

درج ذیل خاکہ اس بات کی نمائندگی کرتا ہے کہ ہم اپنے تربیتی فن تعمیر کو کیسے ترتیب دیتے ہیں۔ ہمارا بنیادی مقصد تربیت کی رفتار کو بہتر بنانا اور اخراجات کو کم کرنا تھا۔ جس تصویر اور زبان کے ٹرانسفارمرز کو ہم تربیت دے رہے ہیں وہ انتہائی پیچیدہ ہیں، جس کے اندر تہوں اور وزنوں کی نمایاں طور پر بڑی تعداد ہے، جو اربوں پیرامیٹرز تک چلتی ہیں، یہ سب انہیں کسی ایک نوڈ کی یادداشت میں فٹ کرنے سے قاصر ہیں۔ ہر نوڈ ماڈل کا ایک ذیلی سیٹ رکھتا ہے، جس کے ذریعے ڈیٹا بہتا ہے اور تبدیلیاں مشترکہ اور مرتب کی جاتی ہیں۔ ہم 16 ترتیب دیتے ہیں۔ p4d.24xlarge مندرجہ ذیل فن تعمیر کی نمائندگی کا استعمال کرتے ہوئے آٹھ GPUs کے ساتھ ہر ایک مثال:

جیسا کہ ہم اپنے ماڈلز کو بڑھاتے ہیں، ایک عام رجحان یہ ہے کہ نیٹ ورک کے وزن میں ہر چیز کو محفوظ کیا جائے۔ تاہم، عملی مقاصد کے لیے، ہم رینڈرنگ کے کام میں مدد کے لیے متعلقہ سیاق و سباق کو تلاش کرنے کا طریقہ سیکھنے کے لیے اپنے ماڈلز کو بڑھانا چاہتے ہیں۔ یہ ہمیں تصویر کے معیار پر سمجھوتہ کیے بغیر اپنی سرونگ کے اخراجات کو کم رکھنے کے قابل بناتا ہے۔ ہم ایک بڑے ٹرانسفارمر پر مبنی NLP ماڈل کا استعمال کرتے ہیں اور جیسا کہ پہلے ذکر کیا گیا ہے، ہم نے SageMaker ماڈل متوازی لائبریری کے ساتھ تربیت کی کارکردگی میں 38 فیصد اضافہ دیکھا ہے جیسا کہ درج ذیل سے دکھایا گیا ہے:

  • ہمیں ٹینسر لیول کے متوازی کے معاملے میں ہر حساب کے لیے ایک تمام کمی کی ضرورت ہے۔ یہ O(log_2 n) متوازی اقدامات کرتا ہے۔ یعنی n مشینیں O(n) قدم اٹھاتی ہیں، O(n log_2 n) کل آپریشنز کے لیے۔
  • پائپ لائن کے متوازی کے لیے، ہمیں پائپ لائن کے نیچے ڈیٹا منتقل کرنے کے لیے O(1) متوازی اقدامات کی ضرورت ہوتی ہے۔
  • آٹھ GPUs والی 16 مشینوں کو دیکھتے ہوئے، ہمارے پاس پائپ لائن کے متوازی کے لیے O(1) لاگت ہے، اور O(log_2(8)) = O(3) گہرائی کے لحاظ سے ماڈل کے متوازی لاگت ہے۔
  • اس صورت میں، ہم دیکھتے ہیں کہ پائپ لائن کے متوازی پر سوئچ کرنے سے نیٹ ورک کی لاگت 1/3 تک کم ہو جاتی ہے جسے ہم SageMaker ماڈل کے متوازی کے ساتھ استعمال کرتے ہیں، اور تربیت کی مجموعی لاگت 1/2 + 1/2 * 1/log_2(16) تک کم ہو جاتی ہے۔ ) = اصل لاگت کا 0.625 جس سے متعلقہ کارکردگی میں بہتری آتی ہے۔

عام طور پر، جب ضرورت کے مطابق تربیت کی تقسیم کی ضرورت ہوتی ہے (ماڈل کے سائز یا ٹریننگ کے ڈیٹا سے متعلق مسائل)، تو ہم یہ تعین کرنے کے لیے بہترین طریقوں کے ایک سیٹ پر عمل کر سکتے ہیں کہ کون سا طریقہ بہترین کام کرتا ہے۔

تقسیم شدہ تربیت کے لیے بہترین طریقے

ہمارے تجربے کی بنیاد پر، ہم ایک تقسیم شدہ ڈیٹا کے متوازی نقطہ نظر سے شروع کرنے کا مشورہ دیتے ہیں۔ تقسیم شدہ ڈیٹا متوازی جیسے سیج میکر نے ڈیٹا متوازی لائبریری تقسیم کی۔ نیٹ ورکنگ کے زیادہ تر مسائل کو ماڈل ریپلیکس کے ساتھ حل کرتا ہے، لہذا آپ کو ماڈلز کو نوڈس کی سب سے چھوٹی تعداد میں فٹ کرنا چاہیے، پھر ضرورت کے مطابق بیچ سائز کو اسکیل کرنے کے لیے نقل تیار کریں۔

اگر تربیت کے دوران آپ کی یادداشت ختم ہو جاتی ہے، جیسا کہ ہم نے اس منظر نامے میں کیا تھا، تو ہو سکتا ہے آپ ماڈل کے متوازی نقطہ نظر کو تبدیل کرنا چاہیں۔ تاہم، ماڈل کی متوازی تربیت کو آزمانے سے پہلے ان متبادلات پر غور کریں:

  • NVIDIA ٹینسر کور سے لیس ہارڈ ویئر پر، استعمال کریں۔ مخلوط صحت سے متعلق تربیت رفتار پیدا کرنے اور میموری کی کھپت کو کم کرنے کے لیے۔
  • بیچ کا سائز کم کریں (یا اگر ممکن ہو تو تصویر کی ریزولوشن یا NLP ترتیب کی لمبائی کو کم کریں)۔

مزید برآں، ہم ایسے ماڈل ڈیزائنوں کو ترجیح دیتے ہیں جن میں بیچ نارملائزیشن نہ ہو جیسا کہ بیان کیا گیا ہے۔ معمول کے بغیر اعلی کارکردگی کے بڑے پیمانے پر تصویر کی شناخت. اگر اس سے گریز نہیں کیا جا سکتا، تو یقینی بنائیں کہ بیچ نارملائزیشن تمام آلات پر مطابقت پذیر ہے۔ جب آپ تقسیم شدہ تربیت کا استعمال کرتے ہیں، تو آپ کا بیچ GPUs میں تقسیم ہو جاتا ہے، لہذا بیچ کے درست اعدادوشمار کے لیے تمام آلات پر مطابقت پذیری کی ضرورت ہوتی ہے۔ اس کے بغیر، نارملائزیشن میں خرابی بڑھ جائے گی اور اس طرح ہم آہنگی کو نقصان پہنچے گا۔

جب آپ کے پاس درج ذیل رکاوٹیں ہوں تو ماڈل متوازی تربیت کے ساتھ شروع کریں:

  • آپ کا ماڈل کسی ایک ڈیوائس پر فٹ نہیں ہوتا ہے۔
  • آپ کے ماڈل کے سائز کی وجہ سے، آپ کو بڑے بیچ سائز کو منتخب کرنے میں محدودیت کا سامنا کرنا پڑ رہا ہے، جیسے کہ اگر آپ کے ماڈل کا وزن آپ کی GPU میموری کا زیادہ تر حصہ لے لیتا ہے اور آپ کو ایک چھوٹا، سب سے بہتر بیچ سائز منتخب کرنے پر مجبور کیا جاتا ہے۔

کارکردگی کو بہتر بناتے وقت، درج ذیل کام کریں:

  • تاخیر کو کم کرنے اور تھرو پٹ بڑھانے کے لیے انٹر نوڈ کمیونیکیشنز کے لیے پائپ لائننگ کا استعمال کریں۔
  • کسی بھی بلبلے کو کم سے کم کرنے کے لیے پائپ لائنوں کو جتنا ممکن ہو چھوٹا رکھیں۔ مائیکرو بیچز کی تعداد کو بلبلے کے سائز کے ساتھ کمپیوٹیشنل کارکردگی کو متوازن کرنے کے لیے ٹیون کیا جانا چاہیے اور پائپ لائن کی لمبائی کم از کم ہونی چاہیے۔ اگر ضرورت ہو تو آپ ٹوکن کی سطح پر مائیکرو بیچس بنا سکتے ہیں جیسا کہ میں بیان کیا گیا ہے۔ TeraPipe: بڑے پیمانے پر لینگویج ماڈلز کی تربیت کے لیے ٹوکن لیول پائپ لائن متوازی

لاگت کو بہتر بناتے وقت، تربیت کے لیے SageMaker کے زیر انتظام اسپاٹ انسٹینسز کا استعمال کریں۔ یہ آن ڈیمانڈ مثالوں کے مقابلے میں 90% تک ٹریننگ ماڈلز کی لاگت کو بہتر بنا سکتا ہے۔ SageMaker آپ کی طرف سے اسپاٹ رکاوٹوں کا انتظام کرتا ہے۔

غور کرنے کے لئے دیگر عوامل:

  • ایک نوڈ کے اندر جب تیز آپس میں رابطہ ہوتا ہے تو یہ زیادہ اہم ہوتا ہے۔ اگر انٹرا نوڈ نیٹ ورک کی کافی گنجائش ہے تو، زیادہ بہتر کمپیوٹ کے لیے ڈیٹا میں ردوبدل کا فائدہ ہو سکتا ہے۔
  • اگر ایکٹیویشنز وزن کے ٹینسر سے بہت زیادہ ہیں، تو ایک شارڈڈ آپٹیمائزر بھی مدد کر سکتا ہے۔ براے مہربانی رجوع کریں زیرو مزید تفصیلات کے لئے.

مندرجہ ذیل جدول کچھ عام ٹریننگ اسکیل اپ منظرنامے فراہم کرتا ہے اور یہ کہ آپ انہیں AWS پر کیسے ترتیب دے سکتے ہیں۔

منظر نامے یہ کب لاگو ہوتا ہے؟ حل
ایک واحد GPU سے کئی GPUs تک اسکیلنگ جب ٹریننگ ڈیٹا کی مقدار یا ماڈل کا سائز بہت بڑا ہو۔ ایک کثیر GPU مثال میں تبدیل کریں جیسے p3.16xlarge، جس میں آٹھ GPUs ہیں، ڈیٹا اور پروسیسنگ کو آٹھ GPUs میں تقسیم کرنے کے ساتھ، اور آپ کے ماڈل کو تربیت دینے میں لگنے والے وقت میں قریب لکیری رفتار پیدا کرنا۔
ایک مثال سے متعدد مثالوں تک اسکیلنگ جب اسکیلنگ کی ضرورت مثال کے سائز کو تبدیل کرنے سے آگے بڑھ جاتی ہے۔ اپنے instance_type کو p3.16xlarge اور instance_count کو 2 پر سیٹ کرکے SageMaker Python SDK کے تخمینہ کار فنکشن کے ساتھ مثالوں کی تعداد کو پیمانہ کریں۔ ایک p3.16xlarge پر آٹھ GPUs کے بجائے، آپ کے پاس دو ایک جیسی مثالوں میں 16 GPUs ہیں۔ کے استعمال پر غور کریں۔ سیج میکر نے ڈیٹا متوازی لائبریری تقسیم کی۔.
تربیت کے لیے ایک ماڈل متوازی نقطہ نظر کا انتخاب جب تربیت کے دوران میموری کی خرابیوں کا سامنا کرنا پڑتا ہے۔ کا استعمال کرتے ہوئے ماڈل کے متوازی نقطہ نظر پر جائیں۔ سیج میکر نے ماڈل متوازی لائبریری تقسیم کی۔.
انٹر نوڈ مواصلات کے لیے نیٹ ورک کی کارکردگی متعدد مثالوں کے ساتھ تقسیم شدہ تربیت کے لیے (مثال کے طور پر، AllReduce آپریشن کرتے وقت کلسٹر میں نوڈس کے درمیان مواصلت) آپ کی مثالیں ایک ہی علاقے اور ایک ہی دستیابی زون میں ہونی چاہئیں۔ جب آپ SageMaker Python SDK استعمال کرتے ہیں، تو یہ آپ کے لیے ہینڈل کیا جاتا ہے۔ آپ کا تربیتی ڈیٹا بھی اسی Availability Zone میں ہونا چاہیے۔ کے استعمال پر غور کریں۔ سیج میکر نے ڈیٹا متوازی لائبریری تقسیم کی۔.
آپٹمائزڈ GPU، نیٹ ورک، اور اسٹوریج بڑے پیمانے پر تقسیم شدہ تربیتی ضروریات کے لیے p4d.24xlarge مثال کی قسم کو تیز رفتار مقامی اسٹوریج اور 400 گیگا بٹس تک کے ایک تیز نیٹ ورک بیک پلین کے لیے ڈیزائن کیا گیا تھا، اور ہم اسے تقسیم شدہ تربیت کے لیے سب سے زیادہ پرفارمنس اختیار کے طور پر تجویز کرتے ہیں۔

نتیجہ

SageMaker میں ماڈل متوازی لائبریری کے ساتھ، ہمیں بہت سارے فوائد حاصل ہوتے ہیں، جیسے کہ خودکار ماڈل پارٹیشننگ اور موثر پائپ لائننگ۔ اس پوسٹ میں، ہم نے اپنے ML استعمال کے معاملے، مختلف تربیتی طریقوں پر اپنے خیالات، اور اپنی تربیت کو تیز کرنے کے لیے ہم نے Amazon SageMaker ماڈل متوازی لائبریری کو کس طرح استعمال کیا۔ سب سے اچھی بات، یہاں بیان کردہ ماڈل کی ہم آہنگی اور کارکردگی میں بہتری کے لیے بہترین طریقوں کو اپنانے میں اب صرف چند گھنٹے لگ سکتے ہیں۔ اگر یہ پوسٹ آپ کی مدد کرتی ہے یا آپ کو کسی مسئلے کو حل کرنے کی ترغیب دیتی ہے، تو ہم اس کے بارے میں سننا پسند کریں گے! براہ کرم اپنے تبصرے اور آراء کا اشتراک کریں۔

حوالہ جات

مزید معلومات کے لیے، براہ کرم درج ذیل دیکھیں:


مصنفین کے بارے میں

پریم رنگا اٹلانٹا، GA سے باہر کی بنیاد پر ایک انٹرپرائز سلوشنز آرکیٹیکٹ ہے۔ وہ مشین لرننگ ٹیکنیکل فیلڈ کمیونٹی کا حصہ ہے اور گاہکوں کے ساتھ ان کے ML اور AI سفر پر کام کرنا پسند کرتا ہے۔ پریم روبوٹکس کے بارے میں پرجوش ہے، ایک خود مختار گاڑیوں کا محقق ہے، اور اس نے ہیوسٹن اور دیگر مقامات پر الیکسا کے زیر کنٹرول بیئر پورس بھی بنائے ہیں۔

سارہ جین ہانگ لیٹینٹ اسپیس کے شریک بانی اور چیف سائنس آفیسر ہیں۔ اس کا پس منظر انسانی کمپیوٹر کے تعامل اور مشین لرننگ کے سنگم پر ہے۔ اس نے پہلے سونار (مارچیکس کے ذریعہ حاصل کردہ) میں NLP تحقیق کی قیادت کی، جو بات چیت کے AI اسپیس میں کاروبار کی خدمت کرتی ہے۔ وہ ایک معزز AR/VR ڈویلپر بھی ہیں، جس نے Oculus، Mozilla Mixed Reality، اور Microsoft Hololens سے ایوارڈز اور فیلو شپس حاصل کیں۔

ڈیرل برن ہارٹ لیٹنٹ اسپیس میں شریک بانی اور چیف ٹیکنالوجی آفیسر ہیں۔ وہ ایک تجربہ کار ڈویلپر ہے جس کے پاس GPU ایکسلریشن، کمپیوٹر گرافکس، بڑے پیمانے پر ڈیٹا، اور مشین لرننگ کا تجربہ ہے۔ دوسرے جذبوں میں ریاضی، کھیل کی ترقی، اور معلومات کا مطالعہ شامل ہیں۔

ایان تھامسن لیٹنٹ اسپیس کے بانی اور سی ای او ہیں۔ ایان ایک انجینئر اور محقق ہے جو "ملحقہ ممکن" سے متاثر ہے — ہماری زندگیوں پر بہت بڑا اثر ڈالنے والی ٹیکنالوجیز۔ فی الحال محفوظ اور تخلیقی AI بنانے میں مدد کے لیے ملٹی موڈل نمائندگی کی تعلیم کو آسان بنانے اور اسکیلنگ پر توجہ مرکوز کی گئی ہے۔ اس نے پہلے گرافکس/ورچوئل رئیلٹی (AltspaceVR، Microsoft کی طرف سے حاصل کردہ) اور تعلیم/NLP (HSE) میں کمپنیاں بنانے میں مدد کی تھی۔

ماخذ: https://aws.amazon.com/blogs/machine-learning/how-latent-space-used-the-amazon-sagemaker-model-parallelism-library-to-push-the-frontiers-of-large- اسکیل ٹرانسفارمرز/

ٹائم اسٹیمپ:

سے زیادہ AWS مشین لرننگ بلاگ