توصیه‌کنندگان هوش مصنوعی با بزرگ‌تر شدن بهتر می‌شوند. چندین مدل قبلاً با میلیاردها پارامتر تا حتی تریلیون اخیراً منتشر شده است. هر جهش در ظرفیت مدل باعث بهبود قابل توجه کیفیت شده است. دوران 100 تریلیون پارامتر نزدیک است.
شبکه عصبی استراحت پیچیده و متراکم با بیش از 100 TFLOP در هر تکرار آموزشی به طور فزاینده‌ای محاسبات فشرده است. بنابراین، داشتن مکانیزم پیچیده برای مدیریت یک خوشه با منابع ناهمگن برای چنین وظایف آموزشی مهم است.
اخیراً، آزمایشگاه هوش مصنوعی کوای سیاتل و آزمایشگاه DS3 از ETH زوریخ برای پیشنهاد یک سیستم جدید به نام «پرشیا» برای مقابله با این مشکل از طریق طراحی مشترک دقیق الگوریتم آموزشی و سیستم آموزشی، همکاری کرده‌اند. در سطح الگوریتم، پرشیا از یک الگوریتم آموزشی ترکیبی استفاده می‌کند تا لایه‌های تعبیه‌شده و ماژول‌های شبکه عصبی متراکم را به‌طور متفاوتی مدیریت کند. لایه جاسازی به صورت ناهمزمان آموزش داده می شود تا توان عملیاتی نمونه های آموزشی را بهبود بخشد، در حالی که شبکه عصبی بقیه به طور همزمان برای حفظ کارایی آماری آموزش داده می شود. در سطح سیستم، طیف گسترده‌ای از بهینه‌سازی‌های سیستم برای مدیریت حافظه و کاهش ارتباطات پیاده‌سازی شده‌اند تا پتانسیل کامل الگوریتم ترکیبی را آزاد کنند.
منابع ابری برای مدل‌های 100 تریلیون پارامتری هوش مصنوعی
حجم کاری هوش مصنوعی 100 تریلیون پارامتر Persia بر روی منابع ناهمگن زیر اجرا می شود:
3,000 هسته ماشین های مجازی محاسباتی فشرده
8 ماشین مجازی A2 که در مجموع 64 پردازنده گرافیکی A100 Nvidia اضافه می کند
30 ماشین مجازی با حافظه بالا، هر کدام با 12 ترابایت رم، مجموعا 360 ترابایت
ارکستراسیون با Kubernetes
همه منابع باید به طور همزمان در همان منطقه راه اندازی می شدند تا تاخیر شبکه به حداقل برسد. Google Cloud توانست ظرفیت مورد نیاز را با اطلاع کمی فراهم کند.
آموزش هوش مصنوعی به منابع نیاز دارد.
Google Kubernetes Engine (GKE) برای سازماندهی استقرار 138 ماشین مجازی و کانتینر نرم افزار استفاده شد. محفظه کردن حجم کار همچنین امکان انتقال و تکرارپذیری آموزش را فراهم می کند.
نتایج و نتیجه گیری
این تیم با پشتیبانی از زیرساخت Google Cloud، مقیاس پذیری Persia را تا 100 تریلیون پارامتر نشان داد. الگوریتم آموزشی توزیع‌شده ترکیبی، آرامش‌های سیستم پیچیده‌ای را برای استفاده مؤثر از خوشه‌های ناهمگن معرفی کرد، در حالی که به سرعت SGD وانیلی همگرا می‌شد. Google Cloud برای غلبه بر محدودیت‌های سخت‌افزار داخلی ضروری بود و یک محیط محاسباتی بهینه را برای آموزش یادگیری ماشینی توزیع شده در مقیاس وسیع به اثبات رساند.
Persia به‌عنوان یک پروژه منبع باز در github با دستورالعمل‌های راه‌اندازی برای Google Cloud منتشر شده است - آموزش مدل‌های توصیه‌گر یادگیری عمیق برای هرکسی از دانشگاه و صنعت آسان است.
برایان وانگ یک اندیشمند آینده نگر و یک وبلاگ نویس محبوب علم با 1 میلیون خواننده در ماه است. وبلاگ وی Nextbigfuture.com در رتبه 1 وبلاگ اخبار علم قرار دارد. این شامل بسیاری از فن آوری ها و روندهای مخرب از جمله فضا ، روباتیک ، هوش مصنوعی ، پزشکی ، بیوتکنولوژی ضد پیری و نانوتکنولوژی است.
او که به دلیل شناسایی فناوری های پیشرفته شهرت دارد ، در حال حاضر یکی از بنیانگذاران یک استارتاپ و جمع آوری کمک های مالی برای شرکت های بالقوه در مراحل اولیه است. او رئیس تحقیقات تخصیص سرمایه گذاری در فناوری عمیق و سرمایه گذار فرشته در Space Angels است.
او یک سخنران مکرر در شرکتها بوده است ، او سخنران TEDx ، سخنران دانشگاه Singularity و مهمان مصاحبه های متعدد برای رادیو و پادکست بوده است. او برای مشارکت عمومی و مشاوره مشارکت دارد.
