آموزش صفر شات، توضیح داده شد

بازنشر افلاطون

دنبال: 0

آموزش صفر شات، توضیح داده شد
بروس وارینگتون از طریق Unsplash

دلیل اینکه مدل‌های یادگیری ماشین به طور کلی هوشمندتر می‌شوند به دلیل وابستگی آنها به استفاده از داده‌های برچسب‌گذاری شده برای کمک به تشخیص بین دو شی مشابه است.

با این حال، بدون این مجموعه داده‌های برچسب‌گذاری‌شده، هنگام ایجاد مؤثرترین و قابل اعتمادترین مدل یادگیری ماشینی، با موانع بزرگی روبرو خواهید شد. مجموعه داده های برچسب گذاری شده در مرحله آموزش یک مدل مهم هستند.

یادگیری عمیق به طور گسترده برای حل وظایفی مانند بینایی کامپیوتری با استفاده از یادگیری نظارت شده استفاده شده است. با این حال، مانند بسیاری از چیزها در زندگی، با محدودیت هایی همراه است. طبقه‌بندی نظارت شده به کمیت و کیفیت بالای داده‌های آموزشی برچسب‌گذاری شده برای تولید یک مدل قوی نیاز دارد. این بدان معناست که مدل طبقه‌بندی نمی‌تواند کلاس‌های دیده نشده را مدیریت کند.

و همه ما می دانیم که برای آموزش یک مدل یادگیری عمیق چقدر قدرت محاسباتی، آموزش مجدد، زمان و هزینه لازم است.

اما آیا یک مدل همچنان می تواند بدون استفاده از داده های آموزشی بین دو شیء تشخیص دهد؟ بله، به آن یادگیری شات صفر می گویند. یادگیری صفر شات توانایی یک مدل برای تکمیل یک کار بدون دریافت یا استفاده از هیچ نمونه آموزشی است.

انسان ها به طور طبیعی بدون نیاز به تلاش زیاد، قادر به یادگیری صفر شات هستند. مغز ما از قبل فرهنگ لغت ها را ذخیره می کند و به ما اجازه می دهد تا اشیا را با نگاه کردن به ویژگی های فیزیکی آن ها به دلیل پایگاه دانش فعلی خود متمایز کنیم. ما می توانیم از این پایگاه دانش برای مشاهده شباهت ها و تفاوت های بین اشیاء و یافتن پیوند بین آنها استفاده کنیم.

به عنوان مثال، فرض کنید در حال تلاش برای ساخت یک مدل طبقه بندی بر روی گونه های جانوری هستیم. مطابق با OurWorldInDataدر سال 2.13، 2021 میلیون گونه محاسبه شده است. بنابراین، اگر بخواهیم مؤثرترین مدل طبقه بندی را برای گونه های جانوری ایجاد کنیم، به 2.13 میلیون کلاس مختلف نیاز داریم. همچنین داده های زیادی مورد نیاز خواهد بود. به سختی می توان به داده های کمیت و کیفیت بالا دست یافت.

بنابراین چگونه یادگیری شات صفر این مشکل را حل می کند؟

از آنجایی که یادگیری صفر شات نیازی به یادگیری مدل داده های آموزشی و نحوه طبقه بندی کلاس ها ندارد، به ما این امکان را می دهد که کمتر به نیاز مدل به داده های برچسب دار تکیه کنیم.

برای ادامه یادگیری صفر شات، داده های شما باید شامل موارد زیر باشد.

کلاس های دیده شده

این شامل کلاس‌های داده‌ای است که قبلاً برای آموزش یک مدل استفاده شده‌اند.

کلاس های دیده نشده

این شامل کلاس‌های داده‌ای است که برای آموزش یک مدل استفاده نشده‌اند و مدل یادگیری صفر شات جدید تعمیم خواهد یافت.

اطلاعات کمکی

از آنجایی که داده‌های کلاس‌های دیده نشده برچسب‌گذاری نمی‌شوند، یادگیری صفر شات به اطلاعات کمکی برای یادگیری و یافتن همبستگی‌ها، پیوندها و ویژگی‌ها نیاز دارد. این می تواند در قالب جاسازی کلمات، توضیحات و اطلاعات معنایی باشد.

روش های یادگیری صفر شات

یادگیری شات صفر معمولاً در موارد زیر استفاده می شود:

روش های مبتنی بر طبقه بندی
روش های مبتنی بر نمونه

کارآموزی

یادگیری صفر شات برای ساخت مدل هایی برای کلاس هایی استفاده می شود که با استفاده از داده های برچسب دار آموزش نمی بینند، بنابراین به این دو مرحله نیاز دارد:

1. آموزش

مرحله آموزش فرآیند روش یادگیری است که تلاش می کند تا حد ممکن دانش را در مورد کیفیت داده ها به دست آورد. ما می توانیم این را به عنوان مرحله یادگیری در نظر بگیریم.

2. استنباط

در مرحله استنتاج، تمام دانش آموخته شده از مرحله آموزش به کار گرفته می شود و به منظور طبقه بندی نمونه ها در یک مجموعه جدید از کلاس ها استفاده می شود. ما می توانیم این مرحله را به عنوان مرحله پیش بینی در نظر بگیریم.

چگونه کار می کند؟

دانش از کلاس های دیده شده در یک فضای برداری با ابعاد بالا به کلاس های دیده نشده منتقل می شود. به این فضای معنایی می گویند. به عنوان مثال، در طبقه بندی تصویر، فضای معنایی همراه با تصویر دو مرحله را طی می کند:

1. فضای تعبیه مشترک

اینجاست که بردارهای معنایی و بردارهای ویژگی بصری به نمایش گذاشته می شوند.

2. بیشترین شباهت

اینجاست که ویژگی‌ها با ویژگی‌های یک کلاس نادیده مطابقت می‌کنند.

برای کمک به درک فرآیند با دو مرحله (آموزش و استنتاج)، بیایید آنها را در استفاده از طبقه بندی تصویر اعمال کنیم.

آموزش

آموزش صفر شات، توضیح داده شد
یاری هیتونن از طریق Unsplash

به عنوان یک انسان، اگر بخواهید متن سمت راست در تصویر بالا را بخوانید، فوراً فرض می کنید که 4 بچه گربه در یک سبد قهوه ای وجود دارد. اما بیایید بگوییم که شما نمی دانید "گربه" چیست. شما فرض می کنید که یک سبد قهوه ای با 4 چیز در داخل وجود دارد که به آنها "گربه ها" می گویند. هنگامی که به تصاویر بیشتری برخورد کردید که حاوی چیزی شبیه یک بچه گربه است، می توانید یک بچه گربه را از سایر حیوانات متمایز کنید.

این چیزی است که هنگام استفاده اتفاق می افتد پیش آموزش زبان متضاد-تصویر (CLIP) توسط OpenAI برای یادگیری صفر شات در طبقه بندی تصاویر. به عنوان اطلاعات کمکی شناخته می شود.

ممکن است فکر کنید، "خب این فقط داده های برچسب گذاری شده است". من درک می کنم که چرا شما چنین فکر می کنید، اما آنها اینطور نیستند. اطلاعات کمکی برچسب داده ها نیستند، آنها نوعی نظارت هستند تا به مدل در یادگیری در مرحله آموزش کمک کنند.

وقتی یک مدل یادگیری صفر شات مقدار کافی جفت تصویر-متن را ببیند، قادر خواهد بود عبارات و نحوه ارتباط آنها با الگوهای خاص در تصاویر را متمایز و درک کند. با استفاده از تکنیک CLIP "یادگیری متضاد"، مدل یادگیری صفر شات توانسته است پایگاه دانش خوبی را جمع آوری کند تا بتواند روی وظایف طبقه بندی پیش بینی کند.

این خلاصه‌ای از رویکرد CLIP است که در آن یک رمزگذار تصویر و یک رمزگذار متن را با هم آموزش می‌دهند تا جفت‌های صحیح یک دسته از نمونه‌های آموزشی (تصویر، متن) را پیش‌بینی کنند. لطفا تصویر زیر را ببینید:

آموزش صفر شات، توضیح داده شد
یادگیری مدل های بصری قابل انتقال از نظارت زبان طبیعی

استنباط

زمانی که مدل مرحله آموزش را طی کرد، پایگاه دانش خوبی از جفت‌سازی تصویر-متن دارد و اکنون می‌توان از آن برای پیش‌بینی استفاده کرد. اما قبل از اینکه بتوانیم درست پیش‌بینی کنیم، باید با ایجاد فهرستی از تمام برچسب‌های ممکن که مدل می‌تواند خروجی دهد، وظیفه طبقه‌بندی را تنظیم کنیم.

به عنوان مثال، با رعایت تکلیف طبقه‌بندی تصاویر در مورد گونه‌های جانوری، به فهرستی از همه گونه‌های حیوانات نیاز داریم. هر یک از این برچسب ها کدگذاری می شوند، T? به T با استفاده از رمزگذار متن از پیش آموزش دیده که در مرحله آموزش رخ داده است.

هنگامی که برچسب ها کدگذاری شدند، می توانیم تصاویر را از طریق رمزگذار تصویر از قبل آموزش دیده وارد کنیم. ما از شباهت کسینوس متریک فاصله برای محاسبه شباهت بین رمزگذاری تصویر و هر کدگذاری برچسب متنی استفاده خواهیم کرد.

طبقه بندی تصویر بر اساس برچسب با بیشترین شباهت به تصویر انجام می شود. و به این ترتیب است که یادگیری صفر شات، به ویژه در طبقه بندی تصاویر، به دست می آید.

کمبود داده

همانطور که قبلا ذکر شد، داده های کمیت و کیفیت بالا به سختی به دست شما می رسد. برخلاف انسان‌هایی که قبلاً توانایی یادگیری شات صفر را دارند، ماشین‌ها برای یادگیری به داده‌های برچسب‌گذاری شده ورودی نیاز دارند و سپس می‌توانند با واریانس‌هایی که ممکن است به طور طبیعی رخ دهد تطبیق دهند.

اگر به نمونه گونه های حیوانی نگاه کنیم، تعداد آنها بسیار زیاد است. و از آنجایی که تعداد دسته‌ها در حوزه‌های مختلف همچنان در حال رشد است، برای همگام شدن با جمع‌آوری داده‌های حاشیه‌نویسی، کار زیادی لازم است.

به همین دلیل، یادگیری صفر شات برای ما ارزشمندتر شده است. بیشتر و بیشتر محققان علاقه مند به شناسایی ویژگی های خودکار برای جبران کمبود داده های موجود هستند.

برچسب گذاری داده ها

یکی دیگر از مزایای یادگیری صفر شات، ویژگی های برچسب گذاری داده ها است. برچسب‌گذاری داده‌ها می‌تواند کار فشرده و بسیار خسته‌کننده باشد و به همین دلیل می‌تواند منجر به خطا در طول فرآیند شود. برچسب‌گذاری داده‌ها به متخصصانی نیاز دارد، مانند متخصصان پزشکی که روی یک مجموعه داده‌های زیست پزشکی کار می‌کنند، که بسیار گران و زمان‌بر است.

یادگیری صفر شات به دلیل محدودیت های داده در بالا محبوبیت بیشتری پیدا می کند. چند مقاله وجود دارد که توصیه می کنم اگر به توانایی های آن علاقه دارید بخوانید:

نیشا آریا دانشمند داده و نویسنده فنی آزاد است. او به ویژه علاقه مند به ارائه مشاوره شغلی یا آموزش های علم داده و دانش مبتنی بر نظریه در مورد علم داده است. او همچنین مایل است راه‌های مختلفی را که هوش مصنوعی می‌تواند به طول عمر انسان کمک کند، کشف کند. یک یادگیرنده مشتاق که به دنبال گسترش دانش فنی و مهارت های نوشتاری خود است و در عین حال به راهنمایی دیگران کمک می کند.