BERT ٹوکنائزر کے لیے ایک وضاحتی گائیڈ

اگر آپ نے BERT کے اصل کاغذ کو دیکھا ہے تو آپ نے اوپر کی تصویر ضرور دیکھی ہوگی۔ اگر آپ ایسا نہیں کرتے ہیں، تو فکر نہ کریں ہم یہاں ہر چیز کو دریافت کرنے کے لیے موجود ہیں۔ BERT میں ہمیں سائنوسائیڈل پوزیشنل انکوڈنگ دینے کی ضرورت نہیں ہے، ماڈل خود ٹریننگ کے مرحلے کے دوران پوزیشنل ایمبیڈنگ سیکھتا ہے، اسی وجہ سے آپ کو ٹرانسفارمرز کی ڈیفالٹ لائبریری میں پوزیشنل ایمبیڈنگ نہیں ملے گی۔ BERT نے ورڈ پیس ٹوکنائزر تصور کو استعمال کرنے کا ہوشیار خیال پیش کیا جو کچھ الفاظ کو ذیلی الفاظ میں توڑنے کے سوا کچھ نہیں ہے۔ مثال کے طور پر اوپر کی تصویر میں 'sleeping' لفظ کو 'sleep' اور '##ing' میں ٹوکنائز کیا گیا ہے۔ یہ خیال نامعلوم الفاظ کو کچھ معلوم الفاظ میں توڑنے میں کئی بار مدد کر سکتا ہے۔ اگر میں معلوم الفاظ کہہ رہا ہوں تو میرا مطلب وہ الفاظ ہیں جو ہماری لغت میں ہیں۔ ہم اسے بعد میں ایک حقیقی دنیا کی مثال کے ساتھ دیکھیں گے۔

برٹ ٹوکنائزر ٹرانسفارمرز لائبریری میں

اس مقام سے، ہم Hugging-face tokenizer لائبریری کے ساتھ مذکورہ بالا تمام ایمبیڈنگ کو دریافت کرنے جا رہے ہیں۔ اگر آپ ٹوکنائزر فائلیں مقامی طور پر اپنی مشین پر ڈاؤن لوڈ کرنا چاہتے ہیں تو جائیں۔ https://huggingface.co/bert-base-uncased/tree/main اور یہاں سے vocab.txt اور config فائلیں ڈاؤن لوڈ کریں۔ پائپ کا استعمال کرتے ہوئے ٹرانسفارمرز لائبریری کو انسٹال کریں۔

ٹرانسفارمرز سے درآمد کریں BertTokenizer tokenizer = BertTokenizer.from_pretrained(//path to tokenizers) نمونہ = 'دنیا کے نقشے میں ہمالیہ کہاں ہے؟' encoding = tokenizer.encode(نمونہ) پرنٹ(انکوڈنگ) پرنٹ(tokenizer.convert_ids_to_tokens(encoding))آؤٹ پٹ 1: [101، 2073، 2003، 26779، 1999، 1996، 2088، 4949، 1029، 102] آؤٹ پٹ 2: ['[CLS]'، 'جہاں'، 'ہے'، 'ہمالیہ'، 'ان'، 'دی'، 'دنیا'، 'نقشہ'، '؟'، '[SEP]']

مندرجہ بالا کوڈ میں ہم نے صرف انکوڈ فنکشن کا نام دیا ہے اور آؤٹ پٹ 1 میں ہمیں جو کچھ ملتا ہے وہ vocab فائل سے ان پٹ ٹوکنز کا انڈیکس ہے اور output2 ریورس ہے، input_ids کا انسانی پڑھنے کے قابل ٹوکن۔ ان پٹ ٹوکن کے علاوہ ہمیں 2 خصوصی ٹوکن بھی ملے '[CLS]' اور '[SEP]'۔ BERT ماڈل کو اس طرح ڈیزائن کیا گیا ہے کہ جملہ [CLS] ٹوکن سے شروع ہو اور [SEP] ٹوکن پر ختم ہو۔ اگر ہم سوال جواب دینے یا زبان کے ترجمے پر کام کر رہے ہیں تو ہمیں علیحدگی کے لیے دو جملوں کے درمیان [SEP] ٹوکن استعمال کرنا ہوگا لیکن Hugging-face لائبریری کی بدولت ٹوکنائزر لائبریری ہمارے لیے یہ کام کرتی ہے۔ اب اس مثال کے ساتھ تھوڑا سا کھیلتے ہیں اور لفظ کو تبدیل کرتے ہیںہمالیہ سے ہمالیہ اور دیکھیں آگے کیا ہوتا ہے۔

نمونہ = 'دنیا کے نقشے میں ہمالیہ کہاں ہے؟' encoding = tokenizer.encode(نمونہ) پرنٹ(انکوڈنگ) پرنٹ(tokenizer.convert_ids_to_tokens(encoding))
آؤٹ پٹ 1: [101، 2073، 2003، 26779، 2015، 1999، 1996، 2088، 4949، 1029، 102] آؤٹ پٹ 2: ['[سی ایل ایس]'، 'کہاں'، 'ہے'، 'ہمالیہ'، '# #s', 'in', 'the', 'world', 'map', '?', '[SEP]']

کیا آپ نے اوپر کی مثال میں دیکھا، ٹوکنائزر لفظ لاتا ہے 'اندھیرے سے ہمالیہ کی پشت۔ اس طرح یہ زیادہ تر نامعلوم الفاظ کو سنبھال سکتا ہے اور ماڈل کی درستگی کو بہتر بنا سکتا ہے۔ اب آئیے تھوڑا اور کھودیں اور ٹوکنائزر لائبریری کے ایک اور فنکشن کو دریافت کریں اور سوال جواب کی مثال کے ساتھ تصور کو دوبارہ سمجھیں۔ میں سوال جواب دینے والا ڈیٹا استعمال کر رہا ہوں کیونکہ اس میں ترتیب کے دو ان پٹ جوڑے ہیں (سوال اور سیاق و سباق) دوسری طرف کی درجہ بندی میں صرف ایک ہی ترتیب ہے۔

q1 = 'ٹونی سٹارک کون تھا؟' c1 = 'انتھونی ایڈورڈ سٹارک جسے ٹونی سٹارک کے نام سے جانا جاتا ہے Avengers' encoding = tokenizer.encode_plus(q1,c1) میں ایک خیالی کردار ہے، کلید کے لیے، encoding.items(): print( '{} : {}'.format( کلید، قدر ) ) آؤٹ پٹ: ان پٹ آئی ڈیز : [101، 2040، 2001، 4116، 9762، 1029، 102، 4938، 3487، 9762، 2124، 2004، 4116، 9762، 2003، 1037، 7214، 2839، 1999، 14936، 102، 0، 0] token_type_ids : [0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1] توجہ_ماسک : [ ﮨﻤﯿﺸﮧ، ﺍﻟﻠﮧ، ﺍﻟﻠﮧ، ﺻﻠﯽ ﺍﻟﻠﮧ ﻋﻠﯿﮧ ﻭﺁﻟﮧ ﻭﺳﻠﻢ، ﺍﻟﻠﮧ ﺗﻌﺎﻟٰﯽ، ﺻﻠﯽ ﺍﻟﻠﮧ ﻋﻠﯿﮧ ﻭﺁﻟﮧ ﻭﺳﻠﻢ، ﺻﺤﯿﺢ، ﺻﺤﯿﺢ، ﺻﺤﯿﺢ، ﺻﺤﯿﺢ، ﺫﺭﯾﻌﮧ، ﺫﺭﺍﻕ

یہاں ہم استعمال کرتے ہیں۔ encode_plus لائبریری کا فنکشن اور اس کے نتیجے میں تین مختلف لغتیں نکلیں پہلی ایک input_ids ہے: ہم اسے پہلے کی مثال میں دیکھ چکے ہیں، یہاں فرق صرف اتنا ہے کہ ہم ایک (سوال و جواب) کے جوڑے کو ایک ہی ان پٹ کے طور پر دیکھ رہے ہیں اور ہمیں ایک [ SEP] سوال اور جواب کے درمیان ٹوکن۔ Token_type_ids پہلے جملے کے لیے 0s اور دوسرے جملے کے لیے 1 ہیں۔ یاد رکھیں کہ اگر ہم درجہ بندی کا کام کر رہے ہیں تو ٹوکن_ٹائپ_آئیڈز وہاں کارآمد نہیں ہوں گے کیونکہ ان پٹ سیکوئنس جوڑا نہیں بنایا گیا ہے (وہاں صرف صفر کی ضرورت نہیں ہے)۔ توجہ_ماسک کو سمجھنے کے لیے ہمیں ڈیٹا کو بیچوں میں پروسیس کرنا ہوگا۔ ایک بیچ میں، ہمارے پاس ان پٹ کی مختلف لمبائی ہو سکتی ہے۔ ماڈل کو ہمیشہ مستطیل شکل میں ان پٹ ڈیٹا کی ضرورت ہوتی ہے، اگر ہم ڈیٹا کو بیچ میں منتقل کر رہے ہیں۔ مثال کے طور پر، اگر ہمارے پاس بیچ سائز = 3 ہے تو بیچ نیچے کی تصویر کی طرح نظر آئے گا۔