Llama 3 بینچ مارک سے پتہ چلتا ہے کہ Meta AI کس طرح ChatGPT اور Gemini کے خلاف ہولڈنگ کر رہا ہے۔

Meta AI اپ ڈیٹ کو ہر پلیٹ فارم پر لاتے ہوئے، Meta نے ٹیکنالوجی کے شوقین افراد کے لیے Llama 3 بینچ مارک بھی شائع کیا۔

بینچ مارک آزاد محققین اور ڈویلپرز کو مختلف کاموں پر لاما 3 کی کارکردگی کا جائزہ لینے کے لیے ایک معیاری ٹیسٹنگ سوٹ پیش کرتا ہے۔

یہ شفافیت صارفین کو اسی بینچ مارک کا استعمال کرتے ہوئے Llama 3 کی طاقتوں اور کمزوریوں کا دوسرے LLM کے مقابلے میں موازنہ کرنے کی اجازت دیتی ہے، اور اس کی صلاحیتوں کے بارے میں مزید معروضی سمجھ کو فروغ دیتی ہے۔

لاما 3 بینچ مارک کیا دکھاتا ہے؟

Meta AI نے Llama 3 بینچ مارک قائم کیا، مختلف کاموں میں LLM کی کارکردگی کا جائزہ لینے کے لیے ڈیزائن کردہ تشخیص کا ایک جامع مجموعہ۔ ان کاموں میں سوالات کے جوابات، خلاصہ، مندرجہ ذیل ہدایات، اور چند شاٹ لرننگ شامل ہیں۔ بینچ مارک دیگر LLMs کے مقابلے Llama 3 کی طاقتوں اور کمزوریوں کا اندازہ لگانے کے لیے ایک اہم ٹول کے طور پر کام کرتا ہے۔

جب کہ Llama 3 بینچ مارک اور حریفوں کے لیے استعمال کیے جانے والوں کے درمیان براہ راست موازنہ مختلف تشخیصی طریقہ کار کی وجہ سے مشکل ہے، میٹا کا دعویٰ ہے کہ Llama 3 ماڈلز نے اپنے ڈیٹا سیٹ پر تربیت یافتہ تمام جانچے گئے کاموں میں غیر معمولی کارکردگی حاصل کی۔ اس سے ظاہر ہوتا ہے کہ Meta AI LLM فیلڈ میں بہترین کے برابر ہے۔

یہاں ایک گہری نظر ہے کہ لاما 3 بینچ مارکس کیسے جمع ہوتے ہیں:

• پیرامیٹر پیمانہ: میٹا اس بات پر فخر کرتا ہے کہ ان کے 8B اور 70B پیرامیٹر Llama 3 ماڈلز Llama 2 کو پیچھے چھوڑتے ہیں اور اسی پیمانے کے LLMs کے لیے ایک جدید ترین سٹیٹ آف دی آرٹ قائم کرتے ہیں۔
• انسانی تشخیص: میٹا نے 12 کلیدی استعمال کے معاملات پر مشتمل ایک جامع ڈیٹاسیٹ پر انسانی جائزے کئے۔ یہ تشخیص 70B ہدایات کے بعد لاما 3 ماڈل کو حقیقی دنیا کے منظرناموں میں موازنہ سائز کے حریفوں کے خلاف سازگار طور پر پوزیشن میں رکھتا ہے۔

یہ میٹا کے اپنے تجزیے ہیں، اور زیادہ حتمی موازنہ کے لیے آزاد معیارات ضروری ہو سکتے ہیں۔

اوپن ویٹ بمقابلہ اوپن سورس

"اوپن ویٹ" اور "اوپن سورس" کے درمیان فرق کرنا بہت ضروری ہے۔ جبکہ Llama 3 آزادانہ طور پر ڈاؤن لوڈ کے قابل ماڈلز اور وزن کی پیشکش کرتا ہے، یہ رسائی اور تربیتی ڈیٹا (حقیقی اوپن سورس سافٹ ویئر کے برعکس) کی حدود کی وجہ سے اوپن سورس کی سخت تعریف کے تحت نہیں آتا ہے۔

لاما 3 دو سائز میں آتا ہے: 8 بلین (8B) اور 70 بلین (70B) پیرامیٹرز دونوں ہیں۔ میٹا کی ویب سائٹ پر مفت ڈاؤن لوڈ کے لیے دستیاب ہے۔ ایک سادہ سائن اپ عمل کے بعد۔

Meta AI میں ایک تکنیکی گہرا غوطہ

Llama 3 دو ورژن پیش کرتا ہے:

• پہلے سے تربیت یافتہ: یہ خام ماڈل ہے جو اگلے ٹوکن کی پیشن گوئی پر مرکوز ہے۔
• ہدایات کے مطابق: صارف کی مخصوص ہدایات پر عمل کرنے کے لیے یہ ورژن ٹھیک ہے۔

دونوں ورژنز کی سیاق و سباق کی حد 8,192 ٹوکن ہے۔

تربیت کی تفصیلات

• تربیتی ہارڈ ویئر: میٹا نے لاما 24,000 کی تربیت کے لیے دو کسٹم بلٹ کلسٹرز لگائے، جن میں سے ہر ایک حیران کن 3 GPUs پر مشتمل ہے۔
• تربیت کا ڈیٹا: میٹا کے سی ای او مارک زکربرگ نے ایک پوڈ کاسٹ انٹرویو میں انکشاف کیا کہ 70B ماڈل کو تقریباً 15 ٹریلین ٹوکنز کے بڑے ڈیٹا سیٹ پر تربیت دی گئی تھی۔ دلچسپ بات یہ ہے کہ ٹریننگ کے دوران ماڈل کبھی بھی سنترپتی (چوٹی کی کارکردگی) کے مقام تک نہیں پہنچا، یہ تجویز کرتا ہے کہ اس سے بھی بڑے ڈیٹاسیٹس کے ساتھ مزید بہتری کی گنجائش ہوسکتی ہے۔
• مستقبل کے منصوبے: میٹا فی الحال لاما 400 کے ایک زبردست 3B پیرامیٹر ورژن کی تربیت کر رہا ہے، ممکنہ طور پر اسے اسی پرفارمنس لیگ میں ڈال رہا ہے جیسے حریف GPT-4 ٹربو اور جیمنی الٹرا MMLU، GPQA، HumanEval، اور MATH جیسے بینچ مارکس پر۔

لاما 3 بینچ مارک میں چیلنجز

ہمیں موجودہ LLM بینچ مارکس کی حدود کو تسلیم کرنے کی ضرورت ہے جیسے کہ ٹریننگ ڈیٹا کی آلودگی اور دکانداروں کے ذریعے نتائج کی چیری چننا۔

ان حدود کے باوجود، میٹا نے MMLU (جنرل نالج)، GSM-3K (ریاضی)، HumanEval (کوڈنگ)، GPQA (جدید سوالات)، اور MATH (لفظ کے مسائل) جیسے کاموں پر Llama 8 کی کارکردگی کو ظاہر کرنے والے کچھ معیارات فراہم کیے ہیں۔

یہ معیارات 8B ماڈل کو کھلے وزن والے حریفوں کے مقابلے میں موافق رکھتے ہیں۔ گوگل کا Gemma 7B اور Mistral 7B ہدایت. 70B ماڈل بھی قائم کردہ ناموں کے خلاف اپنی حیثیت رکھتا ہے۔ جیمنی پرو 1.5 اور کلاڈ 3 سونیٹ.

لاما 3 کی رسائی

Meta Llama 3 ماڈلز کو بڑے کلاؤڈ پلیٹ فارمز جیسے AWS، Databricks، Google Cloud، اور دیگر پر دستیاب کرنے کا ارادہ رکھتا ہے، جس سے ڈویلپرز کے لیے وسیع رسائی کو یقینی بنایا جائے۔

لاما 3 میٹا کے ورچوئل اسسٹنٹ کی بنیاد رکھتا ہے، جو نمایاں طور پر ہوگا فیس بک، انسٹاگرام، واٹس ایپ، میسنجر میں تلاش کی خصوصیات میں نمایاں، اور ایک وقف کی ویب سائٹ چیٹ جی پی ٹی کے انٹرفیس سے مشابہت (بشمول امیج جنریشن)۔

اس کے علاوہ، میٹا نے گوگل کے ساتھ شراکت داری کی ہے۔ اصل وقت کے تلاش کے نتائج کو اسسٹنٹ میں ضم کرنے کے لیے، ان کی بنیاد پر مائیکروسافٹ کے بنگ کے ساتھ موجودہ شراکت داری.

---

نمایاں تصویری کریڈٹ: میٹا

• SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
• پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
• پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
• پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
• پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
• ماخذ: https://dataconomy.com/2024/04/19/llama-3-benchmark-meta-ai-vs-chatgpt-vs-gemini/