مالیاتی گوشواروں کی مکمل اور درستگی کو یقینی بنانے کے لیے اکاؤنٹ کی مفاہمت ایک اہم قدم ہے۔ خاص طور پر، کمپنیوں کو مصالحت کرنی چاہیے۔ بیلنس شیٹ ایسے اکاؤنٹس جن میں اہم یا مادی غلط بیانات ہوسکتے ہیں۔ اکاؤنٹنٹس اکاؤنٹس کے عمومی لیجر میں ہر اکاؤنٹ سے گزرتے ہیں اور تصدیق کرتے ہیں کہ درج بیلنس مکمل اور درست ہے۔ جب تضادات پائے جاتے ہیں، اکاؤنٹنٹ تحقیقات کرتے ہیں اور مناسب اصلاحی کارروائی کرتے ہیں۔
Amazon کی FinTech تنظیم کے ایک حصے کے طور پر، ہم ایک ایسا سافٹ ویئر پلیٹ فارم پیش کرتے ہیں جو Amazon کی اندرونی اکاؤنٹنگ ٹیموں کو اکاؤنٹس میں مفاہمت کرنے کے لیے بااختیار بناتا ہے۔ مفاہمت کے عمل کو بہتر بنانے کے لیے، ان صارفین کو ڈیمانڈ پر پیمانہ لگانے کی صلاحیت کے ساتھ اعلیٰ کارکردگی کی تبدیلی کی ضرورت ہوتی ہے، ساتھ ہی ساتھ چند MBs سے کم سے 100 GB تک کے متغیر فائل سائز پر کارروائی کرنے کی صلاحیت۔ کسی ایک مشین پر ڈیٹا فٹ کرنا یا ایک ہی پروگرام کے ساتھ مناسب ٹائم فریم میں اس پر کارروائی کرنا ہمیشہ ممکن نہیں ہے۔ اس حساب کو عملی خدمات فراہم کرنے کے لیے کافی تیزی سے انجام دینا ہوگا جہاں پروگرامنگ منطق اور بنیادی تفصیلات (ڈیٹا کی تقسیم، غلطی برداشت، اور شیڈولنگ) کو الگ کیا جا سکتا ہے۔
ہم تقسیم شدہ ڈیٹا پروسیسنگ سلوشنز کا استعمال کرکے ڈیٹاسیٹ کے عناصر کے گروپس میں ایک ہی فنکشن کے متعدد مشینوں یا دھاگوں پر بیک وقت یہ کمپیوٹیشن حاصل کرسکتے ہیں۔ اس نے ہمیں AWS سروسز کے ذریعے چلنے والی اپنی مصالحتی خدمات کو دوبارہ ایجاد کرنے کی ترغیب دی، بشمول ایمیزون ای ایم آر اور اپاچی چمک تقسیم شدہ پروسیسنگ فریم ورک، جو استعمال کرتا ہے۔ پی اسپارک. یہ سروس صارفین کو 100 منٹ سے بھی کم وقت میں 100 ملین ٹرانزیکشنز پر مشتمل 30 GB سے زیادہ فائلوں پر کارروائی کرنے کے قابل بناتی ہے۔ مفاہمتی سروس ڈیٹا پروسیسنگ کے لیے ایک پاور ہاؤس بن چکی ہے، اور اب صارفین بغیر کسی رکاوٹ کے مختلف قسم کے آپریشنز انجام دے سکتے ہیں، جیسے محور, شمولیت (جیسے ایکسل VLOOKUP آپریشن) ریاضی آپریشنز، اور زیادہوسیع ڈیٹاسیٹس کو ملانے کے لیے ایک ورسٹائل اور موثر حل فراہم کرنا۔ یہ اضافہ تقسیم شدہ ڈیٹا پروسیسنگ سلوشنز کو اپنانے کے ذریعے حاصل کی جانے والی اسکیل ایبلٹی اور رفتار کا ثبوت ہے۔
اس پوسٹ میں، ہم وضاحت کرتے ہیں کہ کس طرح ہم نے Amazon EMR کو ایک انتہائی دستیاب اور توسیع پذیر نظام بنانے کے لیے مربوط کیا جس نے ہمیں مالی مفاہمت کے اعلیٰ حجم کے عمل کو چلانے کے قابل بنایا۔
ہجرت سے پہلے فن تعمیر
مندرجہ ذیل خاکہ ہمارے پچھلے فن تعمیر کو واضح کرتا ہے۔
ہماری میراثی سروس کے ساتھ بنایا گیا تھا۔ ایمیزون لچکدار کنٹینر سروس (ایمیزون ای سی ایس) آن اے ڈبلیو ایس فارگیٹ. ہم نے Python کا استعمال کرتے ہوئے ترتیب وار ڈیٹا پر کارروائی کی۔ تاہم، متوازی پروسیسنگ کی صلاحیت کی کمی کی وجہ سے، ہمیں اکثر بڑے ڈیٹاسیٹس کو سپورٹ کرنے کے لیے کلسٹر سائز کو عمودی طور پر بڑھانا پڑتا ہے۔ سیاق و سباق کے لیے، 5 آپریشنز کے ساتھ 50 GB ڈیٹا پر کارروائی میں تقریباً 3 گھنٹے لگے۔ اس سروس کو افقی طور پر پانچ ای سی ایس مثالوں تک پیمانہ کرنے کے لیے کنفیگر کیا گیا تھا جس سے پیغامات کو پول کیا گیا تھا۔ ایمیزون سادہ قطار سروس (ایمیزون ایس کیو ایس)، جس نے تبدیلی کی درخواستوں کو پورا کیا۔ افقی اسکیلنگ کی اجازت دینے کے لیے ہر مثال کو 4 vCPUs اور 30 GB میموری کے ساتھ ترتیب دیا گیا تھا۔ تاہم، ہم کارکردگی پر اس کی صلاحیت کو نہیں بڑھا سکے کیونکہ یہ عمل ترتیب وار ہوا، جس سے ڈیٹا کے ٹکڑوں کا انتخاب کیا گیا۔ ایمیزون سادہ اسٹوریج سروس (ایمیزون S3) پروسیسنگ کے لیے۔ مثال کے طور پر، ایک VLOOKUP آپریشن جہاں دو فائلوں کو جوڑنا ہوتا ہے اس کے لیے ضروری ہوتا ہے کہ آؤٹ پٹ حاصل کرنے کے لیے دونوں فائلوں کو میموری حصہ میں پڑھا جائے۔ یہ صارفین کے لیے ایک رکاوٹ بن گیا کیونکہ انہیں اپنے ڈیٹا سیٹس پر کارروائی کے لیے طویل عرصے تک انتظار کرنا پڑا۔
اپنے تعمیر نو اور جدید کاری کے حصے کے طور پر، ہم درج ذیل کو حاصل کرنا چاہتے تھے:
- اچھی فراہمی - ڈیٹا پروسیسنگ کلسٹرز انتہائی دستیاب ہونے چاہئیں، تین 9s کی دستیابی (99.9%)
- انحصار - سروس کو روزانہ 1,500 رنز ہینڈل کرنے چاہئیں
- تاخیر - یہ 100 منٹ کے اندر 30 جی بی ڈیٹا پر کارروائی کرنے کے قابل ہونا چاہیے۔
- Heterogeneity - چند MBs سے لے کر سینکڑوں GBs تک کی فائلوں کے ساتھ، کلسٹر کو کام کے بوجھ کی وسیع اقسام کو سپورٹ کرنے کے قابل ہونا چاہیے۔
- استفسار کنکرنسی - عمل درآمد کم از کم 10 ڈگری کی ہم آہنگی کی حمایت کرنے کی صلاحیت کا مطالبہ کرتا ہے۔
- ملازمتوں کی وشوسنییتا اور ڈیٹا کی مستقل مزاجی۔ - سروس لیول ایگریمنٹس (SLAs) کو توڑنے سے بچنے کے لیے ملازمتوں کو قابل اعتماد اور مستقل طور پر چلانے کی ضرورت ہے۔
- سرمایہ کاری مؤثر اور توسیع پذیر - یہ کام کے بوجھ کی بنیاد پر توسیع پذیر ہونا چاہیے، جس سے یہ لاگت سے موثر ہو۔
- سلامتی اور تعمیل - ڈیٹا کی حساسیت کو دیکھتے ہوئے، اسے درست رسائی کے کنٹرول اور مناسب حفاظتی نفاذ کی حمایت کرنی چاہیے۔
- باخبر رہنا - حل کو کلسٹرز اور جابز کی اینڈ ٹو اینڈ مانیٹرنگ پیش کرنی چاہیے۔
ایمیزون EMR کیوں؟
Amazon EMR اوپن سورس فریم ورک کا استعمال کرتے ہوئے پیٹا بائٹ اسکیل ڈیٹا پروسیسنگ، انٹرایکٹو اینالیٹکس، اور مشین لرننگ (ML) کے لیے صنعت کا معروف کلاؤڈ بڑا ڈیٹا حل ہے۔ اپاچی چمک, اپاچی چھتے، اور پریسو. ان فریم ورک اور متعلقہ اوپن سورس پروجیکٹس کے ساتھ، آپ تجزیاتی مقاصد اور BI ورک بوجھ کے لیے ڈیٹا پر کارروائی کر سکتے ہیں۔ Amazon EMR آپ کو دوسرے AWS ڈیٹا اسٹورز اور ڈیٹا بیس جیسے کہ Amazon S3 اور کے اندر اور باہر بڑی مقدار میں ڈیٹا کو تبدیل کرنے اور منتقل کرنے دیتا ہے۔ ایمیزون ڈائنومو ڈی بی.
Amazon EMR کا ایک قابل ذکر فائدہ PySpark کے ساتھ متوازی پروسیسنگ کے اس کے مؤثر استعمال میں مضمر ہے، جو روایتی ترتیب وار Python کوڈ کے مقابلے میں نمایاں بہتری کو ظاہر کرتا ہے۔ یہ اختراعی نقطہ نظر اپاچی اسپارک کلسٹرز کی تعیناتی اور اسکیلنگ کو ہموار کرتا ہے، جس سے بڑے ڈیٹا سیٹس پر موثر متوازی ہونے کی اجازت ملتی ہے۔ تقسیم شدہ کمپیوٹنگ انفراسٹرکچر نہ صرف کارکردگی کو بڑھاتا ہے بلکہ بے مثال رفتار سے ڈیٹا کی وسیع مقدار کی پروسیسنگ کو بھی قابل بناتا ہے۔ لائبریریوں سے لیس، PySpark ایکسل جیسے آپریشنز کو سہولت فراہم کرتا ہے۔ ڈیٹا فریمز، اور ڈیٹا فریمز کا اعلیٰ سطحی خلاصہ کوڈ کی پیچیدگی کو کم کرتے ہوئے پیچیدہ ڈیٹا کی ہیرا پھیری کو آسان بناتا ہے۔ خودکار کلسٹر پروویژننگ، ڈائنامک ریسورس ایلوکیشن، اور دیگر AWS سروسز کے ساتھ انضمام کے ساتھ، Amazon EMR متنوع کام کے بوجھ کے لیے موزوں ایک ورسٹائل حل ثابت ہوتا ہے، بیچ پروسیسنگ سے لے کر ML تک۔ PySpark اور Amazon EMR میں موروثی غلطی کی رواداری مضبوطی کو فروغ دیتی ہے، یہاں تک کہ نوڈ کی ناکامی کی صورت میں بھی، اسے AWS پر متوازی ڈیٹا پروسیسنگ کے لیے ایک قابل توسیع، لاگت سے موثر، اور اعلی کارکردگی کا انتخاب بناتا ہے۔
Amazon EMR اپنی صلاحیتوں کو بنیادی باتوں سے آگے بڑھاتا ہے، متنوع ضروریات کو پورا کرنے کے لیے مختلف قسم کے تعیناتی کے اختیارات پیش کرتا ہے۔ چاہے وہ ہو۔ EC2 پر ایمیزون EMR, EKS پر ایمیزون EMR, ایمیزون EMR سرور لیس، یا AWS چوکیوں پر Amazon EMR، آپ اپنے نقطہ نظر کو مخصوص ضروریات کے مطابق بنا سکتے ہیں۔ ان لوگوں کے لیے جو اسپارک جابز کے لیے بغیر سرور کے ماحول کے خواہاں ہیں، انضمام AWS گلو ایک قابل عمل آپشن بھی ہے۔ اسپارک سمیت مختلف اوپن سورس فریم ورکس کو سپورٹ کرنے کے علاوہ، Amazon EMR تعیناتی طریقوں کو منتخب کرنے میں لچک فراہم کرتا ہے، ایمیزون لچکدار کمپیوٹ کلاؤڈ (ایمیزون EC2) مثال کی اقسام، اسکیلنگ میکانزم، اور لاگت کی بچت کی متعدد اصلاحی تکنیک۔
ایمیزون EMR کلاؤڈ میں ایک متحرک قوت کے طور پر کھڑا ہے، جو کہ مضبوط بڑے ڈیٹا حل تلاش کرنے والی تنظیموں کے لیے بے مثال صلاحیتیں فراہم کرتا ہے۔ اس کا ہموار انضمام، طاقتور خصوصیات، اور موافقت اسے AWS پر ڈیٹا اینالیٹکس اور ML کی پیچیدگیوں کو نیویگیٹ کرنے کے لیے ایک ناگزیر ٹول بناتی ہے۔
دوبارہ ڈیزائن کیا گیا فن تعمیر
مندرجہ ذیل خاکہ ہمارے نئے ڈیزائن کردہ فن تعمیر کو واضح کرتا ہے۔
یہ حل ایک API معاہدے کے تحت کام کرتا ہے، جہاں کلائنٹ پروسیسنگ کے لیے S3 ڈیٹا سیٹ کے مقام کے ساتھ ساتھ آپریشنز کے سیٹ کی وضاحت کرتے ہوئے، تبدیلی کی ترتیب جمع کر سکتے ہیں۔ درخواست Amazon SQS کے ذریعے قطار میں لگائی جاتی ہے، پھر Lambda فنکشن کے ذریعے Amazon EMR کو بھیجی جاتی ہے۔ یہ عمل ایک وقف شدہ EMR کلسٹر پر Spark فریم ورک کے نفاذ کے لیے Amazon EMR قدم کی تخلیق کا آغاز کرتا ہے۔ اگرچہ Amazon EMR ایک طویل عرصے سے چلنے والے کلسٹر کی زندگی بھر میں لامحدود قدموں کو ایڈجسٹ کرتا ہے، صرف 256 قدم ایک ساتھ چل سکتے ہیں یا زیر التواء ہو سکتے ہیں۔ زیادہ سے زیادہ ہم آہنگی کے لیے، قدم کی ہم آہنگی 10 پر سیٹ کی گئی ہے، جس سے 10 قدم ایک ساتھ چل سکتے ہیں۔ درخواست کی ناکامی کی صورت میں، Amazon SQS ڈیڈ لیٹر قطار (DLQ) ایونٹ کو برقرار رکھتا ہے۔ اسپارک درخواست پر کارروائی کرتا ہے، ایک موثر استفسار کے منصوبے کے لیے ایکسل جیسے آپریشنز کو PySpark کوڈ میں ترجمہ کرتا ہے۔ لچکدار ڈیٹا فریمز ان پٹ، آؤٹ پٹ، اور انٹرمیڈیٹ ڈیٹا کو میموری میں ذخیرہ کرتا ہے، پروسیسنگ کی رفتار کو بہتر بناتا ہے، ڈسک کی I/O لاگت کو کم کرتا ہے، کام کے بوجھ کی کارکردگی کو بڑھاتا ہے، اور حتمی آؤٹ پٹ کو مخصوص Amazon S3 مقام پر پہنچاتا ہے۔
ہم اپنے SLA کو دو جہتوں میں متعین کرتے ہیں: لیٹنسی اور تھرو پٹ۔ لیٹنسی کی تعریف اس وقت کی مقدار کے طور پر کی جاتی ہے جو ڈیٹاسیٹ کے سائز کے مقابلے میں ایک کام کو انجام دینے میں لگتی ہے اور ڈیٹاسیٹ پر کی جانے والی کارروائیوں کی تعداد۔ تھرو پٹ کو بیک وقت ملازمتوں کی زیادہ سے زیادہ تعداد کے طور پر بیان کیا جاتا ہے جو سروس کسی ایک کام کے لیٹینسی SLA کی خلاف ورزی کیے بغیر انجام دے سکتی ہے۔ سروس کی مجموعی اسکیل ایبلٹی SLA لچکدار کمپیوٹ وسائل کی افقی اسکیلنگ اور انفرادی سرورز کی عمودی اسکیلنگ کے توازن پر منحصر ہے۔
چونکہ ہمیں کم سے کم تاخیر اور اعلی کارکردگی کے ساتھ روزانہ 1,500 پروسیسز چلانا پڑتے ہیں، اس لیے ہم ایمیزون EMR کو EC2 ڈیپلائمنٹ موڈ پر مربوط کرنے کا انتخاب کرتے ہیں جس میں پروسیسنگ متغیر فائل سائزز کو سپورٹ کرنے کے لیے فعال اسکیلنگ کے ساتھ۔
EMR کلسٹر کنفیگریشن بہت سے مختلف انتخاب فراہم کرتی ہے:
- EMR نوڈ کی اقسام - پرائمری، کور، یا ٹاسک نوڈس
- مثال کے طور پر خریداری کے اختیارات - آن ڈیمانڈ مثالیں، محفوظ مثالیں، یا اسپاٹ مثالیں۔
- تشکیل کے اختیارات - EMR مثال کے بیڑے یا یونیفارم مثال گروپ
- اسکیلنگ کے اختیارات - آٹو اسکیلنگ یا ایمیزون EMR منظم اسکیلنگ
اپنے متغیر کام کے بوجھ کی بنیاد پر، ہم نے EMR مثال کے بیڑے کو ترتیب دیا (بہترین طریقوں کے لیے، دیکھیں وشوسنییتا)۔ ہم نے بنیادی اور ٹاسک نوڈس کو پیمانے کے لیے Amazon EMR مینیجڈ اسکیلنگ کو استعمال کرنے کا بھی فیصلہ کیا (اسکیلنگ کے منظرناموں کے لیے، دیکھیں نوڈ مختص کے منظرنامے۔)۔ آخر میں، ہم نے میموری کو بہتر بنانے کا انتخاب کیا۔ AWS Graviton مثالیں، جو تک فراہم کرتی ہیں۔ Spark ورک بوجھ کے لیے 30% کم لاگت اور 15% تک بہتر کارکردگی.
درج ذیل کوڈ ہمارے کلسٹر کنفیگریشن کا ایک سنیپ شاٹ فراہم کرتا ہے:
کارکردگی
ایمیزون EMR میں ہماری منتقلی کے ساتھ، ہم ایک نظام کی کارکردگی کو حاصل کرنے میں کامیاب ہو گئے جو مختلف قسم کے ڈیٹا سیٹس کو سنبھالنے کے قابل ہو گئے، جس میں 273 B سے لے کر زیادہ سے زیادہ 88.5 GB تک p99 491 سیکنڈز (تقریباً 8 منٹ)۔
مندرجہ ذیل اعداد و شمار پر عملدرآمد فائل کے سائز کی مختلف قسم کی وضاحت کرتا ہے.
درج ذیل اعداد و شمار ہماری تاخیر کو ظاہر کرتا ہے۔
ترتیب وار پروسیسنگ سے موازنہ کرنے کے لیے، ہم نے 53 ملین ریکارڈز پر مشتمل دو ڈیٹا سیٹس لیے اور ایک دوسرے کے خلاف VLOOKUP آپریشن کے ساتھ ساتھ 49 دیگر ایکسل جیسے آپریشنز بھی چلائے۔ نئی سروس میں کارروائی کرنے میں 26 منٹ لگے، جبکہ میراثی سروس میں کارروائی کرنے میں 5 دن لگے۔ کارکردگی کے لحاظ سے یہ بہتری پچھلے فن تعمیر سے تقریباً 300 گنا زیادہ ہے۔
خیال
اس حل پر غور کرتے وقت درج ذیل کو ذہن میں رکھیں:
- دائیں سائز کے کلسٹرز - اگرچہ Amazon EMR دوبارہ سائز کے قابل ہے، لیکن کلسٹرز کو صحیح سائز کرنا ضروری ہے۔ دائیں سائز کرنے سے ایک سست کلسٹر کو کم کیا جاتا ہے، اگر کم سائز کا ہو، یا زیادہ لاگت ہو، اگر کلسٹر کا سائز بڑا ہو۔ ان مسائل کا اندازہ لگانے کے لیے، آپ نوڈس کی تعداد اور قسم کا حساب لگا سکتے ہیں جو کام کے بوجھ کے لیے درکار ہوں گے۔
- متوازی اقدامات۔ - متوازی طور پر چلنے والے اقدامات آپ کو زیادہ جدید کام کے بوجھ کو چلانے، کلسٹر وسائل کے استعمال کو بڑھانے، اور اپنے کام کے بوجھ کو مکمل کرنے میں لگنے والے وقت کو کم کرنے کی اجازت دیتا ہے۔ ایک وقت میں چلنے کی اجازت دینے والے مراحل کی تعداد قابل ترتیب ہے اور جب کلسٹر لانچ کیا جاتا ہے اور کلسٹر شروع ہونے کے بعد کسی بھی وقت سیٹ کیا جا سکتا ہے۔ جب ایک مشترکہ کلسٹر میں متعدد ملازمتیں چل رہی ہوں تو آپ کو فی کام CPU/میموری کے استعمال پر غور کرنے اور اسے بہتر بنانے کی ضرورت ہے۔
- ملازمت پر مبنی عارضی EMR کلسٹرز - اگر قابل اطلاق ہو تو، یہ تجویز کیا جاتا ہے کہ کام پر مبنی عارضی EMR کلسٹر استعمال کیا جائے، جو اعلیٰ تنہائی فراہم کرتا ہے، اس بات کی تصدیق کرتا ہے کہ ہر کام اپنے مخصوص ماحول میں کام کرتا ہے۔ یہ نقطہ نظر وسائل کے استعمال کو بہتر بناتا ہے، ملازمتوں کے درمیان مداخلت کو روکنے میں مدد کرتا ہے، اور مجموعی کارکردگی اور وشوسنییتا کو بڑھاتا ہے۔ عارضی نوعیت مختلف ڈیٹا پروسیسنگ کی ضروریات کے لیے ایک مضبوط اور الگ تھلگ حل فراہم کرتے ہوئے موثر پیمانے کو قابل بناتی ہے۔
- EMR سرور لیس - اگر آپ کلسٹرز کے انتظام اور آپریشن کو ہینڈل کرنے کو ترجیح نہیں دیتے ہیں تو EMR سرور لیس ایک بہترین انتخاب ہے۔ یہ آپ کو EMR سرور لیس کے اندر دستیاب اوپن سورس فریم ورک کا استعمال کرتے ہوئے آسانی کے ساتھ ایپلی کیشنز چلانے کی اجازت دیتا ہے، جو ایک سیدھا سادہ اور پریشانی سے پاک تجربہ پیش کرتا ہے۔
- ایمیزون EKS پر EMR - EKS پر Amazon EMR الگ الگ فوائد پیش کرتا ہے، جیسے کہ تیز تر سٹارٹ اپ ٹائم اور بہتر سکیل ایبلٹی کمپیوٹ کی صلاحیت کے چیلنجز کو حل کرنا — جو خاص طور پر Graviton اور Spot Instance کے صارفین کے لیے فائدہ مند ہے۔ کمپیوٹ کی اقسام کی ایک وسیع رینج کو شامل کرنے سے لاگت کی کارکردگی میں اضافہ ہوتا ہے، جس سے وسائل کی تخصیص کی اجازت ملتی ہے۔ مزید برآں، ملٹی AZ سپورٹ بڑھتی ہوئی دستیابی فراہم کرتی ہے۔ یہ زبردست خصوصیات مختلف کمپیوٹنگ منظرناموں میں بہتر کارکردگی، لاگت کی اصلاح، اور وشوسنییتا کے ساتھ بڑے ڈیٹا ورک بوجھ کے انتظام کے لیے ایک مضبوط حل فراہم کرتی ہیں۔
نتیجہ
اس پوسٹ میں، ہم نے وضاحت کی کہ کس طرح ایمیزون نے اپنے اعلیٰ حجم کے مالی مفاہمت کے عمل کو ایمیزون EMR کے ساتھ اعلیٰ اسکیل ایبلٹی اور کارکردگی کے لیے بہتر بنایا۔ اگر آپ کے پاس ایک یک سنگی ایپلی کیشن ہے جو اضافی درخواستوں یا ڈیٹا سیٹس پر کارروائی کرنے کے لیے عمودی پیمانے پر منحصر ہے، تو اسے تقسیم شدہ پروسیسنگ فریم ورک جیسے Apache Spark میں منتقل کرنے اور کمپیوٹ کے لیے Amazon EMR جیسی منظم سروس کا انتخاب کرنے سے آپ کی ڈیلیوری کو کم کرنے کے لیے رن ٹائم کو کم کرنے میں مدد مل سکتی ہے۔ SLA، اور ملکیت کی کل لاگت (TCO) کو کم کرنے میں بھی مدد مل سکتی ہے۔
جیسا کہ ہم اس مخصوص استعمال کے معاملے کے لیے Amazon EMR کو قبول کرتے ہیں، ہم آپ کو اپنے ڈیٹا کی جدت کے سفر میں مزید امکانات تلاش کرنے کی ترغیب دیتے ہیں۔ آپ کے منفرد استعمال کے معاملے کے مطابق بہترین AWS سروس دریافت کرنے کے لیے، AWS Glue کے ساتھ ساتھ دیگر متحرک Amazon EMR تعیناتی کے اختیارات جیسے EMR Serverless یا EKS پر Amazon EMR کا جائزہ لینے پر غور کریں۔ ڈیٹا جدت کے سفر کا مستقبل دلچسپ امکانات اور پیشرفت رکھتا ہے جس کی مزید تلاش کی جائے۔
مصنفین کے بارے میں
جیشن کھیترپال ایمیزون میں ایک سینئر سافٹ ویئر ڈویلپمنٹ انجینئر ہے، جہاں وہ کلاؤڈ کمپیوٹنگ سرور لیس فن تعمیرات پر مبنی فنٹیک مصنوعات تیار کرتا ہے جو کمپنیوں کے آئی ٹی جنرل کنٹرول، مالیاتی رپورٹنگ، اور گورننس، رسک اور تعمیل کے لیے کنٹرولر شپ کے لیے ذمہ دار ہیں۔
سکتی مشرا AWS میں ایک پرنسپل سولیوشن آرکیٹیکٹ ہے، جہاں وہ صارفین کو اپنے ڈیٹا آرکیٹیکچر کو جدید بنانے اور ان کی اینڈ ٹو اینڈ ڈیٹا حکمت عملی کی وضاحت کرنے میں مدد کرتا ہے، بشمول ڈیٹا سیکیورٹی، رسائی، گورننس، اور بہت کچھ۔ وہ کتاب کے مصنف بھی ہیں۔ ایمیزون EMR کے ساتھ بگ ڈیٹا تجزیات کو آسان بنائیں. کام سے باہر، سکتی کو نئی ٹیکنالوجی سیکھنے، فلمیں دیکھنے، اور فیملی کے ساتھ جگہوں پر جانے کا لطف آتا ہے۔
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
- پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
- پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://aws.amazon.com/blogs/big-data/how-amazon-optimized-its-high-volume-financial-reconciliation-process-with-amazon-emr-for-higher-scalability-and-performance/
- : ہے
- : ہے
- : نہیں
- :کہاں
- $UP
- 1
- 10
- 100
- 15٪
- 150
- 152
- 16
- 2%
- 22
- 250
- 26
- 30
- 300
- 4
- 49
- 5
- 50
- 500
- 8
- a
- کی صلاحیت
- قابلیت
- تجری
- تک رسائی حاصل
- رسائی پذیری
- ایڈجسٹ
- اکاؤنٹ
- اکاؤنٹنگ
- اکاؤنٹس
- درستگی
- درست
- حاصل
- حاصل کیا
- کے پار
- عمل
- اطلاق
- شامل کریں
- اس کے علاوہ
- ایڈیشنل
- منہ بولابیٹا بنانے
- اعلی درجے کی
- ترقی
- فائدہ
- فوائد
- کے بعد
- کے خلاف
- معاہدے
- تین ہلاک
- کی اجازت
- کی اجازت
- اجازت دے رہا ہے
- کی اجازت دیتا ہے
- تقریبا
- ساتھ
- شانہ بشانہ
- بھی
- اگرچہ
- ہمیشہ
- ایمیزون
- ایمیزون EC2
- ایمیزون ای ایم آر
- ایمیزون ویب سروسز
- رقم
- مقدار
- an
- تجزیاتی
- اور
- اندازہ
- کوئی بھی
- اپاچی
- اپاچی چمک
- اے پی آئی
- قابل اطلاق
- درخواست
- ایپلی کیشنز
- نقطہ نظر
- مناسب
- تقریبا
- فن تعمیر
- آرکیٹیکچرز
- کیا
- ارد گرد
- AS
- At
- مصنف
- خودکار
- دستیابی
- دستیاب
- سے اجتناب
- AWS
- AWS گلو
- b
- متوازن
- کی بنیاد پر
- مبادیات
- BE
- بن گیا
- کیونکہ
- بن
- اس سے پہلے
- فائدہ مند
- BEST
- بہترین طریقوں
- کے درمیان
- سے پرے
- بگ
- بگ ڈیٹا
- کتاب
- دونوں
- توڑ
- وسیع
- تعمیر
- تعمیر
- لیکن
- by
- حساب
- کر سکتے ہیں
- صلاحیتوں
- صلاحیت
- صلاحیت رکھتا
- اہلیت
- کیس
- کھانا کھلانا
- انتخاب
- میں سے انتخاب کریں
- منتخب کریں
- کا انتخاب کیا
- کلائنٹس
- بادل
- کلاؤڈ بڑا ڈیٹا
- کلاؤڈ کمپیوٹنگ
- کلسٹر
- کوڈ
- مل کر
- کمپنیاں
- موازنہ
- مقابلے میں
- زبردست
- مکمل
- پیچیدگیاں
- پیچیدگی
- تعمیل
- حساب
- گنتی
- کمپیوٹنگ
- کمپیوٹنگ
- سلوک
- ترتیب
- ترتیب
- تشکیل شدہ
- غور کریں
- پر غور
- مستقل مزاجی
- مسلسل
- پر مشتمل ہے
- کنٹینر
- استعمال
- سیاق و سباق
- کنٹریکٹ
- کنٹرول
- کنٹرول
- کور
- قیمت
- سرمایہ کاری مؤثر
- اخراجات
- سکتا ہے
- شمار
- مخلوق
- گاہکوں
- اعداد و شمار
- ڈیٹا تجزیات
- ڈیٹا پروسیسنگ
- ڈیٹا کی حفاظت
- ڈیٹا کی حکمت عملی
- ڈیٹا بیس
- ڈیٹاسیٹس
- دن
- دن
- فیصلہ کیا
- وقف
- وضاحت
- کی وضاحت
- وضاحت
- ترسیل
- فراہم کرتا ہے
- ترسیل
- ڈیمانڈ
- مطالبات
- انحصار
- انحصار کرتا ہے
- تعیناتی
- تفصیلات
- اضطراب پسند
- ترقی
- تیار ہے
- آریھ
- مختلف
- طول و عرض
- ہدایت
- دریافت
- مختلف
- تقسیم کئے
- تقسیم کمپیوٹنگ
- تقسیم شدہ ڈیٹا پروسیسنگ
- تقسیم
- متنوع
- کیا
- دو
- متحرک
- ہر ایک
- ebs
- موثر
- ہنر
- محنت سے
- عناصر
- گلے
- بااختیار بنانا
- چالو حالت میں
- کے قابل بناتا ہے
- کی حوصلہ افزائی
- حوصلہ افزائی
- آخر سے آخر تک
- انجینئر
- اضافہ
- بڑھاتا ہے
- بڑھانے
- کافی
- کو یقینی بنانے کے
- ماحولیات
- لیس
- Ether (ETH)
- کا جائزہ لینے
- بھی
- واقعہ
- مثال کے طور پر
- ایکسل
- دلچسپ
- توسیع
- تجربہ
- وضاحت
- وضاحت کی
- تلاش
- وضاحت کی
- توسیع
- سہولت
- ناکامیوں
- خاندان
- فاسٹ
- تیز تر
- غلطی
- خصوصیات
- فیڈ
- چند
- اعداد و شمار
- فائل
- فائلوں
- فائنل
- مالی
- فن ٹیک
- فٹ
- پانچ
- فلیٹ
- لچک
- کے بعد
- کے لئے
- مجبور
- ملا
- فریم
- فریم ورک
- فریم ورک
- اکثر
- سے
- تقریب
- مزید
- مزید برآں
- مستقبل
- جنرل
- GitHub کے
- دی
- Go
- گورننس
- زیادہ سے زیادہ
- گروپ کا
- تھا
- ہینڈل
- ہینڈلنگ
- ہوا
- ہے
- he
- مدد
- مدد کرتا ہے
- ہائی
- اعلی کارکردگی
- اعلی
- انتہائی
- کی ڈگری حاصل کی
- افقی
- HOURS
- کس طرح
- تاہم
- HTML
- HTTP
- HTTPS
- سینکڑوں
- مثالی
- if
- وضاحت کرتا ہے
- نفاذ
- اہم
- بہتر
- بہتری
- in
- سمیت
- شمولیت
- اضافہ
- اضافہ
- ناگزیر
- انفرادی
- صنعت کے معروف
- انفراسٹرکچر
- ذاتی، پیدائشی
- شروع کرتا ہے
- جدت طرازی
- جدید
- ان پٹ
- مثال کے طور پر
- واقعات
- ضم
- ضم
- انضمام کرنا
- انضمام
- انٹرایکٹو
- مداخلت
- انٹرمیڈیٹ
- اندرونی
- میں
- پیچیدہ
- کی تحقیقات
- الگ الگ
- تنہائی
- مسائل
- IT
- میں
- ایوب
- نوکریاں
- میں شامل
- شامل ہو گئے
- سفر
- فوٹو
- نہیں
- بڑے
- بڑے
- آخر میں
- تاخیر
- شروع
- سیکھنے
- لیجر
- کی وراست
- کم
- آو ہم
- سطح
- لائبریریوں
- جھوٹ ہے
- زندگی
- کی طرح
- فہرست
- محل وقوع
- منطق
- لانگ
- لو
- کم
- مشین
- مشین لرننگ
- مشینیں
- بنا
- بنانا
- میں کامیاب
- انتظام
- مینیجنگ
- ہراساں کرنا
- بہت سے
- مارکنگ
- ماسٹر
- مواد
- زیادہ سے زیادہ
- مئی..
- نظام
- یاد داشت
- پیغامات
- ہجرت کرنا
- منتقلی
- دس لاکھ
- برا
- کم سے کم
- کم سے کم
- منٹ
- ML
- موڈ
- جدیدیت
- جدید خطوط پر استوار
- طریقوں
- نگرانی
- یادگار
- زیادہ
- منتقل
- فلم
- ایک سے زیادہ
- ضروری
- فطرت، قدرت
- تشریف لے جارہا ہے
- ضرورت ہے
- ضرورت
- ضروریات
- نئی
- نئی ٹیکنالوجی
- نوڈ
- نوڈس
- قابل ذکر
- اب
- تعداد
- متعدد
- رکاوٹ
- حاصل
- of
- پیش کرتے ہیں
- کی پیشکش
- تجویز
- on
- ڈیمانڈ
- ایک
- صرف
- پر
- کھول
- اوپن سورس
- چل رہا ہے
- آپریشن
- آپریشنز
- زیادہ سے زیادہ
- اصلاح کے
- کی اصلاح کریں
- اصلاح
- اصلاح کرتا ہے
- اصلاح
- اختیار
- آپشنز کے بھی
- or
- تنظیم
- تنظیمیں
- دیگر
- ہمارے
- باہر
- پیداوار
- باہر
- پر
- مجموعی طور پر
- ملکیت
- pandas
- متوازی
- حصہ
- خاص طور پر
- خاص طور پر
- زیر التواء
- فی
- انجام دینے کے
- کارکردگی
- کارکردگی
- ادوار
- اٹھا
- محور
- مقامات
- منصوبہ
- پلیٹ فارم
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- امکانات
- ممکن
- پوسٹ
- طاقت
- طاقتور
- بجلی گھر
- عملی
- طریقوں
- کو ترجیح دیتے ہیں
- کی روک تھام
- پچھلا
- قیمت
- پرائمری
- پرنسپل
- عمل
- عملدرآمد
- عمل
- پروسیسنگ
- حاصل
- پروگرام
- پروگرامنگ
- منصوبوں
- فروغ دیتا ہے
- ثابت ہوتا ہے
- فراہم
- فراہم کرتا ہے
- فراہم کرنے
- خریداری
- مقاصد
- ازگر
- استفسار میں
- بھاگ گیا
- رینج
- لے کر
- پڑھیں
- مناسب
- سفارش کی
- مفاہمت
- صلح کرنا
- ریکارڈ
- کو کم
- کو کم کرنے
- کا حوالہ دیتے ہیں
- دوبارہ ایجاد
- متعلقہ
- وشوسنییتا
- رپورٹ
- درخواست
- درخواستوں
- کی ضرورت
- ضرورت
- ضروریات
- محفوظ
- لچکدار
- کے حل
- وسائل
- وسائل
- ذمہ دار
- برقرار رکھتا ہے
- رسک
- مضبوط
- مضبوطی
- رن
- چل رہا ہے
- چلتا ہے
- رن ٹائم
- اسی
- اسکیل ایبلٹی
- توسیع پذیر
- پیمانے
- سکیلنگ
- منظرنامے
- شیڈولنگ
- ہموار
- بغیر کسی رکاوٹ کے
- سیکنڈ
- سیکورٹی
- دیکھنا
- کی تلاش
- حساسیت
- بے سرور
- سرورز
- سروس
- سروسز
- مقرر
- مشترکہ
- ہونا چاہئے
- شوز
- اہم
- سادہ
- آسان بناتا ہے۔
- ساتھ ساتھ
- بیک وقت
- ایک
- سائز
- سائز
- سست
- سنیپشاٹ
- سافٹ ویئر کی
- سوفٹ ویئر کی نشوونما
- سافٹ ویئر پلیٹ فارم
- حل
- حل
- ماخذ
- چنگاری
- مخصوص
- خاص طور پر
- مخصوص
- تیزی
- رفتار
- کمرشل
- SQL
- کھڑا ہے
- شروع
- شروع
- بیانات
- مرحلہ
- مراحل
- ذخیرہ
- ذخیرہ
- پردہ
- براہ راست
- حکمت عملی
- سلسلہ بندیاں۔
- جمع
- اس طرح
- موزوں
- اعلی
- حمایت
- امدادی
- کے نظام
- درزی
- موزوں
- لے لو
- لیا
- ٹاسک
- tco
- ٹیموں
- تکنیک
- ٹیکنالوجی
- شرائط
- گا
- سے
- کہ
- ۔
- مبادیات
- مستقبل
- ان
- تو
- یہ
- وہ
- اس
- ان
- تین
- کے ذریعے
- تھرو پٹ
- وقت
- اوقات
- کرنے کے لئے
- رواداری
- لیا
- کے آلے
- کل
- روایتی
- معاملات
- تبدیل
- تبدیلی
- دو
- قسم
- اقسام
- کے تحت
- بنیادی
- منفرد
- یونٹس
- لا محدود
- بے مثال
- بے مثال
- us
- استعمال
- استعمال کی شرائط
- استعمال کیس
- صارفین
- استعمال
- کا استعمال کرتے ہوئے
- استعمال
- متغیر
- مختلف اقسام کے
- مختلف
- وسیع
- اس بات کی تصدیق
- تصدیق کرنا
- ورسٹائل
- عمودی
- عمودی طور پر
- کی طرف سے
- قابل عمل
- انتظار
- چاہتے تھے
- تھا
- دیکھ
- we
- ویب
- ویب خدمات
- اچھا ہے
- تھے
- جب
- چاہے
- جس
- وسیع
- گے
- ساتھ
- کے اندر
- بغیر
- کام
- آپ
- اور
- زیفیرنیٹ