ایمیزون ایم ایس کے کنیکٹ Apache Kafka Connect کے لیے مکمل طور پر منظم سروس ہے۔ چند کلکس کے ساتھ، MSK کنیکٹ آپ کو ایسے کنیکٹرز کو تعینات کرنے کی اجازت دیتا ہے جو اپاچی کافکا اور بیرونی سسٹمز کے درمیان ڈیٹا منتقل کرتے ہیں۔
MSK Connect اب MSK Connect ورکر کنفیگریشنز، ٹیگ ریسورسز کو ڈیلیٹ کرنے اور ورکر کنفیگریشنز اور کسٹم پلگ ان کا استعمال کرنے کی صلاحیت کو سپورٹ کرتا ہے۔ AWS کلاؤڈ فارمیشن. ایک ساتھ مل کر، یہ نئی صلاحیتیں آپ کے MSK Connect وسائل کو منظم کرنے اور CI/CD پائپ لائنوں کے ذریعے خودکار تعیناتیوں کو سیدھا بناتی ہیں۔
MSK Connect بنیادی ڈھانچے کے انتظام کی مہارت کی ضرورت کے بغیر نجی کنکشن کے ذریعے اپاچی کافکا تک ڈیٹا کو سٹریم کرنا آسان بناتا ہے۔ چند کلکس کے ساتھ، آپ کنیکٹرز کو تعینات کر سکتے ہیں۔ ایمیزون S3 سنک کنیکٹر پر سٹریمنگ ڈیٹا لوڈ کرنے کے لیے ایمیزون سادہ اسٹوریج سروس (ایمیزون S3)، جیسے تیسرے فریق کے ذریعہ تیار کردہ کنیکٹرز کو تعینات کریں۔ ڈیبیزیم اپاچی کافکا میں ڈیٹا بیس سے لاگز کو تبدیل کرنے کے لیے، یا اپنے استعمال کے کیس کے لیے اپنی مرضی کے مطابق اپنا کنیکٹر تعینات کریں۔
MSK Connect بیرونی سسٹمز یا AWS سروسز کو Apache Kafka کے ساتھ مربوط کرتا ہے ڈیٹا سورس سے اسٹریمنگ ڈیٹا کو آپ کے Apache Kafka کلسٹر میں مسلسل کاپی کرکے، یا آپ کے Apache Kafka کلسٹر سے ڈیٹا کو ڈیٹا سنک میں مسلسل کاپی کرکے۔ کنیکٹر ہلکے وزن کے کام بھی انجام دے سکتا ہے جیسے کہ تبدیلی، فارمیٹ کی تبدیلی، یا ڈیٹا کو کسی منزل تک پہنچانے سے پہلے ڈیٹا کو فلٹر کرنا۔ آپ کنیکٹر بنانے کے لیے ایک پلگ ان استعمال کر سکتے ہیں۔ یہ حسب ضرورت پلگ ان وسائل ہیں جن میں کوڈ ہوتا ہے جو کنیکٹر منطق کی وضاحت کرتا ہے۔
MSK کنیکٹ کے بنیادی اجزاء ہیں۔ کارکنوں. ہر کارکن جاوا ورچوئل مشین (JVM) عمل ہے جو فراہم کردہ ورکر کنفیگریشن کی بنیاد پر کنیکٹر لاجک چلاتا ہے۔ ورکر کنفیگریشن وہ وسائل ہیں جن میں آپ کے کنیکٹر کنفیگریشن کی خصوصیات ہوتی ہیں جنہیں متعدد کنیکٹرز میں دوبارہ استعمال کیا جا سکتا ہے۔ ہر کارکن کاموں کے ایک سیٹ پر مشتمل ہوتا ہے جو ڈیٹا کو متوازی طور پر کاپی کرتا ہے۔
آج، ہم MSK Connect میں تین نئی صلاحیتوں کا اعلان کر رہے ہیں:
- کارکن کنفیگریشنز کو حذف کرنے کی صلاحیت
- وسائل کی گروپ بندی، لاگت مختص اور رپورٹنگ، اور ٹیگ پر مبنی پالیسیوں کے ساتھ رسائی کے کنٹرول کو فعال کرنے کے لیے ریسورس ٹیگز کے لیے سپورٹ
- ورکر کنفیگریشنز اور کسٹم پلگ انز کو منظم کرنے کے لیے AWS CloudFormation میں سپورٹ
مندرجہ ذیل حصوں میں، ہم نئی خصوصیات کو مزید تفصیل سے دیکھتے ہیں۔
ورکر کنفیگریشنز کو حذف کریں۔
انضمام کے لیے کنیکٹر ایمیزون نے اپاچی کافکا کے لیے سٹریمنگ کا انتظام کیا۔ (ایمیزون MSK) دیگر AWS اور شراکت دار خدمات کے ساتھ عام طور پر ورکر کنفیگریشن (پہلے سے طے شدہ یا اپنی مرضی کے مطابق) کا استعمال کرتے ہوئے بنائے جاتے ہیں۔ یہ کنفیگریشنز کنیکٹرز کی تخلیق اور ڈیلیٹ کرنے کے ساتھ بڑھ سکتی ہیں، ممکنہ طور پر کنفیگریشن مینجمنٹ کے مسائل پیدا کر سکتی ہیں۔
اب آپ غیر استعمال شدہ کنفیگریشنز کو حذف کرنے کے لیے ڈیلیٹ ورکر کنفیگریشن API کا استعمال کر سکتے ہیں۔ سروس کنفیگریشن کو حذف کرنے سے پہلے چیک کرتی ہے کہ ورکر کنفیگریشن کسی کنیکٹر کے استعمال میں نہیں ہے۔ مزید برآں، اب آپ ورکر کنفیگریشنز اور کسٹم پلگ ان کی فہرست کے لیے ایک سابقہ فلٹر استعمال کر سکتے ہیں ListWorkerConfigurations
اور ListCustomPlugins
API کالز۔ سابقہ فلٹر آپ کو انتخابی وسائل کو سابقہ سے شروع ہونے والے ناموں کے ساتھ فہرست کرنے کی اجازت دیتا ہے تاکہ آپ فوری منتخب حذف کو انجام دے سکیں۔
نئے ڈیلیٹ API کو جانچنے کے لیے، درج ذیل مراحل کو مکمل کریں:
- Amazon MSK کنسول پر، ایک نئی ورکر کنفیگریشن بنائیں۔
- نام اور اختیاری وضاحت فراہم کریں۔
- میں کارکن کی ترتیب سیکشن، اپنا کنفیگریشن کوڈ درج کریں۔
کنفیگریشن بنانے کے بعد، a خارج کر دیں آپشن کنفیگریشن ڈیٹیل پیج پر دستیاب ہے (مندرجہ ذیل اسکرین شاٹ دیکھیں) اگر کنفیگریشن کسی کنیکٹر میں استعمال نہیں ہو رہی ہے۔
اس نئے API کو سپورٹ کرنے کے لیے، ایک اضافی workerConfigurationState
شامل کر دیا گیا ہے، تاکہ آپ ورکر کنفیگریشن کی حالت کو زیادہ آسانی سے ٹریک کر سکیں۔ یہ نئی حالت API کال کے جوابات میں واپس کی جائے گی۔ CreateWorkerConfiguration, DescribeWorkerConfiguration, and ListWorkerConfigurations.
- میں سے انتخاب کریں خارج کر دیں کارکن کی ترتیب کو حذف کرنے کے لیے۔
- تصدیقی پاپ اپ میں، ورکر کنفیگریشن کا نام درج کریں، پھر منتخب کریں۔ خارج کر دیں.
اگر ورکر کنفیگریشن کسی کنیکٹر کے ساتھ استعمال ہو رہی ہے، خارج کر دیں آپشن غیر فعال ہے، جیسا کہ درج ذیل اسکرین شاٹ میں دکھایا گیا ہے۔
وسائل کے ٹیگز
MSK Connect کو اب ریسورس ٹیگز کے لیے بھی سپورٹ حاصل ہے۔ ٹیگز کلیدی قدر کے میٹا ڈیٹا ہیں جو AWS سروس کے وسائل سے منسلک ہو سکتے ہیں۔ آپ کنیکٹرز، کسٹم پلگ انز، اور ورکر کنفیگریشنز میں ٹیگز شامل کر سکتے ہیں تاکہ AWS سروسز میں استعمال ہونے والے وسائل کو منظم اور تلاش کیا جا سکے۔ مندرجہ ذیل اسکرین شاٹس میں، ہماری مثال MSK کنیکٹ کنیکٹر، پلگ ان، اور ورکر کنفیگریشن کو ریسورس ٹیگ کلید کے ساتھ ٹیگ کیا گیا ہے۔ project
اور قدر demo-tags.
اب آپ اپنا ٹیگ کر سکتے ہیں۔ ایمیزون لچکدار کمپیوٹ کلاؤڈ (Amazon EC2) اور Amazon S3 وسائل اسی پروجیکٹ کے نام کے ساتھ، مثال کے طور پر۔ اس کے بعد آپ اس مخصوص پروجیکٹ سے منسلک تمام وسائل کو تلاش کرنے کے لیے ٹیگ کا استعمال کر سکتے ہیں تاکہ لاگت مختص کرنے، رپورٹنگ، وسائل کی گروپ بندی، یا رسائی کنٹرول کے لیے۔ MSK Connect وسائل تخلیق کرتے وقت ٹیگ شامل کرنے، موجودہ وسائل پر ٹیگ لگانے، وسائل سے ٹیگ ہٹانے، اور وسائل سے وابستہ ٹیگز کے بارے میں استفسار کرنے میں معاونت کرتا ہے۔
AWS کلاؤڈ فارمیشن سپورٹ
پہلے، آپ موجودہ ورکر کنفیگریشن کا استعمال کرتے ہوئے صرف AWS CloudFormation کے ساتھ MSK Connect کنیکٹر فراہم کرنے کے قابل تھے۔ اس نئی خصوصیت کے ساتھ، آپ اب کنیکٹرز پر تخلیق، پڑھ، اپ ڈیٹ، حذف، اور فہرست آپریشنز انجام دے سکتے ہیں، اور AWS CloudFormation کا استعمال کرتے ہوئے نئی ورکر کنفیگریشن بنا اور شامل کر سکتے ہیں۔
درج ذیل کوڈ ورکر کنفیگریشن بنانے کی ایک مثال ہے۔
{
"Type": "AWS::KafkaConnect::WorkerConfiguration"
"Properties":{
"Name": "WorkerConfigurationName",
"Description": "WorkerConfigurationDescription",
"PropertiesFileContent": String,
"Tags": [Tag,…],
}
}
واپسی کی قدریں درج ذیل ہیں:
- نو تخلیق شدہ ورکر کنفیگریشن کا ARN
- نئے کارکن کی ترتیب کی حالت
- نئے کارکن کی تشکیل کا وقت
- نئی ورکر کنفیگریشن کی تازہ ترین نظرثانی
نتیجہ
MSK کنیکٹ ایک مکمل طور پر منظم سروس ہے جو مطلوبہ وسائل فراہم کرتی ہے، کنیکٹرز کی صحت اور ترسیل کی حالت کی نگرانی کرتی ہے، بنیادی ہارڈ ویئر کو برقرار رکھتی ہے، اور کام کے بوجھ کو متوازن کرنے کے لیے آٹو اسکیل کنیکٹرز۔ اس پوسٹ میں، ہم نے ایم ایس کے کنیکٹ میں شامل کی گئی نئی خصوصیات پر تبادلہ خیال کیا، جو ورکر کنفیگریشنز کو حذف کرنے، MSK کنیکٹ کے وسائل کو ٹیگ کرنے، اور نان ڈیفالٹ ورکر کنفیگریشنز بنانے کے لیے AWS CloudFormation میں تعاون کے لیے APIs کے تعارف کے ساتھ کنیکٹر اور ورکر مینجمنٹ کو ہموار کرتی ہیں۔
یہ صلاحیتیں تمام AWS علاقوں میں دستیاب ہیں جہاں Amazon MSK Connect دستیاب ہے۔ علاقے کی دستیابی کی فہرست کے لیے، رجوع کریں۔ علاقے کے لحاظ سے AWS خدمات. MSK کنیکٹ کے بارے میں مزید جاننے کے لیے، ملاحظہ کریں۔ ایمیزون ایم ایس کے کنیکٹ ڈویلپر گائیڈ.
مصنفین کے بارے میں
چنمئی نرسمہادیورا ایمیزون ویب سروسز پر بگ ڈیٹا اور تجزیات پر توجہ مرکوز کرنے والا ایک حل آرکیٹیکٹ ہے۔ چنمئی کو انفارمیشن ٹیکنالوجی میں 20 سال سے زیادہ کا تجربہ ہے۔ وہ AWS صارفین کو جدید، انتہائی قابل توسیع اور پرفارمنس حل بنانے میں مدد کرتی ہے۔
ہریتا پپو کیلیفورنیا میں مقیم ٹیکنیکل اکاؤنٹ مینیجر ہے۔ اسے سافٹ ویئر انڈسٹری کی تعمیر اور اسکیلنگ ایپلی کیشنز میں کام کرنے کا 18 سال سے زیادہ کا تجربہ ہے۔ وہ نئی ٹکنالوجیوں کے بارے میں پرجوش ہے اور صارفین کو لاگت کی اصلاح اور آپریشنل فضیلت حاصل کرنے میں مدد کرنے پر توجہ مرکوز کرتی ہے۔
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
- پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
- پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://aws.amazon.com/blogs/big-data/introducing-enhanced-functionality-for-worker-configuration-management-in-amazon-msk-connect/
- : ہے
- : ہے
- : نہیں
- :کہاں
- 100
- 20
- 20 سال
- 4
- a
- کی صلاحیت
- قابلیت
- ہمارے بارے میں
- تک رسائی حاصل
- اکاؤنٹ
- حاصل
- کے پار
- شامل کریں
- شامل کیا
- انہوں نے مزید کہا
- ایڈیشنل
- اس کے علاوہ
- اعلی درجے کی
- تمام
- تین ہلاک
- کی اجازت دیتا ہے
- بھی
- ایمیزون
- ایمیزون EC2
- ایمیزون ویب سروسز
- an
- تجزیاتی
- اور
- اعلان
- کوئی بھی
- اپاچی
- اپاچی کافکا
- اے پی آئی
- APIs
- ایپلی کیشنز
- درخواست دینا
- کیا
- AS
- منسلک
- At
- آٹو
- خود کار طریقے سے
- دستیابی
- دستیاب
- AWS
- AWS کلاؤڈ فارمیشن
- متوازن
- کی بنیاد پر
- BE
- رہا
- اس سے پہلے
- کیا جا رہا ہے
- کے درمیان
- بگ
- بگ ڈیٹا
- تعمیر
- عمارت
- by
- کیلی فورنیا
- فون
- کالز
- کر سکتے ہیں
- صلاحیتوں
- کیس
- تبدیل
- چیک
- میں سے انتخاب کریں
- کلسٹر
- کوڈ
- مکمل
- اجزاء
- پر مشتمل
- کمپیوٹنگ
- ترتیب
- ترتیب
- تصدیق کے
- رابطہ قائم کریں
- کنکشن
- کنیکٹر
- کنسول
- پر مشتمل ہے
- مسلسل
- کنٹرول
- تبادلوں سے
- کاپی
- کاپی
- قیمت
- تخلیق
- بنائی
- تخلیق
- مخلوق
- اپنی مرضی کے
- گاہکوں
- اپنی مرضی کے مطابق
- اعداد و شمار
- ڈیٹا بیس
- پہلے سے طے شدہ
- وضاحت کرتا ہے
- حذف
- حذف کرتا ہے
- ترسیل
- ترسیل
- تعیناتی
- تعینات
- تفصیل
- منزل
- تفصیل
- ترقی یافتہ
- ڈیولپر
- غیر فعال کر دیا
- بات چیت
- ہر ایک
- آسانی سے
- بے سہل
- کو فعال کرنا
- بہتر
- درج
- Ether (ETH)
- مثال کے طور پر
- ایکسیلنس
- موجودہ
- تجربہ
- مہارت
- بیرونی
- نمایاں کریں
- خصوصیات
- چند
- فلٹر
- فلٹرنگ
- مل
- توجہ مرکوز
- کے بعد
- مندرجہ ذیل ہے
- کے لئے
- فارمیٹ
- سے
- مکمل طور پر
- افعال
- فعالیت
- بڑھائیں
- ہارڈ ویئر
- ہے
- صحت
- مدد
- مدد کرتا ہے
- انتہائی
- HTML
- HTTP
- HTTPS
- if
- in
- صنعت
- معلومات
- انفارمیشن ٹیکنالوجی
- انفراسٹرکچر
- انٹیگریٹٹس
- انضمام کرنا
- میں
- متعارف کرانے
- تعارف
- مسائل
- IT
- اعلی درجے کا Java
- JPEG
- فوٹو
- kafka
- کلیدی
- جانیں
- ہلکا پھلکا
- کی طرح
- منسلک
- لسٹ
- لوڈ کر رہا ہے
- منطق
- دیکھو
- مشین
- برقرار رکھتا ہے
- بنا
- بناتا ہے
- انتظام
- میں کامیاب
- انتظام
- مینیجر
- میٹا ڈیٹا
- نظر رکھتا ہے
- زیادہ
- منتقل
- ایک سے زیادہ
- نام
- نام
- نئی
- نئی سہولت
- نئی خصوصیات
- نئی ٹیکنالوجی
- نیا
- اب
- of
- on
- صرف
- آپریشنل
- آپریشنز
- اصلاح کے
- اختیار
- or
- دیگر
- ہمارے
- باہر
- پر
- خود
- صفحہ
- متوازی
- خاص طور پر
- جماعتوں
- پارٹنر
- جذباتی
- انجام دینے کے
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- رابطہ بحال کرو
- پلگ ان
- پاپ اپ
- پوسٹ
- ممکنہ طور پر
- پرائمری
- نجی
- عمل
- منصوبے
- خصوصیات
- فراہم
- پراجیکٹ
- فوری
- پڑھیں
- کا حوالہ دیتے ہیں
- خطے
- خطوں
- کو ہٹانے کے
- رپورٹ
- ضرورت
- وسائل
- وسائل
- جوابات
- واپسی
- دوبارہ استعمال
- چلتا ہے
- اسی
- توسیع پذیر
- ترازو
- سکیلنگ
- اسکرین شاٹس
- تلاش کریں
- سیکشن
- سیکشنز
- دیکھنا
- انتخابی
- سروس
- سروسز
- مقرر
- وہ
- دکھایا گیا
- سادہ
- So
- سافٹ ویئر کی
- حل
- ماخذ
- شروع
- حالت
- مراحل
- ذخیرہ
- براہ راست
- سٹریم
- محرومی
- کارگر
- سلک
- اس طرح
- حمایت
- کی حمایت کرتا ہے
- سسٹمز
- TAG
- کاموں
- ٹیکنیکل
- ٹیکنالوجی
- ٹیکنالوجی
- ٹیسٹ
- کہ
- ۔
- ریاست
- تو
- یہ
- تھرڈ
- تیسرے فریقوں
- اس
- تین
- کے ذریعے
- وقت
- کرنے کے لئے
- مل کر
- ٹریک
- تبدیلی
- قسم
- بنیادی
- غیر استعمال شدہ
- اپ ڈیٹ کریں
- استعمال کی شرائط
- استعمال کیس
- استعمال کیا جاتا ہے
- کا استعمال کرتے ہوئے
- عام طور پر
- قیمت
- اقدار
- مجازی
- مجازی مشین
- دورہ
- we
- ویب
- ویب خدمات
- تھے
- جب
- جس
- گے
- ساتھ
- بغیر
- کارکن
- کام کر
- سال
- آپ
- اور
- زیفیرنیٹ