إدارة حدود إنتاجية حجم Amazon EBS في مجالات Amazon OpenSearch Service | خدمات ويب أمازون

في منشور المدونة هذا، نناقش تأثير متجر أمازون مطاط بلوك (Amazon EBS) حجم IOPS وحدود الإنتاجية قيد التشغيل خدمة Amazon OpenSearch المجال وكيفية منع/تخفيف حالة اختناق الإنتاجية.

Amazon OpenSearch Service هي خدمة مُدارة تسهل عليك إجراء عمليات البحث في موقع الويب، وتحليلات السجل التفاعلية، ومراقبة التطبيقات في الوقت الفعلي، والمزيد. استنادًا إلى مجموعة OpenSearch مفتوحة المصدر، تسمح لك Amazon OpenSearch Service بالبحث والتصور والتحليل لما يصل إلى بيتابايت من النص والبيانات غير المنظمة.

يحتوي مجال خدمة OpenSearch في المقام الأول على العقد مع مجموعة الأدوار التالية.

• مدير المجموعة (سيد مخصص): مسؤول عن إدارة المجموعة والتحقق من صحة عقد البيانات في المجموعة.
• البيانات: مسؤول عن خدمة طلبات البحث والفهرسة وتخزين البيانات المفهرسة.
• دافئ للغاية: العقد التي تستخدم Amazon S3 كمخزن دعم لتوفير مساحة تخزين أقل تكلفة.

عند إنشاء مجال خدمة OpenSearch، فإنك تختار مساحة تخزين عقد البيانات ذات النطاق المحلي الذاكرة السريعة غير المتطايرة (NVMe) أو مع مجلدات أمازون EBS.

إذا كان تخزين عقدة بيانات OpenSearch Service مدعومًا بوحدات تخزين Amazon EBS، اعتمادًا على عبء العمل الخاص بك، فيمكن أن يؤثر إنتاجية EBS بشكل كبير على أداء مجال OpenSearch Service. يتم تحديد مقياس أداء حجم EBS من خلال المعلمتين الرئيسيتين التاليتين.

• IOPS يحدد عدد عمليات الإدخال والإخراج التي يتم إجراؤها في الثانية.
• الإنتاجية هو مقياس لكمية البيانات التي يمكن نقلها في فترة زمنية معينة. وعادة ما يتم قياسه بالبايت في الثانية.

عندما ينتهك IOPS أو إنتاجية عقدة البيانات الحد الأقصى المسموح به لوحدة تخزين EBS أو مثيل EC2 لعقدة البيانات، فإن مجال خدمة OpenSearch Service يواجه IOPS أو اختناق الإنتاجية. يمكن أن يؤدي هذا إلى زمن وصول مرتفع للبحث والفهرسة وفي أسوأ سيناريو لتعطل العقدة أيضًا.

الحد الأقصى المسموح به لـ IOPS والإنتاجية لعقدة البيانات

الحد الأقصى المسموح به لقيمة IOPS أو الإنتاجية لعقدة البيانات في مجال خدمة OpenSearch هو الحد الأدنى من القيمتين التاليتين.

تقييد الإنتاجية وتأثيرها على مجال Amazon OpenSearch Service

يحدث اختناق الإنتاجية عندما يتجاوز إجمالي إنتاجية EBS على عقدة البيانات الحد الأقصى لقيمة الإنتاجية المسموح بها لعقدة البيانات هذه في مجال خدمة OpenSearch.

يمكن رؤية مقياس ThroughputThrottle للمجال أو العقدة في وحدة تحكم Amazon CloudWatch في الموقع التالي.

• المجال: "ES/OpenSearchService > مقاييس لكل مجال ولكل عميل"
• العقدة: "ES/OpenSearchService > معرف العميل، اسم المجال، NodeId"

تشير قيمة 1 في مقياس ThroughputThrottle إلى حدث تقييد للمجال أو العقدة.

إذا واجهت عقدة بيانات في المجال اختناقًا في الإنتاجية لفترة متسقة، فقد يؤدي ذلك إلى تدهور الأداء التالي لعقدة البيانات.

• أداء أبطأ لحجم EBS.
• زمن انتقال عالي للقراءة/الكتابة.

يمكن أن يؤثر هذا على عمليات التحقق التي يقوم بها مدير الكتلة أو عقدة البيانات. يمكن أن يؤدي إلى:

• فشل فحص صحة FS (نظام الملفات) بواسطة عقدة البيانات.
• فشل التحقق من التابع الذي أجراه مدير المجموعة بسبب زمن الوصول العالي للطلب.

سيؤدي هذا إلى قيام مدير المجموعة بوضع علامة على عقد البيانات هذه على أنها غير صحية، مما يؤدي إلى إزالة عقدة البيانات من المجموعة. يمكن أن يؤدي هذا إلى حالة كتلة صفراء أو حمراء.

حساب قيمة الإنتاجية

إجمالي الإنتاجية لعقدة البيانات هو إجمالي وحدات البايت المقروءة والمكتوبة إلى وحدة تخزين EBS في الثانية. توفر المقاييس التالية إنتاجية القراءة والكتابة لعقدة البيانات في مجال Amazon Opensearch Service.

يتم حساب إجمالي الإنتاجية لعقدة البيانات في مجال خدمة OpenSearch على النحو التالي.

Throughput = ReadThroughputMicroBursting + WriteThroughputMicroBursting

للحصول على إجمالي الإنتاجية لعقدة البيانات، اتبع الخطوات التالية.

1. انتقل إلى مقاييس Amazon Cloudwatch.
2. انتقل إلى البرنامج المساعد في التأليف  ES/OpenSearchService > معرف العميل، اسم المجال، NodeId.
3. أختار قراءةThroughputMicroBursting و WriteThroughputMicroBursting قياس.
4. انتقل إلى البرنامج المساعد في التأليف المقاييس الرسومية.
5. استعمل أضف الرياضيات وإنشاء الصيغ لمجموع قراءةThroughputMicroBursting و WriteThroughputMicroBursting القيم.

التعامل مع خنق الإنتاجية

عندما يتم انتهاك الحد الأقصى المسموح به من الإنتاجية على عقدة البيانات في مجال خدمة OpenSearch، أ خنق إنتاجية القرص يتم إرسال الإشعار إلى وحدة تحكم AWS. يمكن أن يحدث اختناق الإنتاجية على عقدة البيانات لأسباب مختلفة، مثل ما يلي.

• زيادة مفاجئة في معدل المؤشر or معدل البحث إلى عقدة البيانات الخاصة بمجال خدمة OpenSearch.
• A أزرق أخضر حدث يحدث في مجال خدمة OpenSearch أثناء ساعات الذروة.
• نطاق خدمة OpenSearch أقل من الحجم المطلوب.

نقترح الإجراءات التالية لمنع اختناق الإنتاجية لمجال خدمة OpenSearch.

• راقب حركة المرور إلى مجال خدمة OpenSearch وقم بإنشاء تنبيهات على حركة البحث وفهرسة المرسلة إلى مجال خدمة OpenSearch.
• اقامة خارج ساعات الذروة لمجال خدمة OpenSearch بحيث يتم إجراء التحديثات التي تؤدي إلى أزرق أخضر يتم تنفيذ عمليات النشر عندما يكون الطلب أقل.
• مراقبة خنق الإنتاجية مقاييس المجموعة لمجال خدمة OpenSearch.
• مراقبة انحراف القشرة لمجال خدمة البحث المفتوح. يمكن أن يؤدي انحراف التجزئة إلى توزيع غير متساوٍ لتحميل حركة المرور إلى عقد البيانات ويمكن أن يؤدي إلى عقد فعالة في المجموعة، والتي يمكن أن تواجه حركة مرور عالية للفهرسة والبحث مما يؤدي إلى الاختناق.
• إذا كنت تصل إلى حدود إنتاجية مثيل EBS Volume أو EC2 لعقدة البيانات، فسوف تحتاج إلى توسيع نطاق خدمة OpenSearch Service لتجنب اختناق الإنتاجية. تحقق من الحدود المقدمة من مجلدات EBS و   تم تحسين أمازون EBS المثيلات التي تستخدمها عقدة البيانات وتوسيع نطاق مجموعة OpenSearch وفقًا لذلك.

يتطلب كل سيناريو تحقيقًا محددًا واتخاذ الإجراءات المناسبة لحله. ومع ذلك، فإننا نقترح الإرشادات التالية كجزء من نهج أوسع للتعامل مع خنق الإنتاجية.

• إذا تمت رؤية إنتاجية عالية على مجموعة محددة من عقد البيانات في معظم الأوقات، فقد يكون انحراف الجزء هو سبب العقد الساخنة. في مثل هذه الحالات، فإن حل انحراف القشرة سيساعد في حل المشكلة.
• إذا كان مجال خدمة OpenSearch يواجه أنماطًا غير متساوية لحركة المرور، فتحقق من وجود تدفقات مفاجئة تؤدي إلى الاختناق. في مثل هذه السيناريوهات، يمكن أن يكون تبسيط نمط حركة المرور مفيدًا.
• إذا تمت رؤية اختناق الإنتاجية في معظم العقد الموجودة في المجموعة ذات أنماط حركة مرور متسقة، فيجب مراعاة توسيع نطاق خدمة OpenSearch Service.

وفي الختام

في هذا المنشور، تناولنا اختناق إنتاجية Amazon EBS في مجال خدمة OpenSearch وتأثيرها وطرق مراقبتها والتعامل معها. لقد قدمنا ​​​​الاقتراحات التي يمكن استخدامها للتعامل مع هذا حالات الاختناق.

روابط ذات علاقة

---

حول المؤلف

برانيت كومار هو مهندس أول لتطوير البرمجيات يعمل على OpenSearch في Amazon Web Services. وهو مهتم بالأنظمة الموزعة وحل المشكلات المعقدة.

دروباجيوتي داس هو مدير هندسي يعمل على OpenSearch في Amazon Web Services. وهو مهتم بشدة بالأنظمة القابلة للتطوير والتحديات المتعلقة بالبنية التحتية.

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
• أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
• أفلاطون السيارات / المركبات الكهربائية ، كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
• أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
• تشارت بريم. ارفع مستوى لعبة التداول الخاصة بك مع ChartPrime. الوصول هنا.
• BlockOffsets. تحديث ملكية الأوفست البيئية. الوصول هنا.
• المصدر https://aws.amazon.com/blogs/big-data/managing-amazon-ebs-volume-throughput-limits-in-amazon-opensearch-service-domains/