Logstash সহ আপনার সূচীগুলি Amazon OpenSearch Serverless-এ স্থানান্তর করুন৷

আমরা সম্প্রতি সাধারণ প্রাপ্যতা ঘোষণা অ্যামাজন ওপেনসার্চ সার্ভারহীন , জন্য একটি নতুন বিকল্প আমাজন ওপেন সার্চ সার্ভিস এটি OpenSearch ক্লাস্টারগুলিকে কনফিগার, পরিচালনা বা স্কেল না করেই বৃহৎ-স্কেল অনুসন্ধান এবং বিশ্লেষণ কাজের লোড চালানো সহজ করে তোলে। OpenSearch Serverless এর সাথে, আপনি একটি সার্ভারহীন পরিবেশের সরলতার সাথে OpenSearch পরিষেবার মতো একই ইন্টারেক্টিভ মিলিসেকেন্ড প্রতিক্রিয়া সময় পান।

এই পোস্টে, আপনি শিখবেন কীভাবে আপনার বিদ্যমান সূচকগুলিকে একটি OpenSearch পরিষেবা পরিচালিত ক্লাস্টার ডোমেন থেকে Logstash ব্যবহার করে সার্ভারহীন সংগ্রহে স্থানান্তর করতে হয়।

OpenSearch ডোমেনগুলির সাথে, আপনি নিবেদিত, সুরক্ষিত ক্লাস্টারগুলি কনফিগার করা এবং মিনিটের মধ্যে আপনার কাজের চাপের জন্য অপ্টিমাইজ করা হয়৷ আপনার অ্যাপ্লিকেশনের জন্য খরচ এবং কর্মক্ষমতা অপ্টিমাইজ করতে ক্লাস্টারে কম্পিউট, মেমরি এবং স্টোরেজ রিসোর্সের কনফিগারেশনের উপর আপনার সম্পূর্ণ নিয়ন্ত্রণ আছে। ওপেনসার্চ সার্ভারলেস সার্চ এবং অ্যানালিটিক্স ওয়ার্কলোড চালানোর জন্য একটি আরও সহজ উপায় প্রদান করে—কোনও ক্লাস্টার সম্পর্কে চিন্তা না করে। আপনি কেবল একটি সংগ্রহ এবং সূচীগুলির একটি গোষ্ঠী তৈরি করুন এবং ডেটা গ্রহণ এবং অনুসন্ধান শুরু করতে পারেন।

সমাধান ওভারভিউ

Logstash ওপেন সোর্স সফ্টওয়্যার যা আপনার ডেটার জন্য ETL (এক্সট্রাক্ট, ট্রান্সফর্ম এবং লোড) প্রদান করে। আপনি ইনপুট এবং আউটপুট প্লাগইনগুলির মাধ্যমে একটি উত্স এবং একটি গন্তব্যের সাথে সংযোগ করতে Logstash কনফিগার করতে পারেন। এর মধ্যে, আপনি ফিল্টারগুলি কনফিগার করেন যা আপনার ডেটা রূপান্তর করতে পারে। একটি OpenSearch Service ডোমেন (ইনপুট) একটি OpenSearch Serverless সংগ্রহে (আউটপুট) সংযোগ করতে লগস্ট্যাশ সেট আপ করার জন্য এই পোস্টটি আপনাকে পদক্ষেপের মধ্য দিয়ে চলে।

আপনি Logstash এর কনফিগারেশন ফাইলে উৎস এবং গন্তব্য প্লাগইন সেট করুন। কনফিগার ফাইলের জন্য বিভাগ রয়েছে Input, Filter, এবং Output. একবার কনফিগার হয়ে গেলে, Logstash ওপেনসার্চ সার্ভিস ডোমেনে একটি অনুরোধ পাঠাবে এবং আপনি যে ক্যোয়ারীটি রেখেছেন সেই অনুযায়ী ডেটা পড়বে input অধ্যায়. OpenSearch Service থেকে ডেটা পড়ার পর, আপনি ঐচ্ছিকভাবে পরবর্তী পর্যায়ে পাঠাতে পারেন Filter ইনপুট ডেটা থেকে একটি ক্ষেত্র যোগ বা অপসারণ বা বিভিন্ন মান সহ একটি ক্ষেত্র আপডেট করার মতো রূপান্তরের জন্য। এই উদাহরণে, আপনি ব্যবহার করবেন না Filter প্লাগ লাগানো. পরবর্তী হল Output প্লাগ লাগানো. Logstash (Logstash OSS) এর ওপেন সোর্স সংস্করণ আপনার সংগ্রহে ডেটা আপলোড করতে বাল্ক API ব্যবহার করার একটি সুবিধাজনক উপায় প্রদান করে। OpenSearch সার্ভারলেস সমর্থন করে logstash-output-opensearch আউটপুট প্লাগইন, যা সমর্থন করে এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট ডেটা অ্যাক্সেস নিয়ন্ত্রণের জন্য (IAM) শংসাপত্র।

নিম্নলিখিত চিত্রটি আমাদের সমাধান কর্মপ্রবাহকে চিত্রিত করে।

পূর্বশর্ত

শুরু করার আগে, নিশ্চিত করুন যে আপনি নিম্নলিখিত পূর্বশর্তগুলি সম্পূর্ণ করেছেন:

1. আপনার OpenSearch Service ডোমেনের ARN, ব্যবহারকারীর নাম এবং পাসওয়ার্ড নোট করুন।
2. একটি OpenSearch সার্ভারহীন সংগ্রহ তৈরি করুন। আপনি যদি OpenSearch Serverless-এ নতুন হন, তাহলে পড়ুন অ্যামাজন ওপেনসার্চ সার্ভারলেস দিয়ে সহজ উপায়ে লগ বিশ্লেষণ করুন আপনার সংগ্রহ কিভাবে সেট আপ করতে হবে তার বিস্তারিত জানার জন্য।

OpenSearch এর জন্য Logstash এবং ইনপুট এবং আউটপুট প্লাগইন সেট আপ করুন

Logstash এবং আপনার প্লাগইন সেট আপ করতে নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

1. ডাউনলোড logstash-oss-with-opensearch-output-plugin. (এই উদাহরণটি ম্যাকোস-x64-এর জন্য ডিস্ট্রো ব্যবহার করে। অন্যান্য ডিস্ট্রোগুলির জন্য, দেখুন নিদর্শন.)

   wget https://artifacts.opensearch.org/logstash/logstash-oss-with-opensearch-output-plugin-8.4.0-macos-x64.tar.gz

2. ডাউনলোড করা টারবল বের করুন:

   tar -zxvf logstash-oss-with-opensearch-output-plugin-8.4.0-macos-x64.tar.gz
   cd logstash-8.4.0/

3. আপডেট করুন logstash-output-opensearch সর্বশেষ সংস্করণে প্লাগইন করুন:

   <path/to/your/logstash/root/directory>/bin/logstash-plugin update logstash-output-opensearch

4. ইনস্টল করুন logstash-input-opensearch প্লাগ লাগানো:

   <path/to/your/logstash/root/directory>/bin/logstash-plugin install logstash-input-opensearch

প্লাগইন পরীক্ষা করুন

আসুন অ্যাকশনে যাই এবং প্লাগইনটি কীভাবে কাজ করে তা দেখি। নিম্নলিখিত কনফিগারেশন ফাইল থেকে ডেটা পুনরুদ্ধার করে movies আপনার OpenSearch Service ডোমেনে সূচী এবং একই সূচক নামের সাথে আপনার OpenSearch Serverless সংগ্রহে থাকা ডেটাগুলিকে সূচী করে, movies.

একটি নতুন ফাইল তৈরি করুন এবং নিম্নলিখিত বিষয়বস্তু যোগ করুন, তারপর ফাইলটি হিসাবে সংরক্ষণ করুন opensearch-serverless-migration.conf. ওপেন সার্চ সার্ভিস ডোমেন এন্ডপয়েন্ট এর অধীনে মান প্রদান করুন হোস্ট, ব্যবহারকারীর নাম, এবং পাসওয়ার্ড মধ্যে input অধ্যায়, এবং OpenSearch Serverless সংগ্রহের শেষ পয়েন্টের বিশদ বিবরণের অধীনে হোস্ট সাথে REGION এর, AWS_ACCESS_KEY_ID, এবং AWS_SECRET_ACCESS_KEY মধ্যে output অধ্যায়.

input { opensearch { hosts => ["https://<HOST>:443"] user => "<USERNAME>" password => "<PASSWORD>" index => "movies" query => '{ "query": { "match_all": {}} }' }
}
output { opensearch { ecs_compatibility => disabled index => "movies" hosts => "<HOST>:443" auth_type => { type => 'aws_iam' aws_access_key_id => '<AWS_ACCESS_KEY_ID>' aws_secret_access_key => '<AWS_SECRET_ACCESS_KEY>' region => '<REGION>' service_name => 'aoss' } legacy_template => false default_server_major_version => 2 }
}

আপনি একটি প্রশ্ন নির্দিষ্ট করতে পারেন input পূর্ববর্তী কনফিগারেশনের বিভাগ। দ্য match_all ক্যোয়ারী সব তথ্য মেলে movies সূচক আপনি যদি ডেটার একটি উপসেট নির্বাচন করতে চান তবে আপনি ক্যোয়ারী পরিবর্তন করতে পারেন। আপনি বিভিন্ন ডেটা স্লাইস নির্দিষ্ট করে এমন কনফিগারের সাথে একাধিক Logstash প্রক্রিয়া চালিয়ে ডেটা স্থানান্তরকে সমান্তরাল করতে কোয়েরিটি ব্যবহার করতে পারেন। আপনি যদি একাধিক সূচকের বিরুদ্ধে Logstash প্রসেসগুলি চালিয়েও সমান্তরাল করতে পারেন।

Logstash শুরু করুন

Logstash শুরু করতে নিম্নলিখিত কমান্ড ব্যবহার করুন:

<path/to/your/logstash/root/directory>/bin/logstash -f <path/to/your/config/file>

আপনি কমান্ডটি চালানোর পরে, Logstash আপনার OpenSearch Service ডোমেন থেকে উৎস সূচক থেকে ডেটা পুনরুদ্ধার করবে এবং আপনার OpenSearch Serverless সংগ্রহে গন্তব্য সূচকে লিখবে। ডেটা স্থানান্তর সম্পূর্ণ হলে, Logstash বন্ধ হয়ে যায়। নিম্নলিখিত কোড দেখুন:

[2023-01-24T20:14:28,965][INFO][logstash.agent] Successfully
started Logstash API endpoint {:port=>9600, :ssl_enabled=>false}
…
…
[2023-01-24T20:14:38,852][INFO][logstash.javapipeline][main] Pipeline terminated {"pipeline.id"=>"main"}
[2023-01-24T20:14:39,374][INFO][logstash.pipelinesregistry] Removed pipeline from registry successfully {:pipeline_id=>:main}
[2023-01-24T20:14:39,399][INFO][logstash.runner] Logstash shut down.

OpenSearch Serverless-এ ডেটা যাচাই করুন

আপনি যাচাই করতে পারেন যে Logstash আপনার ডোমেনে এবং আপনার সংগ্রহে থাকা নথির সংখ্যার তুলনা করে আপনার সমস্ত ডেটা কপি করেছে৷ থেকে হয় নিম্নলিখিত ক্যোয়ারী চালান দেব সরঞ্জাম ট্যাব, বা সঙ্গে curl, postman, বা অনুরূপ HTTP ক্লায়েন্ট। নিম্নলিখিত ক্যোয়ারী আপনাকে থেকে সমস্ত নথি অনুসন্ধান করতে সাহায্য করে৷ movies সূচক এবং গণনা সহ শীর্ষ নথি প্রদান করে। ডিফল্টরূপে, OpenSearch নথির সংখ্যা সর্বাধিক 10,000 পর্যন্ত ফেরত দেবে। যোগ করা হচ্ছে track_total_hits নথির সংখ্যা 10,000 ছাড়িয়ে গেলে পতাকা আপনাকে নথির সঠিক গণনা পেতে সহায়তা করে।

GET movies/_search
{ "query": { "match_all": {} }, "track_total_hits" : true
}

উপসংহার

এই পোস্টে, আপনি Logstash এর OpenSearch ইনপুট এবং আউটপুট প্লাগইন ব্যবহার করে আপনার OpenSearch Service ডোমেন থেকে আপনার OpenSearch Serverless সংগ্রহে ডেটা স্থানান্তর করেছেন।

ওপেনসার্চ সার্ভারলেস ব্যবহার করে কার্যকর লগ বিশ্লেষণ এবং অনুসন্ধান সমাধান তৈরি করতে আপনার জন্য উপলব্ধ বিভিন্ন বিকল্পের উপর ফোকাস করে পোস্টগুলির একটি সিরিজের জন্য সাথে থাকুন। এছাড়াও আপনি উল্লেখ করতে পারেন Amazon OpenSearch Serverless দিয়ে শুরু করা OpenSearch Serverless সম্পর্কে আরও জানতে কর্মশালা।

এই পোস্ট সম্পর্কে আপনার মতামত থাকলে, মন্তব্য বিভাগে জমা দিন। আপনার যদি এই পোস্টটি সম্পর্কে প্রশ্ন থাকে তবে একটি নতুন থ্রেড শুরু করুন৷ আমাজন ওপেন সার্চ সার্ভিস ফোরাম or AWS সহায়তার সাথে যোগাযোগ করুন.

লেখক সম্পর্কে

প্রশান্ত আগরওয়াল আমাজন ওপেনসার্চ সার্ভিসের সাথে একজন সিনিয়র সার্চ স্পেশালিস্ট সলিউশন আর্কিটেক্ট। তিনি গ্রাহকদের সাথে ঘনিষ্ঠভাবে কাজ করেন যাতে তারা তাদের কাজের চাপগুলিকে ক্লাউডে স্থানান্তর করতে পারে এবং বিদ্যমান গ্রাহকদের তাদের ক্লাস্টারগুলিকে আরও ভাল পারফরম্যান্স অর্জন করতে এবং খরচ বাঁচাতে সাহায্য করে। AWS-এ যোগদানের আগে, তিনি বিভিন্ন গ্রাহকদের তাদের অনুসন্ধান এবং লগ অ্যানালিটিক্স ব্যবহারের ক্ষেত্রে OpenSearch এবং Elasticsearch ব্যবহার করতে সাহায্য করেছিলেন। কাজ না করার সময়, আপনি তাকে ভ্রমণ এবং নতুন জায়গা অন্বেষণ খুঁজে পেতে পারেন। সংক্ষেপে, তিনি খেতে → ভ্রমণ → পুনরাবৃত্তি করতে পছন্দ করেন।

জন হ্যান্ডলার (@_searchgeek) পালো অল্টো, CA-তে অবস্থিত অ্যামাজন ওয়েব সার্ভিসের একজন সিনিয়র প্রিন্সিপাল সলিউশন আর্কিটেক্ট। Jon CloudSearch এবং Elasticsearch টিমের সাথে ঘনিষ্ঠভাবে কাজ করে, যারা AWS ক্লাউডে যেতে চায় তাদের সার্চ ওয়ার্কলোড রয়েছে এমন বিস্তৃত গ্রাহকদের সহায়তা এবং নির্দেশনা প্রদান করে। AWS-এ যোগদানের আগে, একজন সফ্টওয়্যার বিকাশকারী হিসাবে জন এর কর্মজীবনে একটি বড় আকারের, ইকমার্স সার্চ ইঞ্জিন কোডিং চার বছরের অন্তর্ভুক্ত ছিল।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/big-data/migrate-your-indexes-to-amazon-opensearch-serverless-with-logstash/