অ্যামাজন ইকেএসে অ্যামাজন ইএমআর জন্য একটি স্থাপনার বিকল্প প্রদান করে আমাজন ইএমআর যেটি আপনাকে অ্যানালিটিক্স ওয়ার্কলোড চালানোর অনুমতি দেয় অ্যামাজন ইলাস্টিক কুবারনেটস পরিষেবা (আমাজন ইকেএস)। এটি একটি আকর্ষণীয় বিকল্প কারণ এটি আপনাকে পরিকাঠামোর ব্যবস্থা না করেই সম্পদের একটি সাধারণ পুলে অ্যাপ্লিকেশন চালানোর অনুমতি দেয়। উপরন্তু, আপনি ব্যবহার করতে পারেন আমাজন ইএমআর স্টুডিও অ্যামাজন ইকেএস ক্লাস্টারে চলমান বিশ্লেষণ কোড তৈরি করতে। EMR স্টুডিও হল একটি ওয়েব-ভিত্তিক, ইন্টিগ্রেটেড ডেভেলপমেন্ট এনভায়রনমেন্ট (IDE) যা সম্পূর্ণরূপে পরিচালিত Jupyter নোটবুকগুলি ব্যবহার করে যা EKS-এ EMR সহ যেকোনো EMR ক্লাস্টারের সাথে সংযুক্ত করা যেতে পারে। এটি ব্যবহার করে এডাব্লুএস সিঙ্গল সাইন-অন কর্পোরেট শংসাপত্র ব্যবহার করে একটি সুরক্ষিত URL এর মাধ্যমে EMR স্টুডিওতে সরাসরি লগ ইন করতে (SSO) বা একটি সামঞ্জস্যপূর্ণ পরিচয় প্রদানকারী (IdP)৷
EKS-এ EMR-এর সাথে সংযুক্ত করার জন্য EMR স্টুডিও স্থাপনের জন্য বেশ কয়েকটি AWS পরিষেবা একীভূত করতে হবে:
এছাড়াও, আপনাকে EKS উপাদানগুলিতে নিম্নলিখিত EMR ইনস্টল করতে হবে:
এই পোস্টটি আপনাকে সমস্ত প্রয়োজনীয় উপাদান তৈরি করতে এবং একটি একক স্ক্রিপ্ট চালানোর মাধ্যমে একসাথে সেলাই করতে সহায়তা করে। আমরা এই সেটআপের আর্কিটেকচার এবং কীভাবে উপাদানগুলি একসাথে কাজ করে তা বর্ণনা করি।
আর্কিটেকচার ওভারভিউ
EKS-এ EMR-এর সাহায্যে, আপনি একই অ্যামাজন EKS ক্লাস্টারে অন্যান্য ধরনের অ্যাপ্লিকেশনের পাশাপাশি স্পার্ক অ্যাপ্লিকেশন চালাতে পারেন, যা সম্পদ বরাদ্দ উন্নত করে এবং পরিকাঠামো ব্যবস্থাপনাকে সহজ করে। অ্যামাজন ইএমআর কীভাবে অ্যামাজন ইকেএস ক্লাস্টারের ভিতরে কাজ করে সে সম্পর্কে আরও তথ্যের জন্য, দেখুন নতুন - অ্যামাজন ইলাস্টিক কুবারনেটস সার্ভিসে (ইকেএস) অ্যামাজন ইএমআর. EMR স্টুডিও একটি ওয়েব-ভিত্তিক IDE প্রদান করে যা EMR তে চলা অ্যাপ্লিকেশনগুলিকে বিকাশ, কল্পনা এবং ডিবাগ করা সহজ করে তোলে। আরও তথ্যের জন্য, দেখুন অ্যামাজন ইএমআর স্টুডিও (প্রিভিউ): অ্যামাজন ইএমআর-এর সাথে একটি নতুন নোটবুক-প্রথম আইডিই অভিজ্ঞতা.
স্পার্ক কার্নেলগুলি একটি অ্যামাজন ইকেএস ক্লাস্টারের একটি নামস্থানে নির্ধারিত পড। EMR স্টুডিও Amazon EKS-এ স্পার্ক কার্নেল চালু করতে Jupyter Enterprise Gateway (JEG) ব্যবহার করে। ইএমআর ভার্চুয়াল ক্লাস্টার-এর সংশ্লিষ্ট নামস্থানে কুবারনেটস স্থাপনা হিসাবে JEG-এর একটি পরিচালিত শেষ বিন্দুর ব্যবস্থা করা হয়েছে এবং একটি Kubernetes পরিষেবা হিসাবে প্রকাশ করা হয়েছে। প্রতিটি EMR ভার্চুয়াল ক্লাস্টার Amazon EKS ক্লাস্টারে নিবন্ধিত একটি Kubernetes নামস্থানে মানচিত্র করে; ভার্চুয়াল ক্লাস্টারগুলি ফিজিক্যাল কম্পিউট বা স্টোরেজ পরিচালনা করে না, তবে কুবারনেটস নামস্থানের দিকে নির্দেশ করে যেখানে কাজের চাপ নির্ধারিত হয়। প্রতিটি ভার্চুয়াল ক্লাস্টারে বিভিন্ন ম্যানেজড এন্ডপয়েন্ট থাকতে পারে, প্রতিটির নিজস্ব কনফিগার করা কার্নেল বিভিন্ন ব্যবহারের ক্ষেত্রে এবং প্রয়োজনের জন্য। JEG পরিচালিত এন্ডপয়েন্ট HTTPS এন্ডপয়েন্ট প্রদান করে, একটি অ্যাপ্লিকেশন লোড ব্যালেন্সার (ALB) দ্বারা পরিসেবা করা হয়, যেগুলি শুধুমাত্র EMR স্টুডিও এবং স্ব-হোস্টেড নোটবুক থেকে পাওয়া যায় যা Amazon EKS VPC-এর একটি ব্যক্তিগত সাবনেটের মধ্যে তৈরি করা হয়।
নিম্নলিখিত চিত্রটি সমাধানের স্থাপত্যকে চিত্রিত করে।
পরিচালিত এন্ডপয়েন্টটি ভার্চুয়াল ক্লাস্টারের Amazon EKS নামস্থানে তৈরি করা হয়েছে (এই ক্ষেত্রে, sparkns
) এবং HTTPS এন্ডপয়েন্টগুলি ব্যক্তিগত সাবনেট থেকে পরিষেবা দেওয়া হয়। কার্নেল পডগুলি পরিচালিত এন্ডপয়েন্টে সংজ্ঞায়িত জব-এক্সিকিউশন IAM ভূমিকার সাথে সঞ্চালিত হয়। ম্যানেজড এন্ডপয়েন্ট তৈরির সময়, EKS-এ EMR AWS লোড ব্যালেন্সার কন্ট্রোলার ব্যবহার করে kube-system
ভার্চুয়াল ক্লাস্টারের কুবারনেটেস নেমস্পেসে জেইজি পরিচালিত এন্ডপয়েন্টের সাথে সংযোগকারী একটি টার্গেট গ্রুপের সাথে একটি ALB তৈরি করতে নামস্থান।
আপনি প্রতিটি পরিচালিত এন্ডপয়েন্টের কার্নেল ভিন্নভাবে কনফিগার করতে পারেন। উদাহরণস্বরূপ, একটি স্পার্ক কার্নেল ব্যবহার করার অনুমতি দিতে এডাব্লুএস আঠালো তাদের ক্যাটালগ হিসাবে, আপনি নিম্নলিখিত কনফিগারেশন JSON ফাইলটি প্রয়োগ করতে পারেন —configuration-overrides
একটি পরিচালিত শেষ পয়েন্ট তৈরি করার সময় পতাকা:
ম্যানেজড এন্ডপয়েন্ট হল একটি Kubernetes ডিপ্লয়মেন্ট যা কনফিগার করা নেমস্পেসের ভিতরে একটি পরিষেবা দ্বারা ফ্রন্ট করা হয়েছে (এই ক্ষেত্রে, sparkns
) যখন আমরা এন্ডপয়েন্ট তথ্য ট্রেস করি, তখন আমরা দেখতে পারি কিভাবে জুপিটার এন্টারপ্রাইজ গেটওয়ে স্থাপনা ALB এবং লক্ষ্য গোষ্ঠীর সাথে সংযোগ করে:
এটি কীভাবে সংযোগ করে তা দেখতে, দুটি EMR স্টুডিও সেশন বিবেচনা করুন। ALB পোর্ট 18888 কে EMR স্টুডিও সেশনে প্রকাশ করে। JEG পরিষেবা ALB-তে 18888-এর বাহ্যিক পোর্টকে গতিশীল করে ম্যাপ করে NodePort
JEG পরিষেবাতে (এই ক্ষেত্রে, 30091)। JEG পরিষেবা ট্রাফিক ফরোয়ার্ড TargetPort
9547, যা উপযুক্ত স্পার্ক ড্রাইভার পডে ট্রাফিককে রুট করে। প্রতিটি নোটবুক সেশনের নিজস্ব কার্নেল থাকে, যার নিজস্ব স্পার্ক ড্রাইভার এবং এক্সিকিউটর পড থাকে, যেমনটি নিম্নলিখিত চিত্রটি চিত্রিত করে।
একটি ভার্চুয়াল ক্লাস্টার এবং পরিচালিত শেষ পয়েন্টে EMR স্টুডিও সংযুক্ত করুন
প্রতিবার একজন ব্যবহারকারী তাদের স্টুডিও ওয়ার্কস্পেসে একটি ভার্চুয়াল ক্লাস্টার এবং একটি পরিচালিত এন্ডপয়েন্ট সংযুক্ত করে এবং একটি স্পার্ক সেশন চালু করে, স্পার্ক ড্রাইভার এবং স্পার্ক নির্বাহকদের নির্ধারিত হয়। আপনি যখন দৌড়ান তখন আপনি দেখতে পারেন kubectl
কি পড চালু করা হয়েছে তা পরীক্ষা করতে:
প্রতিটি নোটবুক স্পার্ক কার্নেল সেশন একটি ড্রাইভার পড এবং এক্সিকিউটর পড স্থাপন করে যা কার্নেল সেশন বন্ধ না হওয়া পর্যন্ত চলতে থাকে।
নোটবুক কক্ষের কোডটি এক্সিকিউটর পডগুলিতে চলে যা অ্যামাজন ইকেএস ক্লাস্টারে স্থাপন করা হয়েছিল।
EKS এবং EMR স্টুডিওতে EMR সেট আপ করুন
EKS এবং EMR স্টুডিওতে EMR উভয় সেট আপ করার জন্য বেশ কিছু ধাপ এবং টুকরা প্রয়োজন। AWS SSO সক্ষম করা একটি পূর্বশর্ত। আপনি এই বিভাগে দুটি প্রদত্ত লঞ্চ স্ক্রিপ্ট ব্যবহার করতে পারেন বা এই পোস্টে পরে দেওয়া পদক্ষেপগুলি ব্যবহার করে ম্যানুয়ালি এটি স্থাপন করতে পারেন।
আমরা এই পোস্টে দুটি লঞ্চ স্ক্রিপ্ট প্রদান করি। একটি ব্যাশ স্ক্রিপ্ট যা ব্যবহার করে এডাব্লুএস ক্লাউডফর্মেশন, eksctl, এবং এডাব্লুএস কমান্ড লাইন ইন্টারফেস (AWS CLI) একটি সম্পূর্ণ সমাধানের এন্ড-টু-এন্ড স্থাপনা প্রদানের নির্দেশ দেয়। অন্যটি ব্যবহার করে এডাব্লুএস ক্লাউড ডেভেলপমেন্ট কিট (AWS CDK) তা করতে।
নিম্নলিখিত চিত্রটি স্থাপত্য এবং উপাদানগুলি দেখায় যা আমরা স্থাপন করি।
পূর্বশর্ত
নিম্নলিখিত পূর্বশর্তগুলি সম্পূর্ণ করতে ভুলবেন না:
সমর্থিত আইডিপি সম্পর্কে তথ্যের জন্য, দেখুন Amazon EMR স্টুডিওর জন্য AWS একক সাইন-অন সক্ষম করুন.
ব্যাশ স্ক্রিপ্ট
স্ক্রিপ্ট পাওয়া যায় GitHub.
পূর্বশর্ত
স্ক্রিপ্টটি আপনাকে ব্যবহার করতে হবে এডাব্লুএস ক্লাউড 9. নির্দেশাবলী অনুসরণ করুন আমাজন ইকেএস ওয়ার্কশপ. এই নির্দেশাবলী সাবধানে অনুসরণ করতে ভুলবেন না:
আপনি AWS Cloud9 ডেস্কটপ স্থাপন করার পরে, পরবর্তী ধাপে যান।
প্রস্তুতি
GitHub রেপো ক্লোন করতে এবং AWS Cloud9 পূর্বশর্তগুলি প্রস্তুত করতে নিম্নলিখিত কোডটি ব্যবহার করুন:
স্ট্যাক স্থাপন
স্ক্রিপ্ট চালানোর আগে, নিম্নলিখিত তথ্য প্রদান করুন:
- AWS অ্যাকাউন্ট আইডি এবং অঞ্চল, যদি আপনার AWS Cloud9 ডেস্কটপ একই অ্যাকাউন্ট আইডি বা অঞ্চলে না থাকে যেখানে আপনি EKS-এ EMR স্থাপন করতে চান
- নামটি হলো আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) বালতি তৈরি করতে হবে
- AWS SSO ব্যবহারকারী EMR স্টুডিও সেশনের সাথে যুক্ত হতে হবে
স্ক্রিপ্ট স্ট্যাক স্থাপন করার পরে, স্থাপন করা EMR স্টুডিওর URL প্রদর্শিত হয়:
AWS CDK স্ক্রিপ্ট
AWS CDK স্ক্রিপ্ট পাওয়া যায় GitHub. আপনি চেকআউট করতে হবে main
শাখা স্ট্যাকগুলি প্রাইভেট সাবনেট সহ একটি নতুন ভিপিসিতে EKS ভার্চুয়াল ক্লাস্টারে একটি Amazon EKS ক্লাস্টার এবং EMR স্থাপন করে এবং ঐচ্ছিকভাবে একটি অ্যামাজন পরিচালিত অ্যাপাচি এয়ারফ্লো (Amazon MWAA) পরিবেশ এবং EMR স্টুডিও।
পূর্বশর্ত
আপনার AWS CDK সংস্করণ 1.90.1 বা উচ্চতর দরকার৷ আরও তথ্যের জন্য, দেখুন AWS CDK দিয়ে শুরু করা.
আপনার অনুমোদন করা নেটওয়ার্ক আইপি রেঞ্জে কিছু সম্পদের অ্যাক্সেস সীমাবদ্ধ করতে আমরা একটি উপসর্গ তালিকা ব্যবহার করি। একটা তৈরি কর উপসর্গ তালিকা আপনার যদি ইতিমধ্যে একটি না থাকে।
আপনি যদি EMR স্টুডিও ব্যবহার করার পরিকল্পনা করেন, তাহলে আপনার AWS SSO প্রয়োজন আপনার অ্যাকাউন্টে কনফিগার করা হয়েছে.
প্রস্তুতি
আপনি সংগ্রহস্থল ক্লোন করার পরে এবং চেকআউট করুন main
শাখা, একটি নতুন পাইথন ভার্চুয়াল পরিবেশ তৈরি এবং সক্রিয় করুন:
এখন পাইথন নির্ভরতা ইনস্টল করুন:
অবশেষে, AWS CDK বুটস্ট্র্যাপ করুন:
স্ট্যাক স্থাপন
নিম্নলিখিত কোড দিয়ে AWS CDK স্ট্যাকগুলিকে সংশ্লেষিত করুন:
এই কমান্ডটি চারটি স্ট্যাক তৈরি করে:
- emr-eks-cdk - প্রধান স্ট্যাক
- mwaa-cdk - অ্যামাজন MWAA যোগ করে
- studio-cdk - EMR স্টুডিও পূর্বশর্ত যোগ করে
- স্টুডিও-সিডিকে-লাইভ - EMR স্টুডিও যোগ করে
নিম্নলিখিত চিত্রটি AWS CDK স্ট্যাক দ্বারা স্থাপন করা সংস্থানগুলিকে চিত্রিত করে৷
প্রথম স্ট্যাক স্থাপন করে শুরু করুন:
আপনি যদি আপনার অর্কেস্ট্রেটর হিসাবে অ্যাপাচি এয়ারফ্লো ব্যবহার করতে চান তবে সেই স্ট্যাকটি স্থাপন করুন:
প্রথম EMR স্টুডিও স্ট্যাক স্থাপন করুন:
পরিচালিত শেষ পয়েন্ট সক্রিয় হওয়ার জন্য অপেক্ষা করুন। আপনি নিম্নলিখিত কোড চালানোর মাধ্যমে স্থিতি পরীক্ষা করতে পারেন:
ভার্চুয়াল ক্লাস্টার আইডি emr-eks-cdk স্ট্যাক থেকে AWS CDK আউটপুটে পাওয়া যায়।
যখন এন্ডপয়েন্ট সক্রিয় থাকে, দ্বিতীয় EMR স্টুডিও স্ট্যাক স্থাপন করুন:
ম্যানুয়াল স্থাপনা
আপনি যদি EKS এবং EMR স্টুডিওতে EMR ম্যানুয়ালি মোতায়েন করতে চান, তাহলে এই বিভাগে দেওয়া ধাপগুলি ব্যবহার করুন।
একটি VPC সেট আপ করুন
আপনি যদি Amazon EKS v. 1.18 ব্যবহার করেন, তাহলে একটি VPC সেট আপ করুন যাতে ব্যক্তিগত সাবনেটও থাকে এবং বহিরাগত লোড ব্যালেন্সারের জন্য যথাযথভাবে ট্যাগ করা হয়। ট্যাগ করার জন্য, দেখুন: অ্যামাজন ইকেএস-এ অ্যাপ্লিকেশন লোড ব্যালেন্সিং এবং একটি EMR স্টুডিও পরিষেবা ভূমিকা তৈরি করুন.
একটি অ্যামাজন ইকেএস ক্লাস্টার তৈরি করুন
অন্তত একটি পরিচালিত নোড গ্রুপের সাথে একটি Amazon EKS ক্লাস্টার চালু করুন। নির্দেশাবলীর জন্য, দেখুন ঠিককরা এবং Amazon EKS দিয়ে শুরু করা.
প্রাসঙ্গিক IAM নীতি, ভূমিকা, IdP, এবং SSL/TLS শংসাপত্র তৈরি করুন
আপনার IAM নীতি, ভূমিকা, IdP, এবং SSL/TLS শংসাপত্র তৈরি করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- EKS-এ EMR-এর জন্য ক্লাস্টার অ্যাক্সেস সক্ষম করুন.
- EKS OIDC প্রদানকারী URL এর উপর ভিত্তি করে IAM-এ একটি আইডিপি তৈরি করুন.
- একটি SSL/TLS শংসাপত্র তৈরি করুন এবং এটি রাখুন AWS সার্টিফিকেট ম্যানেজার.
- প্রাসঙ্গিক IAM নীতি এবং ভূমিকা তৈরি করুন:
- কাজ সম্পাদন ভূমিকা
- বিশ্বাস নীতি আপডেট করুন কাজ সম্পাদন ভূমিকা জন্য
- AWS লোড ব্যালেন্সার কন্ট্রোলারের জন্য IAM নীতি স্থাপন এবং তৈরি করুন
- ইএমআর স্টুডিও পরিষেবার ভূমিকা
- ইএমআর স্টুডিও ব্যবহারকারীর ভূমিকা
- EMR স্টুডিও ব্যবহারকারী নীতি AWS SSO ব্যবহারকারী এবং গোষ্ঠীর সাথে যুক্ত
- Amazon EMR এর সাথে Amazon EKS ক্লাস্টার নিবন্ধন করুন ভার্চুয়াল EMR ক্লাস্টার তৈরি করতে
- উপযুক্ত তৈরি করুন সুরক্ষা গ্রুপ তৈরি করা প্রতিটি EMR স্টুডিওর সাথে সংযুক্ত করতে হবে:
- কর্মক্ষেত্র নিরাপত্তা গ্রুপ
- ইঞ্জিন নিরাপত্তা গ্রুপ
- যথাযথ ট্যাগ দিয়ে নিরাপত্তা গ্রুপ ট্যাগ করুন. নির্দেশাবলীর জন্য, দেখুন একটি EMR স্টুডিও পরিষেবা ভূমিকা তৈরি করুন.
Amazon EKS-এ প্রয়োজনীয় ইনস্টলেশন
স্থাপন করুন AWS লোড ব্যালেন্সার কন্ট্রোলার অ্যামাজন ইকেএস ক্লাস্টারে যদি আপনি ইতিমধ্যে এটি না করে থাকেন।
EKS প্রাসঙ্গিক টুকরাগুলিতে EMR তৈরি করুন এবং ব্যবহারকারীকে EMR স্টুডিওতে ম্যাপ করুন
নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- Amazon EKS ক্লাস্টারের সাথে যুক্ত অন্তত একটি EMR ভার্চুয়াল ক্লাস্টার তৈরি করুন। নির্দেশাবলীর জন্য, এর ধাপ 1 দেখুন EMR স্টুডিওর জন্য EKS-এ Amazon EMR সেট আপ করুন.
- অন্তত একটি পরিচালিত এন্ডপয়েন্ট তৈরি করুন। নির্দেশাবলীর জন্য, এর ধাপ 2 দেখুন EMR স্টুডিওর জন্য EKS-এ Amazon EMR সেট আপ করুন.
- অন্তত একটি EMR স্টুডিও তৈরি করুন; Amazon EKS ক্লাস্টারের সাথে কনফিগার করা ব্যক্তিগত সাবনেটগুলির সাথে EMR স্টুডিওকে সংযুক্ত করুন। নির্দেশাবলীর জন্য, দেখুন একটি EMR স্টুডিও তৈরি করুন.
- যখন EMR স্টুডিও পাওয়া যায়, EMR স্টুডিওতে AWS SSO ব্যবহারকারী বা গোষ্ঠীকে ম্যাপ করুন এবং সেই ব্যবহারকারীর জন্য একটি উপযুক্ত IAM নীতি প্রয়োগ করুন।
EMR স্টুডিও ব্যবহার করুন
EMR স্টুডিও ব্যবহার শুরু করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- একটি অঞ্চলের স্টুডিওগুলির দ্বারা EMR স্টুডিওর URL খুঁজুন:
- তালিকাভুক্ত URL দিয়ে, আপনি আগে যে AWS SSO ব্যবহারকারীর নাম ব্যবহার করেছিলেন সেটি ব্যবহার করে লগ ইন করুন৷
প্রমাণীকরণের পরে, ব্যবহারকারীকে ইএমআর স্টুডিও ড্যাশবোর্ডে পাঠানো হয়।
- বেছে নিন কর্মক্ষেত্র তৈরি করুন.
- জন্য কর্মক্ষেত্রের নাম, একটি নাম লিখুন।
- জন্য সাবনেট, পরিচালিত নোড গ্রুপের সাথে যুক্ত সাবনেটগুলির একটির সাথে সামঞ্জস্যপূর্ণ সাবনেট নির্বাচন করুন।
- জন্য S3 অবস্থান, একটি S3 বালতি লিখুন যেখানে আপনি নোটবুকের বিষয়বস্তু সংরক্ষণ করতে পারেন।
- আপনি ওয়ার্কস্পেস তৈরি করার পরে, এর মধ্যে থাকা একটি বেছে নিন
Ready
অবস্থা।
- সাইডবারে, EMR ক্লাস্টার আইকন বেছে নিন।
- অধীনে ক্লাস্টার টাইপপছন্দ করা EKS-এ EMR ক্লাস্টার.
- উপলব্ধ ভার্চুয়াল ক্লাস্টার এবং উপলব্ধ পরিচালিত শেষ পয়েন্ট চয়ন করুন।
- বেছে নিন জোড়া.
এটি সংযুক্ত হওয়ার পরে, EMR স্টুডিও তে উপলব্ধ কার্নেলগুলি প্রদর্শন করে নোটবই এবং কনসোল অধ্যায়.
- বেছে নিন পাইস্পার্ক (কুবারনেটস) একটি নোটবুক কার্নেল চালু করতে এবং একটি স্পার্ক সেশন শুরু করতে।
কারণ এখানে এন্ডপয়েন্ট কনফিগারেশনটি তার মেটাস্টোরের জন্য AWS Glue ব্যবহার করে, আপনি AWS Glue Data Catalog এর সাথে সংযুক্ত ডাটাবেস এবং টেবিলের তালিকা করতে পারেন। আপনি সেটআপ পরীক্ষা করতে নিম্নলিখিত উদাহরণ স্ক্রিপ্ট ব্যবহার করতে পারেন. আপনার ডেটা ক্যাটালগে থাকা উপযুক্ত ডাটাবেস এবং টেবিলের জন্য প্রয়োজনীয় স্ক্রিপ্টটি পরিবর্তন করুন:
পরিষ্কার কর
ভবিষ্যতের চার্জ এড়াতে, remove_setup.sh চালিয়ে এখানে লঞ্চ করা সংস্থানগুলি মুছুন:
উপসংহার
EKS-এ EMR আপনাকে পরিকাঠামোর ব্যবস্থা না করেই একটি Amazon EKS ক্লাস্টারের মধ্যে সম্পদের একটি সাধারণ পুলে অ্যাপ্লিকেশন চালানোর অনুমতি দেয়। ইএমআর স্টুডিও হল একটি সম্পূর্ণরূপে পরিচালিত জুপিটার নোটবুক এবং টুল যা আমাজন ইকেএস-এ ভার্চুয়াল ক্লাস্টার সহ ইএমআর ক্লাস্টারগুলিতে চালিত কার্নেলের ব্যবস্থা করে। এই পোস্টে, আমরা কীভাবে EMR স্টুডিও EKS-এ EMR-এর সাথে সংযোগ করে তার আর্কিটেকচার বর্ণনা করেছি এবং দুটি পরিষেবা সংযোগ করার জন্য সমস্ত উপাদান স্বয়ংক্রিয়ভাবে মোতায়েন করার জন্য স্ক্রিপ্ট সরবরাহ করেছি।
আপনার যদি প্রশ্ন বা পরামর্শ থাকে, তাহলে একটি মন্তব্য করুন.
লেখক সম্পর্কে
র্যান্ডি ডিফাউ অ্যামাজন ওয়েব সার্ভিসেসের একজন প্রধান সমাধান স্থপতি। তিনি AWS গ্রাহকদের সাথে ডাটাবেস প্রকল্পগুলিতে নির্দেশিকা এবং প্রযুক্তিগত সহায়তা প্রদানের জন্য কাজ করেন, AWS ব্যবহার করার সময় তাদের সমাধানের মান উন্নত করতে সহায়তা করে।
ম্যাথু ট্যান তিনি অ্যামাজন ওয়েব সার্ভিসেস-এর একজন সিনিয়র অ্যানালিটিক্স সলিউশন আর্কিটেক্ট এবং গ্রাহকদের তাদের বিশ্লেষণ কাজের চাপে AWS অ্যানালিটিক্স পরিষেবাগুলির সাথে সমাধানের জন্য নির্দেশিকা প্রদান করেন।
- '
- "
- 100
- 7
- 9
- প্রবেশ
- হিসাব
- সক্রিয়
- সব
- বণ্টন
- মর্দানী স্ত্রীলোক
- অ্যামাজন ওয়েব সার্ভিসেস
- বৈশ্লেষিক ন্যায়
- এ্যাপাচি
- আবেদন
- অ্যাপ্লিকেশন
- স্থাপত্য
- প্রমাণীকরণ
- ডেস্কটপ AWS
- ব্যালেন্সার
- নির্মাণ করা
- মামলা
- শংসাপত্র
- চার্জ
- চেকআউট
- শ্রেণীবিন্যাস
- মেঘ
- কোড
- সাধারণ
- গনা
- বিষয়বস্তু
- অবিরত
- নিয়ামক
- তৈরি করা হচ্ছে
- পরিচয়পত্র
- গ্রাহকদের
- ড্যাশবোর্ড
- উপাত্ত
- ডেটাবেস
- ডাটাবেস
- বিকাশ
- উন্নয়ন
- চালক
- শেষপ্রান্ত
- উদ্যোগ
- পরিবেশ
- ফাঁসি
- অভিজ্ঞতা
- কারখানা
- প্রথম
- অনুসরণ করা
- ফ্রন্টেড
- ভবিষ্যৎ
- git
- GitHub
- গ্রুপ
- Hadoop
- এখানে
- মধুচক্র
- কিভাবে
- HTTPS দ্বারা
- আমি
- আইকন
- পরিচয়
- সুদ্ধ
- তথ্য
- পরিকাঠামো
- IP
- IT
- কাজ
- Jupyter নোটবুক
- Kubernetes
- শুরু করা
- লঞ্চ
- লাইন
- তালিকা
- বোঝা
- ব্যবস্থাপনা
- মানচিত্র
- মানচিত্র
- নেটওয়ার্ক
- নোটবুক
- পছন্দ
- অন্যান্য
- শারীরিক
- pods
- নীতি
- নীতি
- পুকুর
- প্রি
- অধ্যক্ষ
- ব্যক্তিগত
- প্রকল্প
- পাইথন
- আবশ্যকতা
- সংস্থান
- Resources
- চালান
- দৌড়
- নিরাপত্তা
- সেবা
- সেট
- সহজ
- So
- সলিউশন
- এসকিউএল
- শুরু
- শুরু
- রাষ্ট্র
- অবস্থা
- স্টোরেজ
- দোকান
- সমর্থিত
- লক্ষ্য
- কারিগরী
- পরীক্ষা
- সময়
- ট্রাফিক
- আস্থা
- ব্যবহারকারী
- মূল্য
- ভার্চুয়াল
- ওয়েব
- ওয়েব সার্ভিস
- মধ্যে
- শব্দ
- হয়া যাই ?
- কাজ