এই পোস্টটি মোহাম্মদ আলাউদ্দিন, ডেটা ইঞ্জিনিয়ারিং এবং ডেটা সায়েন্সের আঞ্চলিক ব্যবস্থাপক এবং iProperty.com.my-এর লিড ডেটা সায়েন্টিস্ট কামাল হোসেনের সহযোগিতায় তৈরি করা হয়েছে, যা এখন PropertyGuru গ্রুপের অংশ।
iProperty.com.my মালয়েশিয়ার বাজার-নেতৃস্থানীয় সম্পত্তি পোর্টাল এবং এখন প্রপার্টি গুরু গ্রুপের অংশ। iProperty.com.my একটি অনুসন্ধান অভিজ্ঞতা প্রদান করে যা সম্পত্তি সন্ধানকারীদের বাজারে উপলব্ধ হাজার হাজার সম্পত্তি তালিকার মধ্য দিয়ে যেতে সক্ষম করে। যদিও অনুসন্ধান ফাংশন ইতিমধ্যে ভোক্তাদের জন্য সম্ভাব্য বৈশিষ্ট্যগুলিকে সংকুচিত করার জন্য এর উদ্দেশ্য পূরণ করে, iProperty.com.my ভোক্তা অনুসন্ধান অভিজ্ঞতা উন্নত করার জন্য নতুন উপায় খুঁজতে নিরলসভাবে চলতে থাকে।
ভিতরে ভোক্তাদের জন্য নতুন উদ্ভাবনের প্রধান চালিকা শক্তি iProperty.com.my ডেটা এবং মেশিন লার্নিং (ML) এর উপর নোঙর করা হয়, ML মডেলগুলিকে প্রায় প্রতিদিনই তাদের গ্রাহকদের জন্য প্রশিক্ষিত, পুনঃপ্রশিক্ষিত এবং স্থাপন করা হয়। এই উদ্ভাবনের মধ্যে রয়েছে সম্পত্তি দেখা এবং অবস্থান-ভিত্তিক সুপারিশ, যা অনুসন্ধান আচরণ এবং ব্যবহারকারীর প্রোফাইলের উপর ভিত্তি করে তালিকার একটি সেট প্রদর্শন করে।
যাইহোক, আরও ML কাজের চাপ মোতায়েন করা হলে, স্কেলের সাথে যুক্ত চ্যালেঞ্জগুলি সামনে আসতে শুরু করে। এই পোস্টে, আমরা সেই চ্যালেঞ্জগুলি এবং কীভাবে তা নিয়ে আলোচনা করি iProperty.com.my ডেটা সায়েন্স টিম ব্যবহার করে তাদের কর্মপ্রবাহ স্বয়ংক্রিয় করে আমাজন সেজমেকার.
স্কেলে এমএল প্রকল্প চালানোর চ্যালেঞ্জ
যখন iProperty.com.my ডেটা সায়েন্স টিম তাদের ML যাত্রা শুরু করেছিল, দলের প্রাথমিক ফোকাস ছিল ML বৈশিষ্ট্যগুলি চিহ্নিত করা এবং রোল আউট করা যা তাদের গ্রাহকদের উপকার করবে। ভিতরে iProperty.com.my , পরীক্ষা করা এবং নতুন সংজ্ঞায়িত অনুমানগুলি দ্রুত যাচাই করা একটি সাধারণ অভ্যাস। যাইহোক, তাদের ML ফুটপ্রিন্ট বৃদ্ধির সাথে সাথে, দলের ফোকাস ধীরে ধীরে নতুন অভিজ্ঞতা আবিষ্কার থেকে ভিন্ন ভিন্ন ভারী উত্তোলনের দিকে সরে যায়। তারা যে চ্যালেঞ্জগুলির সম্মুখীন হয়েছিল তার কয়েকটি নিম্নরূপ:
- অপারেশনাল ওভারহেড - সময়ের সাথে সাথে, তারা বুঝতে পেরেছিল যে তাদের বজায় রাখার জন্য বিভিন্ন সরঞ্জাম এবং কাঠামো রয়েছে, যেমন স্কিট-লার্ন, টেনসরফ্লো এবং পাইটর্চ। বিভিন্ন ব্যবহারের ক্ষেত্রে বিভিন্ন এমএল ফ্রেমওয়ার্ক ব্যবহার করা হয়েছিল। দলটি একাধিক স্ব-পরিচালিত কন্টেইনার চিত্রের মাধ্যমে এই ফ্রেমওয়ার্ক আপডেটগুলি পরিচালনা করতে অবলম্বন করেছিল, যা অত্যন্ত সময়সাপেক্ষ ছিল। এই প্রতিটি এমএল ফ্রেমওয়ার্কের জন্য সর্বশেষ আপডেটের সাথে তাল মিলিয়ে চলার জন্য, কন্টেইনার চিত্রগুলিতে ঘন ঘন আপডেট করতে হয়েছিল। এর ফলে রক্ষণাবেক্ষণের উচ্চ স্তরে পরিণত হয়েছে, যা তাদের ভোক্তাদের জন্য নতুন অভিজ্ঞতা তৈরি করা থেকে দলের ফোকাসকে দূরে সরিয়ে নিয়েছে।
- অটোমেশন এবং স্ব-পরিষেবা ক্ষমতার অভাব - এমএল প্রকল্পে একাধিক ভিন্ন দল জড়িত, যেমন ডেটা ইঞ্জিনিয়ারিং, ডেটা সায়েন্স, প্ল্যাটফর্ম ইঞ্জিনিয়ারিং এবং পণ্য দল। এন্ড-টু-এন্ড অটোমেশন ব্যতীত, বাজারে একটি বৈশিষ্ট্য চালু করার জন্য কাজগুলি সম্পূর্ণ করতে আরও বেশি সময় লেগেছে, বিশেষত একাধিক দল দ্বারা প্রক্রিয়া করা হয়েছে এমন কাজের জন্য। যত বেশি প্রজেক্ট আসে, দলগুলির মধ্যে অপেক্ষার সময় বেড়ে যায়, বৈশিষ্ট্যটি বাজারে পৌঁছে দেওয়ার সময়কে প্রভাবিত করে। স্ব-পরিষেবা ক্ষমতার অভাব একে অপরের জন্য অপেক্ষা করা আরও বেশি সময়কে অবদান রাখে।
- উচ্চ মূল্য - ML হল একটি পুনরাবৃত্ত প্রক্রিয়া যা মডেলগুলিকে প্রাসঙ্গিক রাখতে পুনরায় প্রশিক্ষণের প্রয়োজন৷ ব্যবহারের ক্ষেত্রে এবং ডেটার পরিমাণের উপর নির্ভর করে, প্রশিক্ষণ ব্যয়বহুল হতে পারে কারণ এর জন্য শক্তিশালী ভার্চুয়াল মেশিনের ব্যবহার প্রয়োজন। অন্য যে সমস্যাটির মুখোমুখি হয়েছিল তা হল প্রতিটি এমএল মডেলের নিজস্ব অনুমানের উদাহরণ ছিল, যার অর্থ হল যে আরও ML মডেল স্থাপন করা হয়েছিল, খরচ রৈখিকভাবে বেড়েছে।
এই চ্যালেঞ্জগুলির আলোকে, দলটি উপসংহারে পৌঁছেছে যে তাদের মডেলগুলি তৈরি, প্রশিক্ষণ এবং স্থাপনের প্রক্রিয়া পুনর্বিবেচনা করতে হবে। তারা অপারেশনাল দক্ষতা উন্নত করতে এবং তাদের খরচ কার্যকরভাবে পরিচালনা করার জন্য তাদের টুলিংয়ের পুনর্মূল্যায়ন করার প্রয়োজনীয়তা চিহ্নিত করেছে।
সেজমেকারের সাথে স্বয়ংক্রিয়ভাবে এমএল ডেলিভারি
অনেক গবেষণার পর, দলটি উপসংহারে পৌঁছেছে যে Amazon SageMaker হল সবচেয়ে ব্যাপক এমএল প্ল্যাটফর্ম যা তাদের চ্যালেঞ্জ মোকাবেলা করেছে। SageMaker-এর সাথে, ডেটা বিজ্ঞানী এবং বিকাশকারীরা দ্রুত এবং সহজে ML মডেলগুলি তৈরি এবং প্রশিক্ষণ দিতে পারে এবং তারপরে সরাসরি একটি উত্পাদন-প্রস্তুত হোস্ট করা পরিবেশে স্থাপন করতে পারে৷ এটি সার্ভার পরিচালনার প্রয়োজন ছাড়াই অনুসন্ধান এবং বিশ্লেষণের জন্য ডেটা উত্সগুলিতে সহজে অ্যাক্সেসের জন্য সমন্বিত জুপিটার নোটবুকগুলিতে স্ব-পরিষেবা অ্যাক্সেস সরবরাহ করে। PyTorch, TensorFlow, এবং MXNet-এর মতো বিভিন্ন ML ফ্রেমওয়ার্কের জন্য নেটিভ এবং পূর্বনির্মাণ সমর্থন সহ, SageMaker নমনীয় বিতরণ করা প্রশিক্ষণের বিকল্পগুলি অফার করে যা কোনও নির্দিষ্ট কর্মপ্রবাহের সাথে সামঞ্জস্য করে। প্রশিক্ষণ এবং হোস্টিং দ্বিতীয় দ্বারা বিল করা হয়, কোন ন্যূনতম ফি এবং কোন আগাম প্রতিশ্রুতি ছাড়াই। SageMaker এছাড়াও অন্যান্য আকর্ষণীয় খরচ-অপ্টিমাইজেশান বৈশিষ্ট্য যেমন অফার করে পরিচালিত স্পট প্রশিক্ষণ, যা 90% পর্যন্ত খরচ কমাতে পারে, সেজমেকার সেভিংস প্ল্যান, এবং বহু মডেল শেষ পয়েন্ট যা একটি একক হোস্টকে একাধিক মডেল পরিবেশন করতে সক্ষম করে।
চূড়ান্ত টুকরা যা সবকিছু একসাথে মোড়ানো ছিল সেজমেকার এর সাথে একীকরণ iProperty.com.myএর একটানা ইন্টিগ্রেশন এবং একটানা ডেলিভারি (CI/CD) টুলিং।
তাদের এমএল ডেলিভারি স্বয়ংক্রিয় করতে, দলটি তাদের এমএল ওয়ার্কফ্লোগুলিকে সেজমেকারের সাথে মডেল ডেভেলপমেন্ট, ট্রেনিং এবং হোস্টিংয়ের অন্তর্নিহিত পরিষেবা হিসাবে পুনরায় ডিজাইন করেছে। iProperty.com.myনতুন ML অ্যাপ্লিকেশন আপডেট প্রকাশ করার জন্য প্রয়োজনীয় পদক্ষেপগুলি স্বয়ংক্রিয় করতে এর CI/CD টুলিং। নিম্নলিখিত বিভাগে, আমরা পুনরায় ডিজাইন করা কর্মপ্রবাহ নিয়ে আলোচনা করব।
ডেটা প্রস্তুতির কর্মপ্রবাহ
সেজমেকার প্রবর্তনের সাথে, সেজমেকার নোটবুকটি প্রি-প্রসেসড ডেটা অ্যাক্সেস সহ স্ব-পরিষেবা পরিবেশ প্রদান করে, যা ডেটা বিজ্ঞানীদের তাদের প্রয়োজনীয় CPU বা GPU সংস্থানগুলির সাথে দ্রুত অগ্রসর হতে দেয়।
দলটি ডেটা প্রস্তুতি এবং কিউরেশনের জন্য পরিষেবার উপর নির্ভর করেছিল। এটি একটি ইউনিফাইড, ওয়েব-ভিত্তিক ভিজ্যুয়াল ইন্টারফেস প্রদান করে যা কম্পিউট ইনস্ট্যান্স এবং ফাইল স্টোরেজ সেট আপ করার প্রয়োজন ছাড়াই মডেল তৈরি, প্রশিক্ষণ এবং স্থাপনের জন্য প্রয়োজনীয় প্রতিটি ধাপে সম্পূর্ণ অ্যাক্সেস, নিয়ন্ত্রণ এবং দৃশ্যমানতা প্রদান করে।
দলটি তাদের জটিল ডেটা পাইপলাইনগুলির সময়সূচী এবং চালানোর জন্য ওয়ার্কফ্লো ইঞ্জিন হিসাবে অ্যাপাচি এয়ারফ্লো ব্যবহার করেছিল। তারা প্রাথমিক ডেটা প্রিপ্রসেসিং ওয়ার্কফ্লো স্বয়ংক্রিয় করতে Apache Airflow ব্যবহার করে যা কিউরেটেড ডেটাতে অ্যাক্সেস প্রদান করে।
নিম্নলিখিত চিত্রটি আপডেট করা কর্মপ্রবাহকে চিত্রিত করে।
ডেটা প্রস্তুতির কর্মপ্রবাহের নিম্নলিখিত ধাপ রয়েছে:
- ডেটা সায়েন্স টিম ডেটা লেক থেকে নমুনা ডেটা (তাদের ল্যাপটপে) পরিদর্শন করে এবং ডাউনস্ট্রিম অন্বেষণের জন্য ডেটা প্রস্তুত করতে নিষ্কাশন, রূপান্তর এবং লোড (ETL) স্ক্রিপ্ট তৈরি করে। এই স্ক্রিপ্টগুলি Apache Airflow এ আপলোড করা হয়।
- একাধিক ডেটাসেট থেকে বের করা হয়েছে iProperty.com.myএর ডেটা লেক ডেটা ট্রান্সফরমেশনের একাধিক ধাপ অতিক্রম করে (যোগদান, ফিল্টারিং এবং সমৃদ্ধকরণ সহ)। প্রাথমিক ডেটা প্রিপ্রসেসিং ওয়ার্কফ্লো সাজানো হয় এবং Apache Airflow দ্বারা চালিত হয়।
- প্রি-প্রসেসড ডেটা, Parquet আকারে, সংরক্ষণ করা হয় এবং একটি এ উপলব্ধ করা হয় আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) এনগেজমেন্ট ডেটা বাকেট।
- সেজমেকার নোটবুকের উদাহরণে, ডেটা সায়েন্স দল এনগেজমেন্ট ডেটা S3 বাকেট থেকে ডেটা ডাউনলোড করে আমাজন ইলাস্টিক ফাইল সিস্টেম (Amazon EFS) স্থানীয় অনুসন্ধান এবং পরীক্ষা সঞ্চালন.
- আরও ডেটা অন্বেষণ এবং ডেটা প্রিপ্রসেসিং ক্রিয়াকলাপগুলি সম্পৃক্ততার ডেটাকে বৈশিষ্ট্যগুলিতে রূপান্তর করতে সঞ্চালিত হয় যা ভবিষ্যদ্বাণীমূলক মডেলগুলিতে অন্তর্নিহিত সমস্যাগুলিকে আরও ভালভাবে উপস্থাপন করে।
- কিউরেটেড ডেটা কিউরেটেড ডেটা S3 বালতিতে সংরক্ষণ করা হয়।
- ডেটা প্রস্তুত হওয়ার পরে, দলটি সম্পাদন করে স্থানীয় এমএল প্রশিক্ষণ এবং অনুমান পরীক্ষা সেজমেকার নোটবুক উদাহরণে। এই পর্বে কিউরেটেড ডেটার একটি উপসেট ব্যবহার করা হয়।
- সন্তোষজনক ফলাফল অর্জন না হওয়া পর্যন্ত ধাপ 5, 6, এবং 7 বারবার পুনরাবৃত্তি করা হয়।
এমএল মডেল প্রশিক্ষণ এবং স্থাপনার কর্মপ্রবাহ
এমএল মডেল প্রশিক্ষণ এবং স্থাপনার কর্মপ্রবাহ CI/CD পাইপলাইনে বাস্তবায়িত কর্মপ্রবাহকে ট্রিগার করার জন্য দলের ব্যক্তিগত গিট সংগ্রহস্থলের উপর নির্ভর করে।
বাস্তবায়িত পদ্ধতিটি ছিল যে গিট কনফিগারেশন সেটিংস এবং সোর্স কোডের জন্য সত্যের এক এবং একমাত্র উত্স হিসাবে কাজ করেছিল। এই পদ্ধতির জন্য সিস্টেমের পছন্দসই অবস্থা সংস্করণ নিয়ন্ত্রণে সংরক্ষণ করা প্রয়োজন, যা যে কেউ পরিবর্তনের সম্পূর্ণ অডিট ট্রেল দেখতে দেয়। কাঙ্খিত অবস্থায় সমস্ত পরিবর্তন সম্পূর্ণরূপে সনাক্তযোগ্য প্রতিশ্রুতি যা কমিটারের তথ্য, কমিট আইডি এবং টাইমস্ট্যাম্পের সাথে যুক্ত। এর অর্থ হল যে অ্যাপ্লিকেশন এবং অবকাঠামো উভয়ই এখন কোডের মাধ্যমে সংস্করণ করা হয়েছে এবং স্ট্যান্ডার্ড সফ্টওয়্যার বিকাশ এবং বিতরণ পদ্ধতি ব্যবহার করে নিরীক্ষা করা যেতে পারে।
নিম্নলিখিত চিত্রটি এই কর্মপ্রবাহকে চিত্রিত করে।
কর্মপ্রবাহের নিম্নলিখিত ধাপ রয়েছে:
- ডেটা প্রস্তুতির কার্যপ্রবাহ থেকে সংগৃহীত ডেটা সহ, স্থানীয় প্রশিক্ষণ এবং অনুমান পরীক্ষা সেজমেকার নোটবুক উদাহরণে পুনরাবৃত্তিমূলকভাবে সঞ্চালিত হয়।
- যখন কাঙ্খিত ফলাফলগুলি অর্জন করা হয়, ডেটা সায়েন্স দল গিট-এ কনফিগারেশন সেটিংস কমিট করে। কনফিগারেশন নিম্নলিখিত অন্তর্ভুক্ত:
- তথ্য উৎস অবস্থান
- ক্লাস্টার উদাহরণের ধরন এবং আকার
- সেজমেকার প্রিবিল্ট কন্টেইনার ইমেজ ML ফ্রেমওয়ার্ক যেমন PyTorch, TensorFlow বা scikit-learn নির্বাচন করতে
- স্পট বা অন-ডিমান্ড দৃষ্টান্ত নির্বাচন করতে মূল্য নির্ধারণের মডেল।
- গিট কমিট CI/CD পাইপলাইনকে ট্রিগার করে। CI/CD পাইপলাইন SageMaker পরিকাঠামোর ব্যবস্থা করার জন্য একটি Python Boto3 স্ক্রিপ্ট ফায়ার করে।
- ডেভেলপমেন্ট এডব্লিউএস অ্যাকাউন্টে, স্পট ইনস্ট্যান্সের সাথে প্রতিশ্রুতিবদ্ধ কনফিগারেশন সেটিংস সহ একটি নতুন সেজমেকার প্রশিক্ষণ কাজের ব্যবস্থা করা হয়েছে। কিউরেট করা ডেটার S3 বালতি থেকে ডেটাসেট প্রশিক্ষণ ক্লাস্টারে ডাউনলোড করা হয়, প্রশিক্ষণ অবিলম্বে শুরু হয়।
- ML প্রশিক্ষণের কাজ শেষ হওয়ার পরে, একটি মডেল আর্টিফ্যাক্ট তৈরি করা হয় এবং Amazon S3 এ সংরক্ষণ করা হয়। প্রতিটি যুগ, মূল্যায়ন মেট্রিক, এবং প্রশিক্ষণ কাজের লগ সংরক্ষণ করা হয় অ্যামাজন ক্লাউডওয়াচ লগস.
- যখন একটি মডেল আর্টিফ্যাক্ট Amazon S3 এ সংরক্ষণ করা হয়, এটি একটি ইভেন্টকে ট্রিগার করে যা একটি এডাব্লুএস ল্যাম্বদা একটি স্ল্যাক বিজ্ঞপ্তি তৈরি করার ফাংশন যে প্রশিক্ষণের কাজ সম্পূর্ণ হয়েছে। বিজ্ঞপ্তিতে পর্যালোচনার জন্য প্রশিক্ষণ কাজের ক্লাউডওয়াচ লগগুলির একটি লিঙ্ক অন্তর্ভুক্ত রয়েছে।
- ডেটা সায়েন্স টিম যদি মূল্যায়ন প্রতিবেদনে সন্তুষ্ট হয়, টিম CI/CD পাইপলাইনে একটি অনুমোদন ফাংশনের মাধ্যমে পাইপলাইনটিকে আনব্লক করে এবং আরও অনুমান পরীক্ষার জন্য SageMaker হোস্টিং পরিকাঠামোতে ML মডেল স্থাপন করতে একটি Python Boto3 স্ক্রিপ্ট চালু করে।
- বৈধতার পরে, দলটি একটি গিট পুল অনুরোধ উত্থাপন করে iProperty.com.myএর এমএল ইঞ্জিনিয়াররা চূড়ান্ত পর্যালোচনা করেন। এমএল ইঞ্জিনিয়াররা ফলাফল যাচাই করতে ডেভেলপমেন্ট এনভায়রনমেন্টের সেজমেকার ইনফারেন্স এন্ডপয়েন্টের বিরুদ্ধে আরও পরীক্ষা চালাতে পারে।
- যদি সবকিছু প্রত্যাশিতভাবে কাজ করে, এমএল প্রকৌশলী পুল অনুরোধটি একত্রিত করে যা CI/CD পাইপলাইনকে ডেটা উৎপাদন পরিবেশে নতুন মডেল স্থাপন করতে ট্রিগার করে। সিআই/সিডি পাইপলাইন সেজমেকার মাল্টি-মডেল এন্ডপয়েন্টে মডেল স্থাপন করতে একটি পাইথন স্ক্রিপ্ট চালায়। যাইহোক, যদি অনুমান ফলাফলের সাথে সমস্যা থাকে, তাহলে প্রদত্ত প্রতিক্রিয়া সহ পুল অনুরোধ প্রত্যাখ্যান করা হয়।
- সেজমেকার হোস্টিং পরিকাঠামোর ব্যবস্থা করা হয়েছে এবং সিআই/সিডি ওয়ার্কফ্লো সেজমেকার ইনফারেন্স এন্ডপয়েন্টের বিরুদ্ধে একটি হেলথ চেক স্ক্রিপ্ট চালায় যাতে ইনফারেন্স এন্ডপয়েন্টের স্বাস্থ্য যাচাই করা যায়।
ML মডেল পরিবেশন এবং API স্তর কর্মপ্রবাহ
যেকোন ML ব্যবহারের ক্ষেত্রে, ভোক্তাদের কাছে যেকোন ML মডেল পরিবেশন করার আগে, উপযুক্ত ব্যবসায়িক যুক্তি প্রয়োগ করতে হবে৷ ব্যবসায়িক যুক্তি ML অনুমানকৃত আউটপুট (সেজমেকার থেকে) বিভিন্ন গণনা এবং গণনা সহ ব্যবহারের ক্ষেত্রে প্রয়োজনীয়তা পূরণ করে। ভিতরে iProperty.com.myএর ক্ষেত্রে, ব্যবসায়িক যুক্তি AWS Lambda-এ হোস্ট করা হয়েছে, প্রতিটি ML ব্যবহারের ক্ষেত্রে একটি পৃথক Lambda ফাংশন সহ। AWS Lambda এর সরলতা এবং খরচ-কার্যকারিতার কারণে বেছে নেওয়া হয়েছিল।
ল্যাম্বডা আপনাকে পরিষেবা দ্বারা পরিচালিত স্কেলিং এবং প্রাপ্যতা সহ সার্ভারগুলিকে প্রভিশন বা পরিচালনা ছাড়াই কোড চালানোর অনুমতি দেয়। আপনি শুধুমাত্র আপনার খরচ করা গণনা সময়ের জন্য অর্থ প্রদান করেন এবং কোডটি চালু না হলে কোন চার্জ নেই।
সার্ভারহীন অ্যাপ্লিকেশন বিকাশ পরিচালনা করতে, iProperty.com.my ল্যাম্বডাতে তাদের ব্যবসায়িক যুক্তি বিকাশ এবং বজায় রাখতে সার্ভারলেস ফ্রেমওয়ার্ক (SLS) ব্যবহার করে। CI/CD পাইপলাইন Lambda-তে নতুন আপডেট স্থাপন করে।
Lambda ফাংশনগুলি তৈরি করা GraphQL API-এর মাধ্যমে গ্রাহকদের কাছে প্রকাশ করা হয় অ্যামাজন ইলাস্টিক কুবারনেটস পরিষেবা (Amazon EKS) সহ AWS Fargate.
নিম্নলিখিত চিত্রটি এই কর্মপ্রবাহকে চিত্রিত করে।
কর্মপ্রবাহে নিম্নলিখিত পদক্ষেপগুলি অন্তর্ভুক্ত রয়েছে:
- এমএল প্রশিক্ষণ এবং স্থাপনার কর্মপ্রবাহ থেকে অব্যাহত, সেজমেকার হোস্টিং অবকাঠামোতে একাধিক এমএল মডেল স্থাপন করা হতে পারে। ML মডেলগুলি ভোক্তাদের কাছে পরিবেশন করার আগে প্রাসঙ্গিক ব্যবসায়িক যুক্তি (ল্যাম্বডা-তে বাস্তবায়িত) দিয়ে আচ্ছন্ন করা হয়।
- ব্যবসায়িক যুক্তিতে কোনো আপডেট থাকলে, ডেটা সায়েন্টিস্ট সার্ভারলেস ফ্রেমওয়ার্কের সোর্স কোড আপডেট করে এবং গিট রিপোজিটরিতে জমা দেয়।
- গিট কমিট CI/CD পাইপলাইনকে ট্রিগার করে Lambda ফাংশনকে সর্বশেষ আপডেটের সাথে প্রতিস্থাপন করতে। এই ক্রিয়াকলাপটি বিকাশ অ্যাকাউন্টে চলে এবং উত্পাদন অ্যাকাউন্টে পুনরাবৃত্তি হওয়ার আগে যাচাই করা হয়।
- একাধিক Lambda ফাংশন সংশ্লিষ্ট ব্যবসায়িক লজিক্সের সাথে স্থাপন করা হয় যা সেজমেকার ইনফারেন্স এন্ডপয়েন্টকে জিজ্ঞাসা করে।
API স্তরে করা প্রতিটি API অনুরোধের জন্য, GraphQL API অনুরোধটি প্রক্রিয়া করে এবং অনুরোধটিকে সংশ্লিষ্ট Lambda ফাংশনে ফরোয়ার্ড করে। একটি আমন্ত্রিত ফাংশন এক বা একাধিক সেজমেকার ইনফারেন্স এন্ডপয়েন্টকে জিজ্ঞাসা করতে পারে এবং অনুরোধকারীকে একটি প্রতিক্রিয়া প্রদান করার আগে ব্যবসায়িক যুক্তি প্রক্রিয়া করে।
মোতায়েন করা ML মডেলগুলির কার্যকারিতা মূল্যায়ন করার জন্য, একটি ড্যাশবোর্ড যা প্রতিটি ML মডেলের জন্য মেট্রিক (যেমন ক্লিকথ্রু রেট বা ওপেন রেট) ট্র্যাক করে উত্পাদনে ML মডেলগুলির কার্যকারিতা কল্পনা করার জন্য তৈরি করা হয়েছে৷ এই মেট্রিক্স কিভাবে আমাদের পথপ্রদর্শক আলো হিসাবে পরিবেশিত iProperty.com.my ML মডেলগুলির পুনরাবৃত্তি এবং উন্নতি অব্যাহত রাখে।
ব্যবসার ফলাফল
সার্জারির iProperty.com.my দল উন্নত কর্মপ্রবাহ থেকে মূল্যবান ফলাফল পর্যবেক্ষণ করেছে।
"সেজমেকার এবং আমাদের বিদ্যমান CI/CD টুল জুড়ে আমাদের ডেটা সায়েন্স ওয়ার্কফ্লো বাস্তবায়নের মাধ্যমে, অটোমেশন এবং অপারেশনাল ওভারহেড হ্রাস আমাদের এমএল মডেল বর্ধিতকরণ কার্যক্রমগুলিতে ফোকাস করতে সক্ষম করেছে, আমাদের এমএল মডেলের বাজারের সময়কে 60% দ্রুততর করে," বলেছেন মোহাম্মদ বলেছেন আলাউদ্দিন, ডাটা সায়েন্স অ্যান্ড ইঞ্জিনিয়ারিং বিভাগের প্রধান ড. “শুধু তাই নয়, সেজমেকার স্পট ইনস্ট্যান্সের সাথে, একটি সাধারণ সুইচের সাথে সক্ষম, আমরা আমাদের ডেটা সায়েন্স অবকাঠামোর খরচ 75% কমাতেও সক্ষম হয়েছি। পরিশেষে, আমাদের ML মডেলের বাজারের সময়কে উন্নত করার মাধ্যমে, আমাদের ভোক্তাদের প্রতিক্রিয়া সংগ্রহ করার ক্ষমতাকেও ত্বরান্বিত করা হয়েছিল, যা আমাদের তালিকার সুপারিশগুলিকে 250% দ্বারা পরিবর্তন করতে এবং উন্নত করতে সক্ষম করে।"
সংক্ষিপ্তসার এবং পরবর্তী পদক্ষেপ
যদিও দলটি ব্যবসায়িক ফলাফলের সাথে গভীরভাবে উত্সাহিত হয়েছিল, তবুও তাদের ভোক্তার অভিজ্ঞতা উন্নত করার জন্য প্রচুর জায়গা রয়েছে। তাদের এমএল মডেল সার্ভিং ওয়ার্কফ্লো সহ আরও উন্নত করার পরিকল্পনা রয়েছে A / B পরীক্ষা এবং মডেল পর্যবেক্ষণ বৈশিষ্ট্য.
ভিন্ন ভিন্ন কাজকে আরও কমাতে, দলটিও অন্বেষণ করছে সেজমেকার প্রকল্প তাদের এমএল ওয়ার্কফ্লো পরিচালনা এবং রক্ষণাবেক্ষণকে সহজ করতে, এবং সেজমেকার পাইপলাইন ডেটা লোডিং, ডেটা ট্রান্সফরমেশন, ট্রেনিং এবং টিউনিং এবং স্কেলে স্থাপনের মতো পদক্ষেপগুলি স্বয়ংক্রিয় করতে।
PropertyGuru Group এবং iProperty.com.my সম্পর্কে
iProperty.com.my মালয়েশিয়ার কুয়ালালামপুরে সদর দফতর এবং 200 জনেরও বেশি কর্মচারী নিয়োগ করে। iProperty.com.my হল বাজারের শীর্ষস্থানীয় প্রপার্টি পোর্টাল, ইংরেজি এবং বাহাসা মালয়েশিয়া উভয় ভাষায় অনুসন্ধানের অভিজ্ঞতা প্রদান করে। iProperty.com.my যেমন ভোক্তা সমাধান প্রদান করে লোন কেয়ার - একটি হোম লোনের যোগ্যতা সূচক, সংবাদ ও জীবনধারা চ্যানেল - ভোক্তাদের সম্পত্তি যাত্রা বাড়াতে সামগ্রী, ঘটনাবলী - অফলাইনে এজেন্ট এবং ডেভেলপারদের সাথে সম্পত্তি সন্ধানকারীদের সংযোগ করতে এবং আরও অনেক কিছু। কোম্পানিটি প্রপার্টি গুরু গ্রুপের অংশ, দক্ষিণ-পূর্ব এশিয়ার শীর্ষস্থানীয় সম্পত্তি প্রযুক্তি কোম্পানি1.
সম্পত্তিগুরু দক্ষিণ-পূর্ব এশিয়ার নেতৃস্থানীয় সম্পত্তি প্রযুক্তি কোম্পানি. 2007 সালে প্রতিষ্ঠিত, PropertyGuru সিঙ্গাপুর, ভিয়েতনাম, মালয়েশিয়া এবং থাইল্যান্ডে শীর্ষস্থানীয় অবস্থানের সাথে দক্ষিণ-পূর্ব এশিয়ার #1 ডিজিটাল সম্পত্তির বাজারে পরিণত হয়েছে। কোম্পানি বর্তমানে 2.8 মিলিয়নেরও বেশি মাসিক রিয়েল এস্টেট তালিকা হোস্ট করে এবং 50 মিলিয়নেরও বেশি মাসিক সম্পত্তি অনুসন্ধানকারী এবং 50,000 এর বেশি সক্রিয় সম্পত্তি এজেন্টকে দক্ষিণ-পূর্ব এশিয়ার পাঁচটি বৃহত্তম অর্থনীতি - ইন্দোনেশিয়া, মালয়েশিয়া, সিঙ্গাপুর, থাইল্যান্ড এবং ভিয়েতনাম জুড়ে পরিবেশন করে।
1 সাম্প্রতিক ওয়েব ডেটার উপর ভিত্তি করে আপেক্ষিক সম্পৃক্ততার বাজার শেয়ারের ক্ষেত্রে।
এই পোস্টে থাকা সামগ্রী এবং মতামতগুলি তৃতীয় পক্ষের লেখক এবং এডাব্লুএস এই পোস্টের বিষয়বস্তু বা যথার্থতার জন্য দায়ী নয়।
লেখক সম্পর্কে
মোহাম্মদ আলাউদ্দিন প্রপার্টিগুরু গ্রুপে ডেটার ইঞ্জিনিয়ারিং ম্যানেজার। গত 15 বছরে, তিনি টেলকো, এয়ারলাইন এবং প্রপটেক ডিজিটাল ইন্ডাস্ট্রিতে ডেটা বিশ্লেষণ, ডেটা ইঞ্জিনিয়ারিং এবং মেশিন লার্নিং প্রকল্পগুলিতে অবদান রেখেছেন। তিনি Data & AI পাবলিক ইভেন্টেও কথা বলেন। তার অবসর সময়ে, তিনি পরিবারের সাথে অভ্যন্তরীণ ক্রিয়াকলাপ উপভোগ করেন, পড়া এবং টিভি দেখা।
মোঃ কামাল হোসেন প্রপার্টি গুরু গ্রুপের লিড ডেটা সায়েন্টিস্ট। তিনি ক্লাউড পরিষেবা ব্যবহার করে এন্ড-টু-এন্ড এআই/এমএল সমাধানের ধারণা, ডিজাইন এবং উৎপাদনের জন্য ডেটা সায়েন্স সেন্টার অফ এক্সিলেন্স (DS CoE) এর নেতৃত্ব দেন। কমল রিইনফোর্সমেন্ট লার্নিং এবং কগনিটিভ সায়েন্সের প্রতি বিশেষ আগ্রহী। তার অবসর সময়ে, তিনি পড়তে পছন্দ করেন এবং তার বাচ্চাদের সাথে থাকার চেষ্টা করেন।
ফ্যাবিয়ান ট্যান অ্যামাজন ওয়েব সার্ভিসেসের একজন প্রধান সমাধান স্থপতি। সফ্টওয়্যার ডেভেলপমেন্ট, ডাটাবেস, ডেটা অ্যানালিটিক্স এবং মেশিন লার্নিংয়ের জন্য তার একটি শক্তিশালী আবেগ রয়েছে। তিনি মালয়েশিয়ার ডেভেলপার সম্প্রদায়ের সাথে ঘনিষ্ঠভাবে কাজ করেন যাতে তাদের ধারণাগুলোকে বাস্তবে রূপ দিতে সহায়তা করে।
- '
- &
- 000
- 100
- 7
- 84
- প্রবেশ
- হিসাব
- সক্রিয়
- ক্রিয়াকলাপ
- এজেন্ট
- AI
- এয়ারলাইন
- সব
- মর্দানী স্ত্রীলোক
- আমাজন সেজমেকার
- অ্যামাজন ওয়েব সার্ভিসেস
- বিশ্লেষণ
- বৈশ্লেষিক ন্যায়
- এ্যাপাচি
- API
- API গুলি
- আবেদন
- অ্যাপ্লিকেশন ডেভেলপমেন্ট
- এশিয়া
- নিরীক্ষা
- অটোমেটেড
- স্বয়ংক্রিয়তা
- উপস্থিতি
- ডেস্কটপ AWS
- এডাব্লুএস ল্যাম্বদা
- নির্মাণ করা
- ভবন
- ব্যবসায়
- মামলা
- অভিযোগ
- মেঘ
- মেঘ পরিষেবা
- কোড
- জ্ঞানীয়
- সহযোগিতা
- সাধারণ
- সম্প্রদায়
- কোম্পানি
- গনা
- গ্রাস করা
- ভোক্তা
- কনজিউমার্স
- আধার
- বিষয়বস্তু
- চলতে
- অবদান রেখেছে
- ড্যাশবোর্ড
- উপাত্ত
- ডেটা বিশ্লেষণ
- ডেটা লেক
- তথ্য বিজ্ঞান
- তথ্য বিজ্ঞানী
- ডাটাবেস
- বিলি
- নকশা
- বিকাশ
- বিকাশকারী
- ডেভেলপারদের
- উন্নয়ন
- ডিজিটাল
- পরিচালনা
- দক্ষতা
- কর্মচারী
- শেষপ্রান্ত
- প্রকৌশলী
- প্রকৌশল
- প্রকৌশলী
- ইংরেজি
- পরিবেশ
- এস্টেট
- ঘটনা
- ঘটনাবলী
- অভিজ্ঞতা
- অভিজ্ঞতা
- অন্বেষণ
- পরিবার
- বৈশিষ্ট্য
- বৈশিষ্ট্য
- ফি
- পরিশেষে
- কেন্দ্রবিন্দু
- ভোক্তাদের জন্য
- ফর্ম
- ফ্রেমওয়ার্ক
- ক্রিয়া
- git
- জিপিইউ
- গ্রাফিক্যাল
- গ্রুপ
- মাথা
- স্বাস্থ্য
- হোম
- হোস্টিং
- কিভাবে
- HTTPS দ্বারা
- সুদ্ধ
- ইন্দোনেশিয়া
- শিল্প
- তথ্য
- পরিকাঠামো
- ইন্টিগ্রেশন
- স্বার্থ
- জড়িত
- সমস্যা
- IT
- কাজ
- কিডস
- Kubernetes
- ল্যাপটপ
- সর্বশেষ
- শুরু করা
- নেতৃত্ব
- নেতৃত্ব
- শিক্ষা
- জীবনধারা
- আলো
- LINK
- তালিকা
- তালিকা
- বোঝা
- ঋণ
- স্থানীয়
- মেশিন লার্নিং
- মেশিন
- মুখ্য
- মালয়েশিয়া
- ব্যবস্থাপনা
- বাজার
- বাজারে নেতৃস্থানীয়
- নগরচত্বর
- ছন্দোবিজ্ঞান
- মিলিয়ন
- ML
- মডেল
- পদক্ষেপ
- নোটবুক
- প্রজ্ঞাপন
- নৈবেদ্য
- অফার
- খোলা
- মতামত
- অপশন সমূহ
- অন্যান্য
- বেতন
- কর্মক্ষমতা
- মাচা
- প্রচুর
- পোর্টাল
- অধ্যক্ষ
- ব্যক্তিগত
- পণ্য
- উত্পাদনের
- প্রোফাইল
- প্রকল্প
- সম্পত্তি
- প্রকাশ্য
- পাইথন
- পাইটার্চ
- উত্থাপন
- পড়া
- আবাসন
- হ্রাস করা
- শক্তিবৃদ্ধি শেখার
- রিপোর্ট
- আবশ্যকতা
- গবেষণা
- Resources
- প্রতিক্রিয়া
- ফলাফল
- পুনরায়োজন
- এখানে ক্লিক করুন
- চালান
- দৌড়
- ঋষি নির্মাতা
- স্কেল
- আরোহী
- বিজ্ঞান
- বিজ্ঞানীরা
- সার্চ
- স্ব সেবা
- Serverless
- সেবা
- ভজনা
- সেট
- শেয়ার
- SimilarWeb
- সহজ
- সিঙ্গাপুর
- ঢিলা
- সফটওয়্যার
- সফটওয়্যার উন্নয়ন
- সলিউশন
- দক্ষিণ - পূর্ব এশিয়া
- অকুস্থল
- শুরু
- রাষ্ট্র
- স্টোরেজ
- সমর্থন
- পৃষ্ঠতল
- সুইচ
- পদ্ধতি
- প্রযুক্তিঃ
- Telco
- tensorflow
- পরীক্ষামূলক
- পরীক্ষা
- থাইল্যান্ড
- উৎস
- সময়
- প্রশিক্ষণ
- রুপান্তর
- tv
- আপডেট
- us
- ভর্সন নিয্ন্ত্র্ন
- ভিয়েতনাম
- চেক
- ভার্চুয়াল
- দৃষ্টিপাত
- আয়তন
- অপেক্ষা করুন
- ওয়েব
- ওয়েব সার্ভিস
- মধ্যে
- হয়া যাই ?
- কর্মপ্রবাহ
- কাজ
- বছর