কিভাবে xarvio ডিজিটাল ফার্মিং সলিউশন অ্যামাজন সেজমেকার ভূ-স্থানিক ক্ষমতার সাথে এর বিকাশকে ত্বরান্বিত করে

এটি একটি গেস্ট পোস্ট জুলিয়ান ব্লাউ দ্বারা সহ-লিখিত, xarvio ডিজিটাল ফার্মিং সলিউশনের ডেটা সায়েন্টিস্ট; BASF ডিজিটাল ফার্মিং GmbH, এবং আন্তোনিও রদ্রিগেজ, AWS-এর AI/ML বিশেষজ্ঞ সমাধান স্থপতি

xarvio ডিজিটাল ফার্মিং সলিউশন হল BASF ডিজিটাল ফার্মিং GmbH-এর একটি ব্র্যান্ড, যা BASF কৃষি সমাধান বিভাগের অংশ। xarvio ডিজিটাল ফার্মিং সলিউশন কৃষকদের ফসল উৎপাদনকে অপ্টিমাইজ করতে সাহায্য করার জন্য নির্ভুল ডিজিটাল ফার্মিং পণ্য অফার করে। বিশ্বব্যাপী উপলব্ধ, xarvio পণ্যগুলি মেশিন লার্নিং (ML), ইমেজ রিকগনিশন প্রযুক্তি এবং উন্নত ফসল এবং রোগের মডেলগুলি ব্যবহার করে, স্যাটেলাইট এবং আবহাওয়া স্টেশন ডিভাইসগুলির ডেটার সাথে একত্রিত করে, পৃথক ক্ষেত্রের প্রয়োজনগুলি পরিচালনা করার জন্য সঠিক এবং সময়োপযোগী কৃষি সংক্রান্ত সুপারিশগুলি সরবরাহ করতে। xarvio পণ্যগুলি স্থানীয় চাষের অবস্থার জন্য তৈরি করা হয়েছে, বৃদ্ধির স্তরগুলি নিরীক্ষণ করতে পারে এবং রোগ এবং কীটপতঙ্গ সনাক্ত করতে পারে। তারা দক্ষতা বাড়ায়, সময় বাঁচায়, ঝুঁকি কমায় এবং পরিকল্পনা ও সিদ্ধান্ত গ্রহণের জন্য উচ্চতর নির্ভরযোগ্যতা প্রদান করে—সবকিছুই টেকসই কৃষিতে অবদান রাখে।

আমরা আমাদের কিছু ব্যবহারের ক্ষেত্রে আমাদের ব্যবহারকারীদের ক্ষেত্রগুলি যেখানে অবস্থিত সেগুলির উপগ্রহ চিত্র সহ বিভিন্ন ভূ-স্থানিক ডেটা নিয়ে কাজ করি৷ অতএব, আমরা প্রতিদিন শত শত বড় ইমেজ ফাইল ব্যবহার ও প্রক্রিয়া করি। প্রাথমিকভাবে, তৃতীয় পক্ষের সরঞ্জাম, ওপেন-সোর্স লাইব্রেরি বা সাধারণ-উদ্দেশ্য ক্লাউড পরিষেবাগুলি ব্যবহার করে এই ডেটা গ্রহণ, প্রক্রিয়াকরণ এবং বিশ্লেষণ করার জন্য আমাদের প্রচুর ম্যানুয়াল কাজ এবং প্রচেষ্টা বিনিয়োগ করতে হয়েছিল। কিছু কিছু ক্ষেত্রে, প্রতিটি নির্দিষ্ট প্রকল্পের জন্য পাইপলাইন তৈরি করতে আমাদের 2 মাস পর্যন্ত সময় লাগতে পারে। এখন, এর ভূ-স্থানিক ক্ষমতা ব্যবহার করে আমাজন সেজমেকার, আমরা এই সময়টি কমিয়ে মাত্র 1-2 সপ্তাহ করেছি।

এই সময়-সংরক্ষণ হল ভূ-স্থানিক ডেটা পাইপলাইনগুলিকে স্বয়ংক্রিয়ভাবে আমাদের ব্যবহারের কেসগুলিকে আরও দক্ষতার সাথে সরবরাহ করার ফলাফল, পাশাপাশি অন্যান্য ভৌগোলিক অঞ্চলে একই ধরণের প্রকল্পগুলিকে গতি বাড়ানো এবং উন্নত করার জন্য বিল্ট-ইন পুনঃব্যবহারযোগ্য উপাদানগুলি ব্যবহার করার সাথে সাথে অন্যান্য ব্যবহারের জন্য একই প্রমাণিত পদক্ষেপগুলি প্রয়োগ করা। অনুরূপ তথ্যের উপর ভিত্তি করে কেস।

এই পোস্টে, আমরা সাধারণত যে কৌশলগুলি ব্যবহার করি তার কয়েকটি বর্ণনা করার জন্য আমরা একটি উদাহরণ ব্যবহারের ক্ষেত্রে যাই এবং দেখাই যে কীভাবে সেজমেকারের অন্যান্য বৈশিষ্ট্যগুলির সাথে একত্রে সেজমেকার ভূ-স্থানিক কার্যকারিতাগুলি ব্যবহার করে এইগুলিকে প্রয়োগ করা পরিমাপযোগ্য সুবিধা প্রদান করে। আমরা কোড উদাহরণগুলিও অন্তর্ভুক্ত করি যাতে আপনি এগুলিকে আপনার নিজের নির্দিষ্ট ব্যবহারের ক্ষেত্রে মানিয়ে নিতে পারেন।

সমাধান ওভারভিউ

একটি সাধারণ রিমোট সেন্সিং প্রকল্পের জন্য নতুন সমাধান তৈরির জন্য অপটিক্যাল স্যাটেলাইট দ্বারা নেওয়া চিত্রগুলির ধাপে ধাপে বিশ্লেষণের প্রয়োজন হয় যেমন প্রহরী or ল্যান্ডস্যাট, আবহাওয়ার পূর্বাভাস বা নির্দিষ্ট ক্ষেত্রের বৈশিষ্ট্য সহ অন্যান্য ডেটার সাথে একত্রে। স্যাটেলাইট ছবিগুলি আমাদের ব্যবহারকারীদের বিভিন্ন কাজ সম্পন্ন করতে সাহায্য করার জন্য আমাদের ডিজিটাল ফার্মিং সলিউশনে ব্যবহৃত মূল্যবান তথ্য প্রদান করে:

• তাদের ক্ষেতে রোগ শনাক্ত করা
• প্রয়োগ করার জন্য সঠিক পুষ্টি এবং চিকিত্সার পরিকল্পনা করা
• সেচ পরিকল্পনার জন্য আবহাওয়া এবং জল সম্পর্কে অন্তর্দৃষ্টি পাওয়া
• ফসল ফলনের পূর্বাভাস
• শস্য ব্যবস্থাপনার অন্যান্য কাজ সম্পাদন করা

এই লক্ষ্যগুলি অর্জনের জন্য, আমাদের বিশ্লেষণের জন্য সাধারণত ভূ-স্থানিক ডোমেনে প্রচলিত বিভিন্ন কৌশল সহ স্যাটেলাইট চিত্রগুলির প্রিপ্রসেসিং প্রয়োজন।

SageMaker geospatial এর ক্ষমতা প্রদর্শনের জন্য, আমরা ML সেগমেন্টেশন মডেলের মাধ্যমে কৃষিক্ষেত্র চিহ্নিত করার পরীক্ষা করেছি। অতিরিক্তভাবে, আমরা আগে থেকে বিদ্যমান সেজমেকার জিওস্পেশিয়াল মডেলগুলি অন্বেষণ করেছি এবং ভূ-স্থানিক কাজগুলিতে আপনার নিজস্ব মডেল (BYOM) কার্যকারিতা নিয়ে এসেছি যেমন ভূমি ব্যবহার এবং ভূমি কভার শ্রেণীবিভাগ, বা ফসলের শ্রেণীবিভাগ, প্রক্রিয়ার অতিরিক্ত পদক্ষেপ হিসাবে প্রায়শই প্যানোপ্টিক বা শব্দার্থিক বিভাজন কৌশলগুলির প্রয়োজন হয়৷

নিম্নলিখিত বিভাগগুলিতে, আমরা সেজমেকার ভূ-স্থানীয় ক্ষমতার সাথে এই পদক্ষেপগুলি কীভাবে সম্পাদন করতে হয় তার কিছু উদাহরণ দিয়ে যাই। এছাড়াও আপনি এগুলি অনুসরণ করতে পারেন এন্ড-টু-এন্ড উদাহরণ নোটবুকে নিম্নলিখিতটিতে উপলব্ধ GitHub সংগ্রহস্থল.

পূর্বে উল্লিখিত হিসাবে, আমরা ল্যান্ড কভার শ্রেণীবিভাগের ব্যবহার কেস নির্বাচন করেছি, যা আমাদের ভূ-পৃষ্ঠের একটি প্রদত্ত ভৌগলিক অঞ্চলে গাছপালা, জল, বা তুষার সহ ক্লাসের একটি সেটে সংগঠিত ভৌত কভারেজের ধরন সনাক্ত করে। এই উচ্চ-রেজোলিউশন শ্রেণীবিভাগ আমাদেরকে উচ্চ নির্ভুলতার সাথে ক্ষেত্রগুলির অবস্থান এবং এর আশেপাশের জন্য বিশদ সনাক্ত করতে দেয়, যা পরবর্তীতে অন্যান্য বিশ্লেষণের সাথে শৃঙ্খলিত করা যেতে পারে যেমন ফসলের শ্রেণীবিভাগে পরিবর্তন সনাক্তকরণ।

ক্লায়েন্ট সেটআপ

প্রথমত, ধরা যাক আমাদের কাছে এমন ব্যবহারকারী রয়েছে যাদের ফসল একটি প্রদত্ত ভৌগলিক এলাকায় চাষ করা হচ্ছে যা আমরা ভূ-স্থানিক স্থানাঙ্কের বহুভুজের মধ্যে সনাক্ত করতে পারি। এই পোস্টের জন্য, আমরা জার্মানির উপর একটি উদাহরণ এলাকা সংজ্ঞায়িত করি। আমরা একটি নির্দিষ্ট সময়ের পরিসরও সংজ্ঞায়িত করতে পারি, উদাহরণস্বরূপ 2022 সালের প্রথম মাসে। নিম্নলিখিত কোডটি দেখুন:

### Coordinates for the polygon of your area of interest...
coordinates = [
    [9.181602157004177, 53.14038825707946],
    [9.181602157004177, 52.30629767547948],
    [10.587520893823973, 52.30629767547948],
    [10.587520893823973, 53.14038825707946],
    [9.181602157004177, 53.14038825707946],
]
### Time-range of interest...
time_start = "2022-01-01T12:00:00Z"
time_end = "2022-05-01T12:00:00Z"

আমাদের উদাহরণে, আমরা প্রোগ্রাম্যাটিক বা কোড ইন্টারঅ্যাকশনের মাধ্যমে SageMaker জিওস্পেশিয়াল SDK-এর সাথে কাজ করি, কারণ আমরা এমন কোড পাইপলাইন তৈরি করতে আগ্রহী যা আমাদের প্রক্রিয়ায় প্রয়োজনীয় বিভিন্ন পদক্ষেপের সাথে স্বয়ংক্রিয় হতে পারে। মনে রাখবেন আপনি সেজমেকার জিওস্পেশিয়াল এর সাথে প্রদত্ত গ্রাফিকাল এক্সটেনশনগুলির মাধ্যমে একটি UI এর সাথেও কাজ করতে পারেন অ্যামাজন সেজমেকার স্টুডিও আপনি যদি এই পদ্ধতিটি পছন্দ করেন, যেমনটি নিম্নলিখিত স্ক্রিনশটগুলিতে দেখানো হয়েছে। জিওস্পেশিয়াল স্টুডিও UI অ্যাক্সেস করার জন্য, সেজমেকার স্টুডিও লঞ্চার খুলুন এবং নির্বাচন করুন ভূ-স্থানিক সম্পদ পরিচালনা করুন. আপনি ডকুমেন্টেশন আরো বিস্তারিত চেক করতে পারেন Amazon SageMaker জিওস্পেশিয়াল ক্ষমতা দিয়ে শুরু করুন.

এখানে আপনি আর্থ অবজারভেশন জবস (EOJs) যেগুলি আপনি SageMaker জিওস্পেশিয়াল বৈশিষ্ট্যগুলির সাথে চালান তার ফলাফলগুলি গ্রাফিকভাবে তৈরি করতে, নিরীক্ষণ করতে এবং কল্পনা করতে পারেন৷

আমাদের উদাহরণে ফিরে যান, SageMaker জিওস্পেশিয়াল SDK-এর সাথে ইন্টারঅ্যাক্ট করার প্রথম ধাপ হল ক্লায়েন্ট সেট আপ করা। আমরা এর সাথে একটি অধিবেশন স্থাপন করে এটি করতে পারি botocore গ্রন্থাগার:

import boto3
gsClient = boto3.client('sagemaker-geospatial')

এই বিন্দু থেকে, আমরা আগ্রহের যেকোন EOJ চালানোর জন্য ক্লায়েন্টকে ব্যবহার করতে পারি।

ডেটা প্রাপ্তি

এই ব্যবহারের ক্ষেত্রে, আমরা আমাদের প্রদত্ত ভৌগলিক এলাকার জন্য উপগ্রহ চিত্র সংগ্রহ করে শুরু করি। আগ্রহের অবস্থানের উপর নির্ভর করে, উপলব্ধ স্যাটেলাইটগুলির দ্বারা কম বা বেশি ঘন ঘন কভারেজ হতে পারে, যেগুলির চিত্রগুলি সাধারণত যাকে বলা হয় তাতে সংগঠিত থাকে রাস্টার সংগ্রহ.

SageMaker-এর ভূ-স্থানিক ক্ষমতাগুলির সাথে, আপনি সরাসরি ভূ-স্থানিক ডেটা প্রাপ্ত করার জন্য উচ্চ-মানের ডেটা উত্সগুলিতে সরাসরি অ্যাক্সেস পাবেন, যার মধ্যে রয়েছে AWS ডেটা এক্সচেঞ্জ এবং AWS- এ ওপেন ডেটার রেজিস্ট্রি, অন্যদের মধ্যে. সেজমেকার দ্বারা ইতিমধ্যে সরবরাহ করা রাস্টার সংগ্রহগুলি তালিকাভুক্ত করতে আমরা নিম্নলিখিত কমান্ডটি চালাতে পারি:

list_raster_data_collections_resp = gsClient.list_raster_data_collections()

এটি Landsat C2L2 সারফেস রিফ্লেক্টেন্স (SR), Landsat C2L2 সারফেস টেম্পারেচার (ST), বা সেন্টিনেল 2A এবং 2B সহ উপলব্ধ বিভিন্ন রাস্টার সংগ্রহের বিবরণ প্রদান করে। সুবিধাজনকভাবে, লেভেল 2A চিত্রগুলি ইতিমধ্যেই ক্লাউড-অপ্টিমাইজড জিওটিআইএফএফ (COGs) তে অপ্টিমাইজ করা হয়েছে৷ নিম্নলিখিত কোড দেখুন:

…
{'Name': 'Sentinel 2 L2A COGs',
  'Arn': 'arn:aws:sagemaker-geospatial:us-west-2:378778860802:raster-data-collection/public/nmqj48dcu3g7ayw8',
  'Type': 'PUBLIC',
  'Description': 'Sentinel-2a and Sentinel-2b imagery, processed to Level 2A (Surface Reflectance) and converted to Cloud-Optimized GeoTIFFs'
…

আমাদের সেট করে, আমাদের উদাহরণের জন্য এই শেষটি নেওয়া যাক data_collection_arn সেন্টিনেল 2 L2A COGs' সংগ্রহের ARN এর প্যারামিটার।

আমরা আমাদের আগ্রহের ক্ষেত্র (AOI) হিসাবে সংজ্ঞায়িত একটি বহুভুজের স্থানাঙ্কগুলি অতিক্রম করে একটি প্রদত্ত ভৌগলিক অবস্থানের জন্য উপলব্ধ চিত্রগুলি অনুসন্ধান করতে পারি। এটি আপনাকে উপলভ্য ইমেজ টাইলগুলি কল্পনা করতে দেয় যা নির্দিষ্ট AOI এর জন্য জমা দেওয়া বহুভুজকে কভার করে, সহ আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) এই ছবিগুলির জন্য URI. উল্লেখ্য যে স্যাটেলাইট ইমেজ সাধারণত বিভিন্নভাবে প্রদান করা হয় ব্যান্ড পর্যবেক্ষণের তরঙ্গদৈর্ঘ্য অনুযায়ী; আমরা এই পোস্টে আরও পরে আলোচনা করব।

response = gsClient.search_raster_data_collection(**eoj_input_config, Arn=data_collection_arn)

পূর্ববর্তী কোডটি উপলব্ধ বিভিন্ন ইমেজ টাইলগুলির জন্য S3 ইউআরআই প্রদান করে, যা আপনি জিওটিআইএফএফ-এর সাথে সামঞ্জস্যপূর্ণ যেকোন লাইব্রেরির সাথে সরাসরি কল্পনা করতে পারেন যেমন rasterio. উদাহরণস্বরূপ, আসুন দুটি ট্রু কালার ইমেজ (টিসিআই) টাইল কল্পনা করি।

…
'visual': {'Href': 'https://sentinel-cogs.s3.us-west-2.amazonaws.com/sentinel-s2-l2a-cogs/32/U/NC/2022/3/S2A_32UNC_20220325_0_L2A/TCI.tif'},
…

প্রক্রিয়াকরণ কৌশল

কিছু সাধারণ প্রিপ্রসেসিং কৌশল যা আমরা প্রয়োগ করি তার মধ্যে রয়েছে ক্লাউড রিমুভাল, জিও মোজাইক, টেম্পোরাল স্ট্যাটিস্টিকস, ব্যান্ড ম্যাথ বা স্ট্যাকিং। এই সমস্ত প্রক্রিয়াগুলি এখন ম্যানুয়াল কোডিং সঞ্চালন বা জটিল এবং ব্যয়বহুল তৃতীয়-পক্ষের সরঞ্জামগুলি ব্যবহার করার প্রয়োজন ছাড়াই SageMaker-এ EOJs ব্যবহারের মাধ্যমে সরাসরি করা যেতে পারে। এটি আমাদের ডেটা প্রসেসিং পাইপলাইন তৈরি করতে 50% দ্রুত করে তোলে। SageMaker ভূ-স্থানিক ক্ষমতার সাথে, আমরা বিভিন্ন ইনপুট প্রকারের উপর এই প্রক্রিয়াগুলি চালাতে পারি। উদাহরণ স্বরূপ:

• এর মাধ্যমে পরিষেবার সাথে অন্তর্ভুক্ত যে কোনও রাস্টার সংগ্রহের জন্য সরাসরি একটি ক্যোয়ারী চালান RasterDataCollectionQuery স্থিতিমাপ
• মাধ্যমে একটি ইনপুট হিসাবে Amazon S3 তে সংরক্ষিত চিত্র পাস করুন DataSourceConfig স্থিতিমাপ
• একটি পূর্ববর্তী EOJ এর ফলাফলের মাধ্যমে সহজভাবে চেইন করুন PreviousEarthObservationJobArn স্থিতিমাপ

এই নমনীয়তা আপনাকে আপনার প্রয়োজনীয় যেকোনো ধরনের প্রক্রিয়াকরণ পাইপলাইন তৈরি করতে দেয়।

নিম্নলিখিত চিত্রটি আমাদের উদাহরণে আমরা কভার করার প্রক্রিয়াগুলিকে চিত্রিত করে৷

আমাদের উদাহরণে, আমরা ইনপুট হিসাবে একটি রাস্টার ডেটা সংগ্রহের প্রশ্ন ব্যবহার করি, যার জন্য আমরা আমাদের AOI এবং আগ্রহের সময়সীমার স্থানাঙ্কগুলি পাস করি। আমরা সর্বোচ্চ 2% ক্লাউড কভারেজের একটি শতাংশও নির্দিষ্ট করি, কারণ আমরা আমাদের ভৌগলিক এলাকার পরিষ্কার এবং শব্দ-মুক্ত পর্যবেক্ষণ চাই। নিম্নলিখিত কোড দেখুন:

eoj_input_config = {
    "RasterDataCollectionQuery": {
        "RasterDataCollectionArn": data_collection_arn,
        "AreaOfInterest": {
            "AreaOfInterestGeometry": {"PolygonGeometry": {"Coordinates": [coordinates]}}
        },
        "TimeRangeFilter": {"StartTime": time_start, "EndTime": time_end},
        "PropertyFilters": {
            "Properties": [
                {"Property": {"EoCloudCover": {"LowerBound": 0, "UpperBound": 2}}}
            ]
        },
    }
}

সমর্থিত ক্যোয়ারী সিনট্যাক্স সম্পর্কে আরও তথ্যের জন্য, পড়ুন একটি পৃথিবী পর্যবেক্ষণ কাজ তৈরি করুন.

মেঘ ফাঁক অপসারণ

উচ্চ ক্লাউড কভারেজের কারণে স্যাটেলাইট পর্যবেক্ষণগুলি প্রায়ই কম কার্যকর হয়। ক্লাউড গ্যাপ ফিলিং বা ক্লাউড রিমুভাল হল ছবি থেকে মেঘলা পিক্সেল প্রতিস্থাপনের প্রক্রিয়া, যা পরবর্তী প্রক্রিয়াকরণের ধাপগুলির জন্য ডেটা প্রস্তুত করার জন্য বিভিন্ন পদ্ধতিতে করা যেতে পারে।

সেজমেকার ভূ-স্থানিক ক্ষমতার সাথে, আমরা একটি নির্দিষ্ট করে এটি অর্জন করতে পারি CloudRemovalConfig আমাদের কাজের কনফিগারেশনের প্যারামিটার।

eoj_config =  {
    'CloudRemovalConfig': {
        'AlgorithmName': 'INTERPOLATION',
        'InterpolationValue': '-9999'
    }
}

মনে রাখবেন যে আমরা আমাদের উদাহরণে একটি নির্দিষ্ট মান সহ একটি ইন্টারপোলেশন অ্যালগরিদম ব্যবহার করছি, তবে অন্যান্য কনফিগারেশন সমর্থিত আছে, যেমনটি ব্যাখ্যা করা হয়েছে একটি পৃথিবী পর্যবেক্ষণ কাজ তৈরি করুন ডকুমেন্টেশন ইন্টারপোলেশন এটিকে আশেপাশের পিক্সেল বিবেচনা করে মেঘলা পিক্সেল প্রতিস্থাপনের জন্য একটি মান অনুমান করার অনুমতি দেয়।

আমরা এখন আমাদের ইনপুট এবং কাজের কনফিগারেশনের সাথে আমাদের EOJ চালাতে পারি:

response = gsClient.start_earth_observation_job(
    Name =  'cloudremovaljob',
    ExecutionRoleArn = role,
    InputConfig = eoj_input_config,
    JobConfig = eoj_config,
)

ইনপুট এলাকা এবং প্রক্রিয়াকরণ পরামিতিগুলির উপর নির্ভর করে এই কাজটি সম্পূর্ণ হতে কয়েক মিনিট সময় নেয়।

এটি সম্পূর্ণ হলে, EOJ-এর ফলাফলগুলি একটি পরিষেবা-মালিকানাধীন স্থানে সংরক্ষণ করা হয়, যেখান থেকে আমরা হয় Amazon S3-এ ফলাফলগুলি রপ্তানি করতে পারি, অথবা অন্য EOJ-এর জন্য ইনপুট হিসাবে এগুলিকে চেইন করতে পারি৷ আমাদের উদাহরণে, আমরা নিম্নলিখিত কোডটি চালিয়ে Amazon S3 এ ফলাফল রপ্তানি করি:

response = gsClient.export_earth_observation_job(
    Arn = cr_eoj_arn,
    ExecutionRoleArn = role,
    OutputConfig = {
        'S3Data': {
            'S3Uri': f's3://{bucket}/{prefix}/cloud_removal/',
            'KmsKeyId': ''
        }
    }
)

এখন আমরা স্বতন্ত্র বর্ণালী ব্যান্ডের জন্য আমাদের নির্দিষ্ট Amazon S3 অবস্থানে সঞ্চিত ফলাফল চিত্রগুলি কল্পনা করতে সক্ষম হয়েছি। উদাহরণস্বরূপ, ফিরে আসা নীল ব্যান্ডের দুটি ছবি পরিদর্শন করা যাক।

বিকল্পভাবে, আপনি স্টুডিওতে উপলব্ধ জিওস্পেশিয়াল এক্সটেনশনগুলি ব্যবহার করে EOJ-এর ফলাফলগুলি গ্রাফিকভাবে পরীক্ষা করতে পারেন, যেমনটি নিম্নলিখিত স্ক্রিনশটগুলিতে দেখানো হয়েছে।

সাময়িক পরিসংখ্যান

যেহেতু স্যাটেলাইটগুলি ক্রমাগত পৃথিবীর চারপাশে প্রদক্ষিণ করে, তাই আগ্রহের একটি প্রদত্ত ভৌগলিক এলাকার জন্য ছবিগুলি একটি নির্দিষ্ট সময়ের ফ্রেমে একটি নির্দিষ্ট সময়ের ফ্রেমে তোলা হয়, যেমন দৈনিক, প্রতি 5 দিন বা 2 সপ্তাহে, উপগ্রহের উপর নির্ভর করে। সাময়িক পরিসংখ্যান প্রক্রিয়া আমাদেরকে বিভিন্ন সময়ে নেওয়া বিভিন্ন পর্যবেক্ষণকে একত্রিত করে একটি সমষ্টিগত দৃশ্য তৈরি করতে সক্ষম করে, যেমন একটি বার্ষিক গড়, বা নির্দিষ্ট সময়সীমার সমস্ত পর্যবেক্ষণের গড়, প্রদত্ত এলাকার জন্য।

SageMaker ভূ-স্থানিক ক্ষমতা সহ, আমরা সেট করে এটি করতে পারি TemporalStatisticsConfig প্যারামিটার আমাদের উদাহরণে, আমরা নিয়ার ইনফ্রারেড (NIR) ব্যান্ডের জন্য বার্ষিক গড় একত্রীকরণ পাই, কারণ এই ব্যান্ডটি ক্যানোপিগুলির উপরের নীচে গাছের ঘনত্বের পার্থক্য প্রকাশ করতে পারে:

eoj_config =  {
    'TemporalStatisticsConfig': {
        'GroupBy': 'YEARLY',
        'Statistics': ['MEAN'],
        'TargetBands': ['nir']
    }
}

এই কনফিগারেশনের সাথে একটি EOJ চালানোর কয়েক মিনিটের পরে, আমরা নিম্নলিখিত উদাহরণগুলির মতো চিত্র পেতে ফলাফলগুলিকে Amazon S3 এ রপ্তানি করতে পারি, যেখানে আমরা বিভিন্ন রঙের তীব্রতার সাথে প্রতিনিধিত্ব করা বিভিন্ন উদ্ভিদের ঘনত্ব পর্যবেক্ষণ করতে পারি। নোট করুন EOJ টাইল হিসাবে একাধিক ছবি তৈরি করতে পারে, নির্দিষ্ট সময়সীমা এবং স্থানাঙ্কের জন্য উপলব্ধ উপগ্রহ ডেটার উপর নির্ভর করে।

ব্যান্ড গণিত

পৃথিবী পর্যবেক্ষণ উপগ্রহগুলি বিভিন্ন তরঙ্গদৈর্ঘ্যের আলো সনাক্ত করার জন্য ডিজাইন করা হয়েছে, যার মধ্যে কিছু মানুষের চোখের অদৃশ্য। প্রতিটি পরিসরে বিভিন্ন তরঙ্গদৈর্ঘ্যের আলোক বর্ণালীর নির্দিষ্ট ব্যান্ড থাকে, যা পাটিগণিতের সাথে মিলিত হয়ে ক্ষেত্রটির বৈশিষ্ট্য যেমন গাছপালা স্বাস্থ্য, তাপমাত্রা বা মেঘের উপস্থিতি সম্পর্কে সমৃদ্ধ তথ্য সহ চিত্র তৈরি করতে পারে। এটি একটি প্রক্রিয়ায় সঞ্চালিত হয় যাকে সাধারণত ব্যান্ড গণিত বা ব্যান্ড গণিত বলা হয়।

SageMaker ভূ-স্থানিক ক্ষমতা সহ, আমরা সেট করে এটি চালাতে পারি BandMathConfig প্যারামিটার উদাহরণস্বরূপ, আসুন নিম্নলিখিত কোডটি চালিয়ে আর্দ্রতা সূচক চিত্রগুলি প্রাপ্ত করি:

eoj_config =  {
    'BandMathConfig': {
        'CustomIndices': {
            'Operations': [
                {
                    'Name': 'moisture',
                    'Equation': '(nir08 - swir16) / (nir08 + swir16)'
                }
            ]
        }
    }
}

এই কনফিগারেশনের সাথে একটি EOJ চালানোর কয়েক মিনিট পরে, আমরা ফলাফলগুলি রপ্তানি করতে পারি এবং চিত্রগুলি পেতে পারি, যেমন নিম্নলিখিত দুটি উদাহরণ।

স্ট্যাকিং

ব্যান্ড গণিতের মতো, মূল ব্যান্ডগুলি থেকে যৌগিক চিত্র তৈরি করতে ব্যান্ডগুলিকে একত্রিত করার প্রক্রিয়াটিকে স্ট্যাকিং বলা হয়। উদাহরণস্বরূপ, আমরা AOI-এর সত্যিকারের রঙের চিত্র তৈরি করতে একটি উপগ্রহ চিত্রের লাল, নীল এবং সবুজ আলোর ব্যান্ডগুলিকে স্ট্যাক করতে পারি।

SageMaker ভূ-স্থানিক ক্ষমতা সহ, আমরা সেট করে এটি করতে পারি StackConfig প্যারামিটার আগের উদাহরণ অনুযায়ী RGB ব্যান্ডগুলিকে নিম্নলিখিত কমান্ড দিয়ে স্ট্যাক করি:

eoj_config =  {
    'StackConfig': {
        'OutputResolution': {
            'Predefined': 'HIGHEST'
        },
        'TargetBands': ['red', 'green', 'blue']
    }
}

এই কনফিগারেশনের সাথে একটি EOJ চালানোর কয়েক মিনিটের পরে, আমরা ফলাফলগুলি রপ্তানি করতে এবং চিত্রগুলি পেতে পারি।

শব্দার্থিক সেগমেন্টেশন মডেল

আমাদের কাজের অংশ হিসাবে, আমরা সাধারণত ML মডেলগুলি ব্যবহার করি প্রাক-প্রসেস করা চিত্রগুলির উপর অনুমানগুলি চালানোর জন্য, যেমন মেঘলা এলাকা সনাক্ত করা বা চিত্রগুলির প্রতিটি অঞ্চলে জমির ধরন শ্রেণীবদ্ধ করা।

SageMaker ভূ-স্থানিক ক্ষমতা সহ, আপনি অন্তর্নির্মিত সেগমেন্টেশন মডেলগুলির উপর নির্ভর করে এটি করতে পারেন।

আমাদের উদাহরণের জন্য, আসুন ল্যান্ড কভার সেগমেন্টেশন মডেলটি নির্দিষ্ট করে ব্যবহার করি LandCoverSegmentationConfig প্যারামিটার এটি SageMaker-এ কোনো পরিকাঠামো প্রশিক্ষণ বা হোস্ট করার প্রয়োজন ছাড়াই অন্তর্নির্মিত মডেল ব্যবহার করে ইনপুটে অনুমান চালায়:

response = gsClient.start_earth_observation_job(
    Name =  'landcovermodeljob',
    ExecutionRoleArn = role,
    InputConfig = eoj_input_config,
    JobConfig = {
        'LandCoverSegmentationConfig': {},
    },
)

এই কনফিগারেশনের সাথে কাজ চালানোর কয়েক মিনিট পরে, আমরা ফলাফলগুলি রপ্তানি করতে এবং ছবিগুলি পেতে পারি।

পূর্ববর্তী উদাহরণগুলিতে, চিত্রগুলির প্রতিটি পিক্সেল একটি ল্যান্ড টাইপ ক্লাসের সাথে মিলে যায়, যেমনটি নিম্নলিখিত কিংবদন্তিতে দেখানো হয়েছে।

এটি আমাদের সরাসরি দৃশ্যের নির্দিষ্ট ধরণের এলাকা যেমন গাছপালা বা জল সনাক্ত করতে দেয়, অতিরিক্ত বিশ্লেষণের জন্য মূল্যবান অন্তর্দৃষ্টি প্রদান করে।

SageMaker সঙ্গে আপনার নিজস্ব মডেল আনুন

যদি SageMaker-এর সাথে প্রদত্ত অত্যাধুনিক জিওস্পেশিয়াল মডেলগুলি আমাদের ব্যবহারের ক্ষেত্রে যথেষ্ট না হয়, তাহলে আমরা ব্যাখ্যা করার জন্য SageMaker-এ অনবোর্ড করা যে কোনও কাস্টম মডেলের সাথে এখনও পর্যন্ত দেখানো যেকোন প্রিপ্রসেসিং ধাপের ফলাফলগুলিকে চেইন করতে পারি, যেমন ব্যাখ্যা করা হয়েছে এই সেজমেকার স্ক্রিপ্ট মোড উদাহরণ আমরা SageMaker-এ সমর্থিত যেকোনো ইনফারেন্স মোডের সাথে এটি করতে পারি, যার মধ্যে রয়েছে রিয়েল-টাইম SageMaker এন্ডপয়েন্টের সাথে সিঙ্ক্রোনাস, SageMaker অ্যাসিঙ্ক্রোনাস এন্ডপয়েন্টের সাথে অ্যাসিঙ্ক্রোনাস, SageMaker ব্যাচ ট্রান্সফর্মের সাথে ব্যাচ বা অফলাইন এবং SageMaker সার্ভারলেস ইনফারেন্স সহ সার্ভারহীন। আপনি এই মোড সম্পর্কে আরও বিস্তারিত দেখতে পারেন অনুমানের জন্য মডেল স্থাপন করুন ডকুমেন্টেশন নিম্নলিখিত চিত্রটি উচ্চ-স্তরের কর্মপ্রবাহকে চিত্রিত করে।

আমাদের উদাহরণের জন্য, ধরা যাক আমরা ভূমি কভার শ্রেণীবিভাগ এবং ফসলের ধরন শ্রেণীবিভাগ সম্পাদনের জন্য দুটি মডেল অনবোর্ড করেছি।

আমাদের শুধুমাত্র আমাদের প্রশিক্ষিত মডেল আর্টিফ্যাক্টের দিকে নির্দেশ করতে হবে, আমাদের উদাহরণে একটি PyTorch মডেল, নিম্নলিখিত কোডের মতো:

from sagemaker.pytorch import PyTorchModel
import datetime

model = PyTorchModel(
    name=model_name, ### Set a model name
    model_data=MODEL_S3_PATH, ### Location of the custom model in S3
    role=role,
    entry_point='inference.py', ### Your inference entry-point script
    source_dir='code', ### Folder with any dependencies
    image_uri=image_uri, ### URI for your AWS DLC or custom container
    env={
        'TS_MAX_REQUEST_SIZE': '100000000',
        'TS_MAX_RESPONSE_SIZE': '100000000',
        'TS_DEFAULT_RESPONSE_TIMEOUT': '1000',
    }, ### Optional – Set environment variables for max size and timeout
)

predictor = model.deploy(
    initial_instance_count = 1, ### Your number of instances
    instance_type = 'ml.g4dn.8xlarge', ### Your instance type
    async_inference_config=sagemaker.async_inference.AsyncInferenceConfig(
        output_path=f"s3://{bucket}/{prefix}/output",
        max_concurrent_invocations_per_instance=2,
    ), ### Optional – Async config if using SageMaker Async Endpoints
)

predictor.predict(data) ### Your images for inference

আপনি যে মডেলটি ব্যবহার করছেন তার উপর নির্ভর করে এটি আপনাকে অনুমানের পরে ফলাফলের চিত্রগুলি পেতে দেয়।

আমাদের উদাহরণে, একটি কাস্টম ল্যান্ড কভার সেগমেন্টেশন চালানোর সময়, মডেলটি নিম্নলিখিতগুলির মতো ছবি তৈরি করে, যেখানে আমরা ইনপুট এবং ভবিষ্যদ্বাণী চিত্রগুলিকে এর সংশ্লিষ্ট কিংবদন্তির সাথে তুলনা করি।

 .

নিম্নলিখিতটি একটি শস্য শ্রেণিবিন্যাস মডেলের আরেকটি উদাহরণ, যেখানে আমরা মূল বনাম ফলাফলের প্যানোপটিক এবং শব্দার্থিক বিভাজন ফলাফলের তুলনা দেখাই, এর সংশ্লিষ্ট কিংবদন্তির সাথে।

স্বয়ংক্রিয় ভূ-স্থানিক পাইপলাইন

অবশেষে, আমরা জিওস্পেশিয়াল ডেটা প্রসেসিং এবং ইনফারেন্স পাইপলাইন তৈরি করে পূর্ববর্তী ধাপগুলিকে স্বয়ংক্রিয় করতে পারি অ্যামাজন সেজমেকার পাইপলাইন. আমরা কেবল ব্যবহারের মাধ্যমে প্রয়োজনীয় প্রতিটি প্রিপ্রসেসিং ধাপকে চেইন করি ল্যাম্বডা স্টেপস এবং কলব্যাক পদক্ষেপ পাইপলাইনে উদাহরণ স্বরূপ, আপনি একটি ট্রান্সফর্ম স্টেপ ব্যবহার করে একটি চূড়ান্ত ইনফারেন্স স্টেপ যোগ করতে পারেন, অথবা সরাসরি Lambda স্টেপস এবং কলব্যাক স্টেপসের অন্য একটি সমন্বয়ের মাধ্যমে, SageMaker জিওস্পেশিয়াল ফিচারে অন্তর্নির্মিত শব্দার্থিক সেগমেন্টেশন মডেলগুলির একটির সাথে একটি EOJ চালানোর জন্য।

মনে রাখবেন আমরা পাইপলাইনে ল্যাম্বডা স্টেপস এবং কলব্যাক স্টেপস ব্যবহার করছি কারণ EOJ গুলি অ্যাসিঙ্ক্রোনাস, তাই এই ধরনের স্টেপ আমাদের প্রসেসিং কাজের রান নিরীক্ষণ করতে এবং বার্তাগুলির মাধ্যমে সম্পূর্ণ হলে পাইপলাইন পুনরায় শুরু করতে দেয়। অ্যামাজন সরল সারি পরিষেবা (Amazon SQS) সারি।

আপনি নোটবুক চেক করতে পারেন GitHub সংগ্রহস্থল এই কোডের একটি বিস্তারিত উদাহরণের জন্য।

এখন আমরা স্টুডিওর মাধ্যমে আমাদের ভূ-স্থানিক পাইপলাইনের চিত্রটি কল্পনা করতে পারি এবং পাইপলাইনে রানগুলি নিরীক্ষণ করতে পারি, যেমনটি নিম্নলিখিত স্ক্রিনশটে দেখানো হয়েছে।

উপসংহার

এই পোস্টে, আমরা xarvio ডিজিটাল ফার্মিং সলিউশন থেকে আমাদের উন্নত পণ্যগুলির জন্য ভূ-স্থানিক ডেটা পাইপলাইন তৈরির জন্য SageMaker জিওস্পেশিয়াল ক্ষমতার সাথে প্রয়োগ করা প্রক্রিয়াগুলির একটি সারাংশ উপস্থাপন করেছি। SageMaker geospatial ব্যবহার করে আমাদের জিওস্পেশিয়াল কাজের দক্ষতা 50% এরও বেশি বৃদ্ধি করেছে, পূর্ব-নির্মিত API ব্যবহার করে যা ML-এর জন্য আমাদের প্রি-প্রসেসিং এবং মডেলিং পদক্ষেপগুলিকে ত্বরান্বিত করে এবং সরল করে।

পরবর্তী পদক্ষেপ হিসাবে, আমরা আমাদের সমাধান পাইপলাইনগুলির স্বয়ংক্রিয়তা চালিয়ে যাওয়ার জন্য আমাদের ক্যাটালগ থেকে SageMaker-এ আরও মডেল অনবোর্ড করছি, এবং পরিষেবাটি বিকশিত হওয়ার সাথে সাথে SageMaker-এর আরও ভূ-স্থানিক বৈশিষ্ট্যগুলি ব্যবহার করা চালিয়ে যাব৷

আমরা আপনাকে এই পোস্টে প্রদত্ত এন্ড-টু-এন্ড উদাহরণ নোটবুককে মানিয়ে নিয়ে এবং পরিষেবা সম্পর্কে আরও শিখতে SageMaker ভূ-স্থানিক ক্ষমতাগুলি চেষ্টা করার জন্য উত্সাহিত করি আমাজন সেজমেকার জিওস্পেশিয়াল ক্ষমতা কি?.

লেখক সম্পর্কে

জুলিয়ান ব্লাউ জার্মানির কোলোনে অবস্থিত BASF ডিজিটাল ফার্মিং GmbH-এর একজন ডেটা সায়েন্টিস্ট৷ তিনি ভূ-স্থানিক ডেটা এবং মেশিন লার্নিং ব্যবহার করে BASF-এর বিশ্বব্যাপী গ্রাহক বেসের চাহিদা পূরণ করে কৃষির জন্য ডিজিটাল সমাধান তৈরি করেন। কাজের বাইরে, তিনি বন্ধু এবং পরিবারের সাথে ভ্রমণ এবং বাইরে থাকা উপভোগ করেন।

আন্তোনিও রদ্রিগেজ স্পেনের বাইরে অবস্থিত অ্যামাজন ওয়েব পরিষেবার একজন কৃত্রিম বুদ্ধিমত্তা এবং মেশিন লার্নিং বিশেষজ্ঞ সমাধান স্থপতি৷ তিনি উদ্ভাবনের মাধ্যমে সমস্ত আকারের কোম্পানিগুলিকে তাদের চ্যালেঞ্জগুলি সমাধান করতে সাহায্য করেন এবং AWS ক্লাউড এবং AI/ML পরিষেবাগুলির সাথে নতুন ব্যবসার সুযোগ তৈরি করেন৷ কাজ ছাড়াও, তিনি তার পরিবারের সাথে সময় কাটাতে এবং তার বন্ধুদের সাথে খেলাধুলা করতে পছন্দ করেন।