কিছু এফডিএ-অনুমোদিত অনুমোদিত এআই মেডিকেল ডিভাইসগুলির 'পর্যাপ্ত পরিমাণে' মূল্যায়ন করা হয় না, স্ট্যানফোর্ড সমীক্ষায় বলা হয়েছে

ইউএস ফুড অ্যান্ড ড্রাগ অ্যাডমিনিস্ট্রেশন (এফডিএ) দ্বারা অনুমোদিত কিছু এআই-চালিত মেডিকেল ডিভাইসগুলি উপস্থাপিত রোগীদের বিরুদ্ধে ডেটা স্থানান্তর এবং পক্ষপাতের জন্য ঝুঁকিপূর্ণ। যে একটি স্ট্যানফোর্ড অনুযায়ী অধ্যয়ন প্রকাশিত প্রকৃতি মেডিসিন গত সপ্তাহে, যা দেখেছে যে AI আরও মেডিকেল ডিভাইসে এম্বেড হয়ে যাওয়ার পরেও — FDA গত বছর 65 টিরও বেশি AI ডিভাইসের অনুমোদন দিয়েছে — এই অ্যালগরিদমগুলির যথার্থতা অগত্যা কঠোরভাবে অধ্যয়ন করা হচ্ছে না।

যদিও একাডেমিক সম্প্রদায় এআই ক্লিনিকাল ট্রায়ালের জন্য নির্দেশিকা তৈরি করা শুরু করেছে, বাণিজ্যিক অ্যালগরিদম মূল্যায়নের জন্য প্রতিষ্ঠিত অনুশীলন নেই। মার্কিন যুক্তরাষ্ট্রে, এফডিএ AI-চালিত মেডিকেল ডিভাইস অনুমোদনের জন্য দায়ী, এবং এজেন্সি নিয়মিতভাবে পারফরম্যান্স ডেটা সহ এই ডিভাইসগুলির তথ্য প্রকাশ করে।

স্ট্যানফোর্ড গবেষণার সহলেখকরা এফডিএ-অনুমোদিত মেডিকেল এআই ডিভাইসগুলির একটি ডাটাবেস তৈরি করেছেন এবং অনুমোদন পাওয়ার আগে প্রতিটি কীভাবে পরীক্ষা করা হয়েছিল তা বিশ্লেষণ করেছেন। গবেষকদের মতে, জানুয়ারী 126 থেকে ডিসেম্বর 130 এর মধ্যে FDA দ্বারা অনুমোদিত 2015টির মধ্যে 2020টি - প্রায় সমস্ত AI-চালিত ডিভাইসগুলি তাদের জমা দেওয়ার সময় শুধুমাত্র পূর্ববর্তী গবেষণার মধ্য দিয়ে গেছে। এবং 54টি অনুমোদিত উচ্চ-ঝুঁকির ডিভাইসগুলির কোনওটিই সম্ভাব্য গবেষণার দ্বারা মূল্যায়ন করা হয়নি, যার অর্থ ডিভাইসগুলিকে তাদের স্থাপনের সাথে একযোগে অনুমোদন করার আগে পরীক্ষার ডেটা সংগ্রহ করা হয়েছিল।

সহ-লেখকরা যুক্তি দেন যে সম্ভাব্য অধ্যয়ন প্রয়োজনীয়, বিশেষ করে এআই মেডিকেল ডিভাইসগুলির জন্য, কারণ ক্ষেত্রের মধ্যে ব্যবহার উদ্দেশ্যযুক্ত ব্যবহার থেকে বিচ্যুত হতে পারে। উদাহরণস্বরূপ, বেশিরভাগ কম্পিউটার-সহায়তা ডায়াগনস্টিক ডিভাইসগুলি প্রাথমিক ডায়াগনস্টিক সরঞ্জামগুলির পরিবর্তে সিদ্ধান্ত-সমর্থন সরঞ্জাম হিসাবে ডিজাইন করা হয়েছে। একটি সম্ভাব্য অধ্যয়ন প্রকাশ করতে পারে যে চিকিত্সকরা রোগ নির্ণয়ের জন্য একটি যন্ত্রের অপব্যবহার করছেন, যার ফলে ফলাফল যা প্রত্যাশিত হবে তার থেকে ভিন্ন।

এই বিচ্যুতিগুলি ত্রুটির কারণ হতে পারে এমন পরামর্শ দেওয়ার প্রমাণ রয়েছে৷ হ্যারিসবার্গের পেনসিলভানিয়া রোগীর নিরাপত্তা কর্তৃপক্ষের ট্র্যাকিংয়ে দেখা গেছে যে জানুয়ারি 2016 থেকে ডিসেম্বর 2017 পর্যন্ত, রাজ্যে পরীক্ষাগার পরীক্ষার সময় EHR সিস্টেমগুলি 775টি সমস্যার জন্য দায়ী ছিল, মানব-কম্পিউটার মিথস্ক্রিয়া 54.7% ঘটনার জন্য দায়ী এবং অবশিষ্ট 45.3% এর কারণে। একটি কম্পিউটার. তদুপরি, 2018 সালে জারি করা মার্কিন সরকারের একটি খসড়া প্রতিবেদনে দেখা গেছে যে চিকিত্সকরা অস্বাভাবিকভাবে সতর্কতা মিস করেন না — কিছু এআই-অবহিত — ওষুধের মিথস্ক্রিয়া সম্পর্কে ছোটখাটো সমস্যা থেকে শুরু করে যেগুলি যথেষ্ট ঝুঁকি তৈরি করে।

স্ট্যানফোর্ড গবেষকরা এফডিএ-অনুমোদিত ডিভাইসগুলিতে পরিচালিত পরীক্ষাগুলিতে রোগীর বৈচিত্র্যের অভাবও খুঁজে পেয়েছেন। 130টি ডিভাইসের মধ্যে, 93টি একটি মাল্টিসাইট মূল্যায়নের মধ্য দিয়ে যায়নি, যেখানে 4টি শুধুমাত্র একটি সাইটে এবং 8টি ডিভাইস শুধুমাত্র দুটি সাইটে পরীক্ষা করা হয়েছিল। এবং 59 টি ডিভাইসের রিপোর্টে গবেষণার নমুনার আকার উল্লেখ করা হয়নি। 71টি ডিভাইস স্টাডিতে এই তথ্য ছিল, মধ্যমা আকার ছিল 300, এবং মাত্র 17টি ডিভাইস গবেষণায় বিবেচনা করা হয়েছে যে অ্যালগরিদম বিভিন্ন রোগীর গ্রুপে কীভাবে কাজ করতে পারে।

আংশিকভাবে কোড, ডেটাসেট এবং কৌশলগুলি প্রকাশ করার জন্য একটি স্থিরতার কারণে, রোগ নির্ণয়ের জন্য AI অ্যালগরিদম প্রশিক্ষণের জন্য আজ ব্যবহৃত বেশিরভাগ ডেটা বৈষম্যকে স্থায়ী করতে পারে, পূর্ববর্তী গবেষণায় দেখা গেছে। যুক্তরাজ্যের বিজ্ঞানীদের একটি দল পাওয়া যে প্রায় সমস্ত চোখের রোগের ডেটাসেট উত্তর আমেরিকা, ইউরোপ এবং চীনের রোগীদের কাছ থেকে আসে, যার অর্থ চোখের রোগ নির্ণয়কারী অ্যালগরিদমগুলি নিম্নবর্ণিত দেশগুলির জাতিগত গোষ্ঠীগুলির জন্য ভাল কাজ করার জন্য কম নিশ্চিত। অন্য অধ্যয়ন, টরন্টো বিশ্ববিদ্যালয়ের গবেষকরা, ভেক্টর ইনস্টিটিউট এবং এমআইটি দেখিয়েছেন যে ব্যাপকভাবে ব্যবহৃত বুকের এক্স-রে ডেটাসেটগুলি সঙ্কেতাক্ষরে লিখা জাতিগত, লিঙ্গ, এবং আর্থ-সামাজিক পক্ষপাত।

মৌলিক ডেটাসেট চ্যালেঞ্জের বাইরে, পর্যাপ্ত পিয়ার পর্যালোচনার অভাবের মডেলগুলি বাস্তব জগতে মোতায়েন করার সময় অপ্রত্যাশিত রাস্তার বাধার সম্মুখীন হতে পারে। হার্ভার্ডের বিজ্ঞানীরা পাওয়া যে অ্যালগরিদমগুলি সিটি স্ক্যানগুলিকে চিনতে এবং শ্রেণীবদ্ধ করার জন্য প্রশিক্ষিত কিছু সিটি মেশিন প্রস্তুতকারকদের কাছ থেকে স্ক্যান ফর্ম্যাটের প্রতি পক্ষপাতদুষ্ট হয়ে উঠতে পারে৷ এদিকে, একটি গুগল-প্রকাশিত সাদা কাগজ থাইল্যান্ডের হাসপাতালগুলিতে চোখের রোগ-পূর্বাভাস দেওয়ার সিস্টেম বাস্তবায়নে চ্যালেঞ্জগুলি প্রকাশ করেছে, যার মধ্যে স্ক্যানের নির্ভুলতার সমস্যা রয়েছে। এবং মত কোম্পানি দ্বারা পরিচালিত গবেষণা ব্যাবিলন স্বাস্থ্য, একটি ভাল অর্থায়িত টেলিমেডিসিন স্টার্টআপ যা দাবি করে যে টেক্সট বার্তাগুলি থেকে বিভিন্ন রোগের ট্রাইজ করতে সক্ষম হবে, বারবার প্রশ্ন করা হয়েছে।

স্ট্যানফোর্ড অধ্যয়নের সহ-লেখকরা যুক্তি দেন যে একটি মূল্যায়নে সাইটের সংখ্যা সম্পর্কে তথ্য অবশ্যই "সাংবাদিকভাবে রিপোর্ট করা উচিত" যাতে চিকিত্সক, গবেষক এবং রোগীরা একটি প্রদত্ত AI মেডিকেল ডিভাইসের নির্ভরযোগ্যতা সম্পর্কে জ্ঞাত রায় দিতে পারে। তারা বলে, অ্যালগরিদমিক পক্ষপাত এবং নির্ভরযোগ্যতা বোঝার জন্য মাল্টিসাইট মূল্যায়ন গুরুত্বপূর্ণ, এবং সরঞ্জাম, টেকনিশিয়ান মান, চিত্র স্টোরেজ ফরম্যাট, জনসংখ্যার মেকআপ এবং রোগের বিস্তারের বিভিন্নতার জন্য অ্যাকাউন্টিংয়ে সহায়তা করতে পারে।

"একাধিক ক্লিনিকাল সাইটগুলিতে AI ডিভাইসগুলির কার্যকারিতা মূল্যায়ন করা প্রতিনিধি জনসংখ্যা জুড়ে অ্যালগরিদমগুলি ভাল পারফরম্যান্স নিশ্চিত করার জন্য গুরুত্বপূর্ণ," সহলেখকরা লিখেছেন। "যত্নের মানদণ্ডের সাথে তুলনা করে সম্ভাব্য অধ্যয়নকে উত্সাহিত করা ক্ষতিকারক ওভারফিটিংয়ের ঝুঁকি হ্রাস করে এবং আরও সঠিকভাবে সত্য ক্লিনিকাল ফলাফলগুলিকে ক্যাপচার করে৷ সম্ভাব্য, মাল্টিসেন্টার ট্রায়ালে সনাক্ত করা যায় না এমন অনিচ্ছাকৃত ফলাফল এবং পক্ষপাতগুলি বোঝার এবং পরিমাপের জন্য AI ডিভাইসগুলির পোস্টমার্কেট নজরদারিও প্রয়োজন।"

সূত্র: https://venturebeat.com/2021/04/12/some-fda-approved-ai-medical-devices-are-not-adequately-evaluated-stanford-study-says/