کاوش فرودگاه‌های ایمن‌تر و هوشمندتر با پروژه طراحی گروهی کارشناسی ارشد هوش مصنوعی کاربردی - وبلاگ‌های دانشگاه کرانفیلد

علاوه بر این، یک ملاحظات مهم این است که چگونه این فناوری‌های هوش مصنوعی می‌توانند با اکوسیستم‌های موجود در زیرساخت‌های با ارزش و تقاضای بالا، مانند فرودگاه‌ها، هواپیماها و سیستم‌های مختلف تحرک پیشرفته سازگار شوند و انقلابی ایجاد کنند.

استفاده از فناوری‌های نوآورانه هوش مصنوعی و استفاده از مزایای پلتفرم دانشگاه کرانفیلد، دوره کارشناسی ارشد هوش مصنوعی کاربردی هدف آن پرورش رهبران آینده در هوش مصنوعی کاربردی در دامنه های مهندسی متنوع است. هدف اصلی آن تسریع در توسعه و استقرار فناوری‌های هوش مصنوعی قابل اعتماد برای برنامه‌های کاربردی حیاتی ایمنی در سراسر جهان است.

پروژه طراحی گروهی (GDP) یک ماژول یادگیری مبتنی بر مشکل است و هدف GDP این است که دانش‌آموزان به طراحی، پیاده‌سازی، اعتبارسنجی و آزمایش سیستم‌های مبتنی بر هوش مصنوعی در زمان واقعی برای حل مشکلات دنیای واقعی بپردازند. GDP همچنین با هدف ارائه تجربه کار بر روی یک پروژه مهندسی مشترک، برآوردن نیازهای یک مشتری بالقوه و رعایت مهلت‌ها، به دانشجویان ارائه می‌کند.

در سال‌های 2022 و 2023، به دانشجویانی که در مقطع کارشناسی ارشد ما در هوش مصنوعی کاربردی ثبت نام کرده‌اند، یک پروژه طراحی گروهی محرک و سخت‌گیرانه واگذار شد. هدف استفاده از دانش کاربردی هوش مصنوعی به دست آمده از دوره های آموزشی آنها برای توسعه محصولات فرودگاهی نوآورانه و ایمن تر بود. دانش‌آموزان که در تیم‌های کوچک شش نفره کار می‌کردند، وظیفه طراحی راه‌حل‌هایی شامل معماری نرم‌افزار و سخت‌افزار، توسعه و آزمایش مدل هوش مصنوعی، و همچنین جنبه‌های تعامل در دنیای واقعی را بر عهده داشتند.

موضوع پروژه عمداً گسترده بود و دانش آموزان را ملزم به همکاری در گروه های خود برای کشف و اصلاح زمینه های خاص مورد علاقه بر اساس تخصص و علایق جمعی خود می کرد. این رویکرد باعث پرورش خلاقیت، کار گروهی و درک عمیق‌تر از کاربرد عملی فناوری‌های هوش مصنوعی در سناریوهای دنیای واقعی شد.

از هر گروه خواسته شد تا راه‌حل‌های هوش مصنوعی را برای فرودگاه‌های هوشمند توسعه دهند تا به عملکردهای زیر دست یابند:

1. این سیستم باید قادر به شناسایی کاربران انسانی و تخمین وضعیت و رفتار آنها بر اساس تشخیص و ردیابی دقیق وضعیت باشد.
2. سیستم باید بتواند رفتارهای مختلف جمعیت را طبقه بندی کند و دلایل، اهمیت و امکان سنجی را روشن کند.
3. مدل هوش مصنوعی باید با معیارهای مختلف در دقت، محاسبات و استنتاج تأیید شود.
4. مدل هوش مصنوعی باید بتواند در زمان واقعی برای اطلاع از مزایا و معایب فناوری‌های هوش مصنوعی فعلی در این برنامه‌های کاربردی حیاتی پیاده‌سازی شود.
5. این سیستم می تواند به منابع حسگر مختلف به عنوان ورودی برای فعال کردن همجوشی حسگر برای عملکرد قوی تکیه کند، با این حال، راه حل های بسیار کم هزینه اما کارآمد نیز مورد استقبال قرار می گیرند.

مطالعه موردی 1: تشخیص سقوط در یک محیط تعمیر و نگهداری هواپیما.

محیط های نگهداری خطرات قابل توجهی از جمله ماشین آلات بدون مراقبت، حصارکشی یا حفاظ فیزیکی ناکافی در نزدیکی مناطق خطرناک و فضاهای کاری به هم ریخته را به همراه دارند. در میان این خطرات، آسیب های مرگبار سقوط به طور نگران کننده ای رایج است. شناسایی و گزارش سریع حوادث غیرکشنده می تواند از آسیب یا تلفات بیشتر جلوگیری کند. بنابراین، این کار یک سیستم یکپارچه مبتنی بر دید را برای نظارت بر کارکنان در طول فعالیت‌های تعمیر و نگهداری هواپیما، افزایش ایمنی و جلوگیری از حوادث پیشنهاد می‌کند (شکل زیر را ببینید).

از نتایج آموزش اولیه و اعتبارسنجی مدل طراحی‌شده، فقدان آشکار مجموعه داده‌های آماده نگهداری آشیانه فرودگاه، احتمال سوگیری نسبت به تصاویر ویدیوهای گرفته‌شده از زوایای عمود دوربین گرفته‌شده از نزدیکی به سوژه را نشان می‌دهد. با استفاده از مزایای کرانفیلد، آشیانه تعمیر و نگهداری دانشگاه کرانفیلد انتخاب و برای جمع آوری داده ها در این پروژه استفاده شد.

در مجموع، حدود 50 فیلم کوتاه (دو تا پنج دقیقه ای) از فعالیت های تعمیر و نگهداری شبیه سازی شده ضبط شد، برخی با سقوط و برخی دیگر بدون سقوط. فیلم‌های گرفته‌شده در فریم‌ها جدا شده و با استفاده از کتابخانه نرم‌افزار تخمین وضعیت MoveNet حاشیه‌نویسی شدند و نقشه‌های برداری از موقعیت‌های کلیدی مفصل سوژه ایجاد شد. شکل زیر چند عکس فوری از داده های تجربی را نشان می دهد.

دانشجویان ما رویکردهای شبکه عصبی کانولوشنال 1-D، 2-D و 3-D را برای ارزیابی کمی طراحی قدرتمندترین مدل هوش مصنوعی آزمایش کردند. شکل زیر نمایشی از راه حل های کانولوشن سه بعدی است.

در نهایت، راه حل های AI پیشنهادی نتایج تشخیص خوبی برای رفتار سقوط همانطور که در شکل زیر نشان داده شده است، به دست آوردند. چند نتیجه می توان گرفت. اول، مدل دارای 0 طبقه بندی FP بود که نشان می دهد مدل سقوط را اشتباه طبقه بندی نمی کند. دوم، 940 منفی واقعی برای هر مدل وجود دارد، این احتمالاً می‌تواند به دلیل هر داده آزمایشی باشد که حاوی بخشی از غیر سقوط (طبقه‌بندی شده به عنوان 0) قبل از سقوط بازیگر است.

مطالعه موردی 2: تشخیص علائم حیاتی انفارکتوس میوکارد با استفاده از بینایی کامپیوتر و هوش مصنوعی لبه

Edge AI به استقرار برنامه های کاربردی هوش مصنوعی در دستگاه های واقع در سراسر محیط فیزیکی اشاره دارد. مقرون به صرفه بودن و سهولت استفاده از عوامل کلیدی در پذیرش الگوریتم های هوش مصنوعی در شرایطی است که کاربران نهایی با چالش های دنیای واقعی مواجه می شوند. در این پروژه، دانش آموز ما یک مدل تشخیص حمله قلبی کم هزینه و سبک را برای واکنش سریع و نجات در فرودگاه پیشنهاد کرد. این فرآیند از چهار مرحله اصلی تشکیل شده است که در شکل زیر نشان داده شده است.

مرحله اول شامل انتخاب مناسب و تهیه یک مجموعه داده تصویر، همراه با حاشیه نویسی های لازم برای جعبه های مرزی کلاس ها (درد قفسه سینه، سقوط) است.

علاوه بر این، به عنوان مرحله دوم، آموزش مدل آشکارساز شی ما از طریق یادگیری انتقال ارائه می شود. مرحله خاص در Google Colab با استفاده از PyTorch انجام شد. متعاقباً، پس از اتمام مرحله آموزش، این مدل در Jetson Nano انویدیا، که دستگاه تعبیه شده انتخابی ما برای استفاده برای برنامه بینایی کامپیوتری Edge AI ما بود، قرار گرفت.

سومین مرحله طراحی سیستم ما، تبدیل و بهینه سازی مناسب مدل بود تا کارایی بیشتری روی جتسون نانو داشته باشد. بهینه سازی مدل ما با استفاده از موتور استنتاج TensorRT NVIDIA انجام شد و فرآیند خاص در Jetson Nano (همانطور که در شکل زیر نشان داده شده است) اجرا شد.

آخرین مرحله، اجرای مدل بهینه‌سازی شده روی Jetson Nano است، با استفاده از فریم‌هایی که از یک دوربین وب دریافت می‌کند، تا فرآیند تشخیص شی در زمان واقعی را انجام دهد و کلاس‌های ما (درد قفسه سینه، افتادن) را شناسایی کند. در کنار این فرآیند، در کد استنتاجی که روی Jetson Nano اجرا می‌شود، دو سناریو مشخص وجود داشت. نتایج استنتاج نهایی در شکل زیر نشان داده شده است.

مطالعه موردی 3: نظارت بر جمعیت و تجزیه و تحلیل فاصله گذاری اجتماعی

فرودگاه‌ها هر روز هجوم زیادی از مسافران دارند و مانند سایر مکان‌ها و سازمان‌های شلوغ، باید امنیت عمومی را تضمین کنند و از اجرای اقدامات کافی برای کاهش خطرات در طول همه‌گیری اطمینان حاصل کنند. در این پروژه، دانش آموزان ما یک سیستم یکپارچه مبتنی بر بینایی کامپیوتری را پیشنهاد کردند که نظارت و تجزیه و تحلیل چند منظوره جمعیت را در سراسر فرودگاه ها فراهم می کند. خروجی‌های سیستم برای بهره‌مندی کارکنان مدیریت فرودگاه و مسافران به طور یکسان، از طریق ارائه تحلیل‌ها و اطلاعات مبتنی بر جمعیت در نظر گرفته شده است.

این سیستم از یک پلت فرم یکپارچه (شکل زیر را ببینید) برای تجزیه و تحلیل و نظارت بر جمعیت در مکان های عمومی با استفاده از فیدهای نظارت تصویری تشکیل شده است. تمرکز به طور خاص بر روی فرودگاه‌های هوشمند است، اما چارچوب اصلی با هر زمینه عمومی که در آن تجزیه و تحلیل و نظارت بر ویژگی‌های جمعیت مفید است، سازگار است.

ویژگی های پوز استخراج شده از یک صحنه توسط مدل های پایین دستی سیستم برای انجام وظایف منحصر به فرد استفاده می شود. این شامل شمارش افراد، تخمین فاصله بین فردی، تشخیص شی ماسک، طبقه بندی وضعیت (نشستن، ایستادن، راه رفتن، دراز کشیدن و غیره) و خوشه بندی اجتماعی است. سپس نتایج برای تشکیل داشبورد و سیستم نظارتی یکپارچه ترکیب می‌شوند. به استثنای استفاده رایج از ویژگی‌های حالت، این وظایف چالش‌های منحصربه‌فردی را با رویکردهای مدل‌سازی مختلف نشان می‌دهند. خوشبختانه، به دلیل طراحی سیستم ماژولار، امکان انتزاع هر کار و ایجاد اعضای مختلف تیم وجود داشت.

در نهایت، یک رابط تعاملی برای ادغام تمام خروجی های پایین دست در یک نمای واحد طراحی شده است (شکل زیر را ببینید). این برنامه فایل های داده ایجاد شده توسط مدل های پایین دست را در داشبورد به صورت بلادرنگ آپلود می کند تا بتوان وضعیت فعلی صحنه را تجزیه و تحلیل کرد. در هر زمان می توان فیلم اصلی صحنه را به همراه ویژگی های ژست استخراج شده از هر فرد در پخش کننده ویدیویی مجاور آن مشاهده کرد. تصمیم گیرنده می تواند بین نمای جعبه ای به نمای نقشه حرارتی جابجا شود و متعاقباً تغییر دهد که چه فیلمی از دو منوی کشویی دریافت می شود. آمار مربوط به صحنه در سمت راست نما نمایش داده می شود. این آمار عبارتند از کل وضعیت ماسک فرد، نمایه ریسک کل، وضعیت کل افراد، تعداد کل افراد، نسبت های فاصله گذاری اجتماعی و نمودار نسبت ها.

مطالعه موردی 4: تشخیص خشونت در فرودگاه

در آخر، هدف یکی از گروه‌های ما ایجاد چارچوبی برای تشخیص خشونت است که موقعیت‌های انسانی را تخمین می‌زند و رفتار خشونت‌آمیز را در فیلم‌های نظارتی طبقه‌بندی می‌کند (همانطور که در شکل زیر نشان داده شده است). این فریم ورک به جای استخراج مستقیم ویژگی‌ها از فریم‌های ویدیویی، از ViTPose برای شناسایی وضعیت‌های انسانی در هر فریم استفاده می‌کند، سپس ویژگی‌ها را از اطلاعات نکات کلیدی پیش پردازش و استخراج می‌کند.

تجزیه و تحلیل جامع مدل‌های مختلف با استفاده از مجموعه داده‌های متعدد (مبتنی بر زاویه، مبتنی بر فاصله، دنباله‌های 1 ثانیه‌ای و 2 ثانیه‌ای) با مجموع 162 ترکیب فراپارامتر، در نهایت چندین مدل امیدوارکننده را شناسایی کردند که معیارهای ارزیابی خاص را برآورده می‌کنند. می توان نتیجه گرفت که مدل ها می توانند اطلاعات ارزشمندی در مورد رفتار خشونت آمیز با استفاده از ویژگی های فاصله نقاط کلیدی بدن همانطور که در شکل زیر نشان داده شده است استخراج کنند.

در نهایت، با همکاری با Saab UK، دانش‌آموزان ما می‌توانند مدل‌های هوش مصنوعی خود را با پلتفرم سطح صنعتی (SAFE)، یک پلت‌فرم آگاه از موقعیت قدرتمند که به طور گسترده در بسیاری از ایستگاه‌های پلیس بریتانیا برای نظارت استفاده می‌شود، توسعه داده و ادغام کنند. دروازه KAFKA به دنبال موتور هوش مصنوعی اعمال می شود و برای نمایش بیشتر و هشدارها به ترمینال مشتری ارسال می شود. اگر خشونتی در ویدیوی رهگیری شده با کادرهای محدود کننده شناسایی شود، زنگ هشداری را که ما به‌طور خاص برای مدل خود پیکربندی کرده‌ایم فعال می‌کند و ویدیوی رهگیری شده را در طرح‌بندی سرویس گیرنده SAFE نشان می‌دهد، پیام هشدار با جزئیات را به ما می‌دهد. در پایان، دانش آموزان ما با موفقیت مدل هوش مصنوعی را از مرکز DARTeC ما به کار گرفتند و با سیستم Saab SAFE برای تقویت آگاهی از وضعیت انسانی ارتباط برقرار کردند.

ایجاد مهندسین کاربردی هوش مصنوعی در آینده

اینها تنها چند نمونه منتخب از پروژه های GDP جالب از دوره MSc AAI هستند. اخیراً پروژه‌های چالش‌برانگیزتر GDP در رابط قابل توضیح با هوش مصنوعی، استدلال علّی برای برنامه‌ریزی حرکت خودمختار، هوش مصنوعی مبتنی بر فیزیک برای وسایل نقلیه خودران، و مدیریت فضای هوایی آینده توسط دانشجویان فعلی ما انجام شده است. ما معتقدیم تحقیقات هیجان انگیز بیشتری توسط دانشجویان کارشناسی ارشد ما به زودی ارائه خواهد شد.

انتشارات تحقیقاتی زیر را از دانشجویان ما در طول تولید ناخالص داخلی بررسی کنید تا راه حل ها و نتایج نهایی چقدر جالب به نظر می رسند:

• اوسیگبسان، آدیمی، سولن بارات، هارکیرات سینگ، دونگزی شیا، سیذارت سینگ، یانگ زینگ، ویسی گوو و آنتونیو تسوردوس. "تشخیص سقوط مبتنی بر دید در محیط نگهداری هواپیما با تخمین پوس." در سال 2022 کنفرانس بین المللی IEEE در مورد فیوژن و ادغام چند حسگر برای سیستم های هوشمند (MFI)، صفحات 1-6. IEEE، 2022.
• فریزر، بنجامین، برندان کاپ، گورپریت سینگ، اورهان کیوان، تانگفی بیان، والنتین سونتاگ، یانگ زینگ، ویسی گوو و آنتونیو تسوردوس. کاهش انتقال ویروس از طریق نظارت بر جمعیت مبتنی بر هوش مصنوعی و تجزیه و تحلیل فاصله گذاری اجتماعی. در سال 2022 کنفرانس بین المللی IEEE در مورد فیوژن و ادغام چند حسگر برای سیستم های هوشمند (MFI)، صفحات 1-6. IEEE، 2022.
• Üstek, İ., Desai, J., Torrecillas, IL, Abado, S., Wang, J., Fever, Q., Kasthuri, SR, Xing, Y., Guo, W. and Tsourdos, A., 2023, مرداد. تشخیص خشونت دو مرحله ای با استفاده از مدل های ViTPose و طبقه بندی در فرودگاه های هوشمند. در سال 2023 کنگره جهانی هوشمند IEEE (SWC) (ص 797-802). IEEE.
• بنوا، پل، مارک برسون، یانگ زینگ، ویسی گوو و آنتونیو تسوردوس. "تشخیص اقدامات خشونت آمیز مبتنی بر دید در زمان واقعی از طریق دوربین های مدار بسته با تخمین پوس." در سال 2023 کنگره جهانی هوشمند IEEE (SWC)، صفحات 844-849. IEEE، 2023.