سیستم بینایی جدید ربات‌ها برای دیدن اشیای شفاف

محققان دانشگاه علوم توکیو یک سیستم جدید مبتنی بر بینایی را توسعه داده‌اند که به ربات‌ها اجازه می‌دهد اشیاء شفاف و بازتابنده را بدون تکیه بر حسگرهای عمق، به طور دقیق بگیرند.

این روش، محدودیت کلیدی در جابجایی خودکار مواد را برطرف می‌کند، جایی که تشخیص و دستکاری چنین اشیایی به طور سنتی دشوار بوده است.

جابه‌جایی اقلامی مانند شیشه، فلزات براق و پلاستیک‌های شفاف همچنان یک چالش بزرگ برای ربات‌ها است، زیرا این مواد سیستم‌های حسگر سه‌بعدی مرسوم را مختل یا گیج می‌کنند و اغلب نیاز به مداخله انسان و کند شدن عملیات دارند.

این سیستم که HEAPGrasp نام دارد، شکل اشیاء را تنها با استفاده از خطوط کلی بصری ضبط شده از طریق یک دوربین RGB بازسازی می‌کند و ربات‌ها را قادر می‌سازد تا اشیاء را صرف نظر از خواص نوری آنها، به طور قابل اعتمادی شناسایی کرده و بگیرند.

این سیستم به جای تکیه بر حسگرهای تخصصی، از یک دوربین RGB استاندارد برای ضبط تصاویر از زوایای مختلف استفاده می‌کند. سپس تصاویر اشیاء را استخراج کرده و شکل سه‌بعدی آنها را با استفاده از تکنیکی که حتی در مواجهه با سطوح شفاف یا بازتابنده پایدار می‌ماند، بازسازی می‌کند.

دیدن فراتر از محدودیت‌های سطح

شوگو آرای(Shogo Arai) از اعضای این تیم تحقیقاتی توضیح داد: به طور سنتی، اشیاء شفاف یا آینه‌ای هنگام استفاده از حسگرهای عمق، در تشخیص ناپایدار بوده‌اند و این امر گرفتن خودکار توسط ربات‌ها را دشوار کرده و در نهایت منجر به مداخله انسان می‌شود.

وی افزود: رویکرد ما بر این ایده استوار است که حتی زمانی که اطلاعات عمق، غیرقابل اعتماد باشد، تخمین شکل شیء و گرفتن آن همچنان امکان‌پذیر است، مادامی که خطوط یا زوایای شیء را بتوان به طور قابل اعتمادی در تصاویر ثبت کرد.

این سیستم با جدا کردن اشیاء از پس‌زمینه با استفاده از تقسیم‌بندی معنایی شروع می‌کند. این سیستم از یک مدل یادگیری عمیق برای طبقه‌بندی هر پیکسل در تصویر استفاده می‌کند و اشیاء را قبل از بازسازی آنها در سه بعد، جدا می‌کند.

برای ساخت یک مدل سه‌بعدی، این روش از تکنیک «Shape from Silhouette» استفاده می‌کند، تکنیکی که حجم شیء را با ترکیب خطوط کلی گرفته شده از زوایای مختلف تخمین می‌زند. این روش از خطاهای ناشی از شفافیت یا تابش خیره‌کننده جلوگیری می‌کند.

با این حال، ثبت دیدگاه‌های بیشتر معمولاً زمان پردازش را افزایش می‌دهد. محققان برای حل این مشکل، یک سیستم برنامه‌ریزی مبتنی بر یادگیری عمیق اضافه کردند که کارآمدترین مسیر دوربین را تعیین می‌کند و ضمن حفظ دقت، حرکات غیرضروری را کاهش می‌دهد.

گرفتن سریع‌تر و هوشمندتر ربات‌ها

این تیم HEAPGrasp را روی یک سیستم رباتیک واقعی در 20 سناریو شامل ترکیبات مختلف اشیاء شفاف، مات و بازتابنده آزمایش کرد. این سیستم به طور مداوم از روش‌های موجود گرفتن بهتر عمل کرد.

این سیستم با استفاده از یک دوربین واحد به میزان موفقیت 96 درصد دست یافت، در حالی که حرکت دوربین را 52 درصد کاهش داد و زمان اجرا را 19 درصد در مقایسه با رویکردهای مرسوم کاهش داد.

گینگا کنیس(Ginga Kennis) دیگر عضو این تیم گفت: رویکرد ما اندازه‌گیری دقیق سه‌بعدی اشیاء را در حالی که حرکت دوربین و زمان اجرا را به حداقل می‌رساند، انجام می‌دهد. فناوری HEAPGrasp با کاهش میزان پیش‌تنظیم مورد نیاز، پیاده‌سازی و بهره‌برداری در محل را ساده می‌کند، به خصوص از آنجایی که می‌توان آن را به سیستم‌های رباتیک موجود متصل کرد.

قابلیت کار با دوربین‌های استاندارد و سخت‌افزارهای موجود می‌تواند استقرار این سیستم را در صنایعی مانند لجستیک، جابجایی مواد غذایی و تولید که در آنها مواد ترکیبی رایج هستند، آسان‌تر کند.

این مطالعه در مجله IEEE Robotics and Automation Letters منتشر شده است.