সার্ভিস রোবোটিক্স ও এমবডিড এআই-এর জন্য ইনডোর সিন অবজেক্ট অ্যানোটেশন — কেস স্টাডি
কীভাবে শাইপ একটি শীর্ষস্থানীয় রোবোটিক্স উদ্ভাবনী সংস্থার জন্য ব্যাপক ইনডোর সিন অ্যানোটেশন সরবরাহ করেছে — যা স্থানিক সম্পর্ক ট্যাগিং সহ ঘরের পরিবেশের প্রতিটি বস্তুকে সনাক্ত ও লেবেল করে — এবং যা বাড়ি, অফিস, গুদাম এবং স্বাস্থ্যসেবা কেন্দ্র জুড়ে রোবোটিক পারসেপশন ও নেভিগেশন এআই-এর জন্য একটি প্রোডাকশন-গ্রেড ডেটাসেট হিসাবে তৈরি করা হয়েছে।
প্রজেক্ট সারসংক্ষেপ
বাড়ি, অফিস, গুদাম এবং হাসপাতালের মতো বাস্তব ক্ষেত্রগুলিতে রোবটিক্সের ব্যবহার শুরু হওয়ার সাথে সাথে, ক্লায়েন্টের এমন একটি ব্যাপক অ্যানোটেশন পাইপলাইনের প্রয়োজন ছিল যা অত্যন্ত জঞ্জালপূর্ণ অভ্যন্তরীণ দৃশ্যের প্রতিটি দৃশ্যমান বস্তুকে লেবেল করতে সক্ষম হবে — এবং যার অ্যাট্রিবিউটের সমৃদ্ধি রোবটিক ইন্টারঅ্যাকশন টাস্কের জন্য যথেষ্ট হবে।
শাইপ বাউন্ডিং বক্স ও পলিগন সেগমেন্টেশন, ডেন্স অবজেক্ট ইনক্লুশন, স্পেশিয়াল রিলেশনশিপ ট্যাগিং এবং রিফ্লেক্টিভ সারফেস হ্যান্ডলিং সহ একটি এন্ড-টু-এন্ড অ্যানোটেশন পাইপলাইন তৈরি করেছেন, যা রোবোটিক পারসেপশন, নেভিগেশন এবং মানব-পরিবেশ মিথস্ক্রিয়ার জন্য মডেল-রেডি ডেটাসেট তৈরি করে।
মূল পরিসংখ্যান
বস্তু / ছবি
100s
বিভাগ
ঘন
পদ্ধতি
বাক্স + বহুভুজ
অ্যাট্রিবিউট লেয়ার
4
চ্যালেঞ্জ
- টীকা প্রতিটি দৃশ্যমান বস্তু ঘন জঞ্জালপূর্ণ ঘরের চিত্রে — প্রতি ফ্রেমে শত শত
- সঠিক পদ্ধতি নির্বাচন করা — বাউন্ডিং বক্স বনাম বহুভুজ বিভাজন বস্তুর জটিলতার উপর ভিত্তি করে
- সুদ্ধ ছোট বস্তু রোবটের মিথস্ক্রিয়ার জন্য অপরিহার্য সুইচ, প্লাগ এবং আলংকারিক সামগ্রীর মতো।
- হ্যান্ডলিং প্রতিফলিত পৃষ্ঠতল (আয়না, কাচের টেবিল) অস্পষ্ট চিহ্ন ছাড়া
- ট্যাগিং স্থানিক সম্পর্ক এবং প্রসঙ্গ-সচেতন রোবোটিক এআই-এর জন্য বস্তুর অবস্থা
সমাধান
ব্যাপক বস্তু অন্তর্ভুক্তি
প্রতিটি ঘরের ছবির মধ্যে দৃশ্যমান প্রত্যেকটি বস্তুকে বিভিন্ন শ্রেণীতে পৃথকভাবে চিহ্নিত করা হয়েছিল — আসবাবপত্র (চেয়ার, টেবিল, সোফা, বিছানা, তাক), গৃহস্থালি সরঞ্জাম (টেলিভিশন, রেফ্রিজারেটর, মাইক্রোওয়েভ, বাতি), ব্যক্তিগত জিনিসপত্র (ব্যাগ, বই, বোতল, পোশাক), কাঠামোগত উপাদান (দরজা, জানালা, দেয়াল, মেঝে), এবং ছোট বস্তু (রিমোট কন্ট্রোল, কাপ, প্লেট, কিবোর্ড, সুইচ, প্লাগ)।
প্রতি অবজেক্টের জন্য পদ্ধতি নির্বাচন
বস্তুর আকৃতি ও জটিলতার ওপর নির্ভর করে বাউন্ডিং বক্স বা পলিগন সেগমেন্টেশন ব্যবহার করে বস্তুগুলোকে নির্ভুলভাবে চিহ্নিত করা হয়েছিল। নিয়মিত আয়তক্ষেত্রাকার বস্তুর জন্য বক্স ব্যবহার করা হয়েছিল; যেখানে বক্সগুলো অতিরিক্তভাবে ওভারল্যাপ করত, সেখানে জৈব আকৃতি এবং ঘনসন্নিবিষ্ট বস্তুগুলোকে পলিগন দিয়ে চিহ্নিত করা হয়েছিল। প্রতিটি বস্তুর জন্য আলাদাভাবে এই পদ্ধতি নির্বাচন করার ফলে বিশৃঙ্খল দৃশ্যেও সুস্পষ্ট সীমানা নিশ্চিত হয়েছিল।
স্থানিক সম্পর্ক ট্যাগিং
প্রতিটি চিহ্নিত বস্তুকে বিভিন্ন বৈশিষ্ট্য দিয়ে সমৃদ্ধ করা হয়েছিল, যার মধ্যে অন্তর্ভুক্ত ছিল বস্তুর অবস্থা (দরজা এবং ড্রয়ারের জন্য খোলা বা বন্ধ), অন্যান্য বস্তুর সাপেক্ষে নৈকট্য ও অবস্থান নির্দেশকারী স্থানিক সম্পর্ক ট্যাগ, প্রতিবন্ধকতার অবস্থা এবং বস্তুর পরিস্থিতি। এই স্থানিক বুদ্ধিমত্তার স্তরটি রোবোটিক এআই সিস্টেমকে শুধু বস্তু শনাক্ত করতেই নয়, বরং প্রেক্ষাপট বুঝতেও সক্ষম করে।
ক্ষুদ্র বস্তু ও মিথস্ক্রিয়া-সংক্রান্ত গুরুত্বপূর্ণ কভারেজ
আকার নির্বিশেষে প্রতিটি দৃশ্যমান বস্তুকে চিহ্নিত করার জন্য টীকাকাররা কঠোর অন্তর্ভুক্তির নিয়ম অনুসরণ করেছেন — যার মধ্যে সুইচ, প্লাগ এবং আলংকারিক বস্তুর মতো ছোট জিনিসও অন্তর্ভুক্ত, যা রোবটের পারস্পরিক ক্রিয়ার কাজের জন্য অত্যন্ত গুরুত্বপূর্ণ। এই জিনিসগুলোই প্রায়শই নির্ধারণ করে যে একটি রোবট তার কাজ সম্পন্ন করতে পারবে কি না, তাই এগুলোকে অগ্রাধিকারের তালিকা থেকে বাদ দেওয়া সম্ভব ছিল না।
প্রতিফলক পৃষ্ঠ পরিচালনা
আয়না এবং কাচের টেবিলের মতো প্রতিফলক পৃষ্ঠতলগুলিতে নকল বা অস্পষ্ট টীকা এড়ানোর জন্য বিশেষ ব্যবস্থা নেওয়ার প্রয়োজন ছিল। প্রতিফলিত বস্তুগুলিকে আলাদাভাবে লেবেল করা হবে, উপেক্ষা করা হবে, নাকি চিহ্নিত করা হবে—এই বিষয়টি নির্দিষ্ট নির্দেশিকা দ্বারা নিয়ন্ত্রিত হতো, যা নিশ্চিত করত যে পরবর্তী মডেলগুলি ত্রুটিপূর্ণ লেবেল থেকে শিখছে না।
প্রকল্পের সুযোগ
| ডেটাসেটের প্রকার | কভারেজ | পদ্ধতি | বিভাগ | আরোপ করা | বিশেষ পরিচালনা |
|---|---|---|---|---|---|
| অভ্যন্তরীণ দৃশ্যের বস্তু টীকা | প্রতিটি দৃশ্যমান বস্তু | বাক্স + বহুভুজ | আসবাবপত্র, যন্ত্রপাতি, ব্যক্তিগত জিনিসপত্র, কাঠামোগত, ছোট | ৪টি স্তর (অবস্থা, স্থানিক, প্রতিবন্ধকতা, শর্ত) | প্রতিফলক পৃষ্ঠের নিয়মাবলী |
ফলাফল
- প্রতিষ্ঠিত একটি অবজেক্ট-ডেনস অ্যানোটেশন পাইপলাইন অভ্যন্তরীণ রোবোটিক উপলব্ধির জন্য
- প্রমিত প্রতি-বস্তু পদ্ধতি নির্বাচন বাউন্ডিং বক্স এবং বহুভুজ বিভাজনের মধ্যে
- নিষ্কৃত স্থানিক সম্পর্ক ট্যাগিং প্রসঙ্গ-সচেতন রোবোটিক এআই সক্ষম করা
- বাস্তবায়িত প্রতিফলক পৃষ্ঠের পরিচালনা ভুতুড়ে টীকা প্রতিরোধ করতে
- ক্লায়েন্টের সক্ষম করা হয়েছে বাড়ি, গুদাম, খুচরা এবং স্বাস্থ্যসেবা কেন্দ্র রোবোটিক্স এআই স্থাপন
সামগ্রিকভাবে, শাইপ বস্তু-বহুল একটি ইনডোর অ্যানোটেশন প্রয়োজনীয়তাকে একটি সুসংগঠিত ও উৎপাদন-উপযোগী পাইপলাইনে রূপান্তরিত করতে সাহায্য করেছেন—যা বিভিন্ন ধরনের ইনডোর স্থাপন পরিবেশে রোবোটিক নেভিগেশন, পিক-এন্ড-প্লেস অটোমেশন, স্মার্ট পরিবেশ পর্যবেক্ষণ এবং মানব-রোবট মিথস্ক্রিয়া সমর্থন করতে সক্ষম।
শাইপ ঘরগুলোকে ঠিক সেভাবেই চিহ্নিত করেছিলেন যেভাবে আমাদের রোবটরা দেখে — প্রতিটি বস্তু, প্রতিটি সম্পর্ক, এবং গুরুত্বপূর্ণ প্রতিটি ছোট জিনিস। সুইচ, প্লাগ এবং প্রতিফলক পৃষ্ঠের প্রতি তাদের মনোযোগের কারণে আমাদের উপলব্ধি মডেলটি এমন সব জিনিসের জন্য হোঁচট খায়নি, যা বেশিরভাগ ডেটাসেট উপেক্ষা করে।
