চ্যাটবট থেকে স্বাভাবিক ভাষার নির্দেশ অনুসরণকারী রোবটে রূপান্তরটি একটি নির্দিষ্ট শ্রেণীর মডেলের মাধ্যমেই সম্পন্ন হয়। ভিএলএ মডেল—অর্থাৎ ভিশন-ল্যাঙ্গুয়েজ-অ্যাকশন মডেল—একটি নিউরাল নেটওয়ার্কে ভিজ্যুয়াল পারসেপশন, ভাষা বোঝা এবং অ্যাকশন জেনারেশনকে একত্রিত করে। এদের ক্ষমতা বাস্তব, কিন্তু তা প্রায় সম্পূর্ণভাবে নির্ভর করে তারা যে ট্রেনিং ডেটা গ্রহণ করে তার উপর। এই নির্দেশিকাটি ব্যাখ্যা করে যে ভিএলএ ট্রেনিং ডেটাতে আসলে কী থাকে, দলগুলো কোন বিষয়টিকে অবমূল্যায়ন করে এবং কীভাবে এমন একটি ডেটাসেট পরিকল্পনা করতে হয় যা ব্যবহারের যোগ্য একটি মডেল তৈরি করবে।
কী Takeaways
- ভিএলএ মডেলগুলো দৃষ্টি ও ভাষার ইনপুটকে সরাসরি একটি নেটওয়ার্কের মাধ্যমে রোবটের কার্যকলাপে রূপান্তরিত করে।
- প্রশিক্ষণ ডেটাতে অবশ্যই সমন্বিত চাক্ষুষ পর্যবেক্ষণ, ভাষাগত নির্দেশনা এবং কার্যকলাপ অন্তর্ভুক্ত থাকতে হবে।
- বিচ্ছিন্ন অ্যাকশন টোকেনগুলোকে ভালোভাবে শেখার জন্য বৃহৎ পরিসরের প্রদর্শনী ডেটার প্রয়োজন হয়।
- আত্মকেন্দ্রিক মানব ভিডিও ক্রমবর্ধমানভাবে একটি স্বল্প খরচের ভিএলএ প্রাক-প্রশিক্ষণের উৎস হিসেবে ব্যবহৃত হচ্ছে।
- নির্ভরযোগ্য ডেপ্লয়মেন্টের জন্য ট্রেনিং ডেটার মতোই শক্তিশালী ইভ্যালুয়েশন এপিসোডও গুরুত্বপূর্ণ।
- ভিএলএ সূক্ষ্ম সমন্বয়ের সাফল্য বা ব্যর্থতা কেবল মূল পরিমাণের ওপর নয়, বরং টীকার নির্ভুলতার ওপর নির্ভর করে।
ভিএলএ মডেল বলতে কী বোঝায়?
একটি ভিএলএ মডেল হলো একটি রোবোটিক ভিত্তি মডেল যা ইনপুট হিসেবে ছবি এবং স্বাভাবিক ভাষার নির্দেশনা গ্রহণ করে এবং আউটপুট হিসেবে রোবটের কার্যকলাপ প্রদর্শন করে। প্রচলিত পাইপলাইনগুলোর মতো নয়, যেখানে পারসেপশন, প্ল্যানিং এবং কন্ট্রোলকে বিভিন্ন মডিউলে বিভক্ত করা হয়, ভিশন-ল্যাঙ্গুয়েজ-অ্যাকশন মডেলগুলো একটি একক নেটওয়ার্কের মধ্যেই একটি এন্ড-টু-এন্ড ম্যাপিং শেখে।
ভিএলএ মডেল: একটি নিউরাল নেটওয়ার্ক যা সমন্বিত চাক্ষুষ পর্যবেক্ষণ এবং স্বাভাবিক ভাষার নির্দেশনা গ্রহণ করে রোবটের কার্যকলাপের ক্রম বা অ্যাকশন টোকেন তৈরি করে।
এই সমন্বিত নকশাটি ভিএলএ মডেলগুলোকে বৃহৎ দৃষ্টি-ভাষা পূর্ব-প্রশিক্ষণ থেকে যুক্তিবোধের ক্ষমতা অর্জন করতে এবং মোটর নিয়ন্ত্রণের মাধ্যমে সেগুলোকে প্রসারিত করতে দেয়। প্রয়োগের ক্ষেত্রে, এর অর্থ হলো একটি মডেল নীতিগতভাবে অনেক কাজ সম্পাদন করতে পারে — কিন্তু কেবল তখনই, যদি তার প্রশিক্ষণ ডেটা সঠিক কাঠামোসহ সেই কাজগুলো অন্তর্ভুক্ত করে।
VLA প্রশিক্ষণ ডেটাতে আসলে কী থাকে?
ভিএলএ প্রশিক্ষণ ডেটার প্রতিটি পর্বে চারটি মূল উপাদান থাকে: চাক্ষুষ পর্যবেক্ষণ, একটি স্বাভাবিক ভাষার নির্দেশনা, একটি কর্মের গতিপথ এবং একটি সাফল্য বা ব্যর্থতার লেবেল। এগুলোর সাথে দলগুলো টাইমস্ট্যাম্প, প্রোপ্রিওসেপ্টিভ অবস্থা এবং মূল্যায়ন নির্দেশক যুক্ত করে।
চারটি বাধ্যতামূলক স্তর:
- চাক্ষুষ পর্যবেক্ষণ — আরজিবি ফ্রেম, যা প্রায়শই ডেপথ বা রিস্ট-ক্যাম ভিউয়ের সাথে যুক্ত থাকে।
- ভাষা নির্দেশাবলী — সংক্ষিপ্ত স্বাভাবিক ভাষার নির্দেশ, যেমন “কাপে জল ঢালুন।”
- কর্মের গতিপথ — রোবটের স্বাধীনতার মাত্রার সাথে সংযুক্ত বিচ্ছিন্ন বা অবিচ্ছিন্ন কর্মের ক্রম।
- ফলাফলের লেবেল — প্রতিটি পর্বের জন্য সুস্পষ্ট সাফল্য, ব্যর্থতা বা আংশিক সমাপ্তির নির্দেশক।
২২টি রোবট প্রতিরূপ থেকে সংগৃহীত দশ লক্ষেরও বেশি এপিসোডের উপর একটি ৭ বিলিয়ন প্যারামিটার বিশিষ্ট ওপেন ভিএলএ মডেলকে প্রশিক্ষণ দেওয়া হয়েছিল (স্ট্যানফোর্ড এট আল., ২০২৪), যা বিভিন্ন কাজের মধ্যে সাধারণীকরণের জন্য প্রত্যাশিত বৈচিত্র্যকে তুলে ধরে। এই ব্যাপকতা ছাড়া, ভিএলএ মডেলগুলো সাধারণীকরণ করার পরিবর্তে নির্দিষ্ট বস্তু মুখস্থ করার প্রবণতা দেখায়।
কেন ইমেজ অ্যানোটেশনের চেয়ে অ্যাকশন অ্যানোটেশন বেশি কঠিন?
অ্যাকশন অ্যানোটেশন আরও কঠিন, কারণ অ্যাকশনগুলো অবিচ্ছিন্ন, উচ্চ-মাত্রিক পরিসরে বিদ্যমান থাকে এবং শুধু ফ্রেমের বিষয়বস্তুর ওপরই নয়, বরং রোবটের শারীরিক গঠনের ওপরও নির্ভর করে। একটি কাপের বাউন্ডিং বক্স লেবেল করা সহজ; কিন্তু একটি নির্দিষ্ট স্পর্শবিন্দুতে একটি নির্দিষ্ট গ্রিপার দিয়ে সফলভাবে কাপটিকে আঁকড়ে ধরার গতিপথ লেবেল করা সহজ নয়।
অ্যাকশন টোকেন: রোবটের গতি বা এন্ড-ইফেক্টরের সরণের একটি বিচ্ছিন্ন উপস্থাপনা, যা একটি ভিএলএ মডেল ল্যাঙ্গুয়েজ টোকেনের মতো ভবিষ্যদ্বাণী করতে পারে।
অ্যানোটেশন দলগুলোকে প্রতিটি অ্যাকশন টোকেনকে তার সিঙ্ক্রোনাইজড পর্যবেক্ষণের সাথে সারিবদ্ধ করতে, যোগাযোগের মুহূর্তগুলো চিহ্নিত করতে, ব্যর্থতা থেকে পুনরুদ্ধারের বিষয়টি ধারণ করতে এবং ভাষা নির্দেশনার পারমাণবিক সীমানাগুলোকে ট্যাগ করতে হবে। শাইপের ডেটা টীকা ওয়ার্কফ্লোগুলি রোবোটিক অ্যাকশন স্পেস এবং প্রতিটি টাস্কের গ্রহণযোগ্যতার সীমা অনুযায়ী তৈরি করা কাঠামোগত শ্রেণিবিন্যাসের মাধ্যমে বৃহৎ পরিসরে এটি পরিচালনা করে।
ভিএলএ প্রশিক্ষণে আত্মকেন্দ্রিক মানব ভিডিওর স্থান কোথায়?
আত্মকেন্দ্রিক মানব ভিডিও একটি পরিমাপযোগ্য প্রাক-প্রশিক্ষণ উৎস হিসেবে উপযুক্ত, যা এমন সব শূন্যস্থান পূরণ করে যা বাস্তব রোবট ডেটা পারে না। মানুষের রান্না করা, বাছাই করা এবং একত্রিত করার ফার্স্ট-পার্সন ফুটেজ এমন এক মাত্রায় আচরণ ধারণ করে, যা রোবটের টেলিঅপারেশন কখনোই অর্জন করতে পারবে না।
সাম্প্রতিক একটি গবেষণাপত্রে মানুষের হাতকে একটি দক্ষ এন্ড-ইফেক্টর হিসেবে বিবেচনা করে অসংগঠিত আত্মকেন্দ্রিক মানব ভিডিওগুলোকে VLA-ফরম্যাটের এপিসোডে—১০ লক্ষ সেগমেন্ট এবং ২.৬ কোটি ফ্রেমে—রূপান্তরিত করা হয়েছে (Wu et al., arXiv, 2025)। এই ধরনের ক্রস-এমবডিমেন্ট ডেটা এখন VLA প্রি-ট্রেনিং পদ্ধতিতে একটি নিয়মিত বিষয়।
মূল বিষয় হলো: কাঁচা ভিডিও ট্রেনিং ডেটা নয়। VLA পাইপলাইনে পৌঁছানোর আগে এটির সেগমেন্টেশন, ভাষার বিবরণ, হ্যান্ড-পোজ রিটার্গেটিং এবং কোয়ালিটি ভ্যালিডেশন প্রয়োজন। শাইপের শারীরিক এআই ডেটা অপারেশনের মধ্যে একটিমাত্র ডেলিভারির মাধ্যমে ইগোসেন্ট্রিক ক্যাপচার, রিয়েলটুসিম কনভার্সন এবং ভিএলএ-অ্যালাইনড অ্যানোটেশন অন্তর্ভুক্ত থাকে।
আপনি কীভাবে এমন মূল্যায়ন সেট তৈরি করেন যা ভিএলএ ব্যর্থতার ধরণগুলো শনাক্ত করতে পারে?
মূল্যায়ন সেটগুলো প্রশিক্ষণের আগে ডিজাইন করা হলে ভিএলএ (VLA) ব্যর্থতার ধরণগুলো ধরতে পারে, পরে নয়। তিনটি কাঠামো সবচেয়ে বেশি গুরুত্বপূর্ণ: বিতরণকালীন সাফল্যের মানদণ্ড, বিতরণ-পরবর্তী সাধারণীকরণ যাচাই, এবং ঝুঁকি-স্তরভিত্তিক নিরাপত্তা পরিস্থিতি।
রান্নাঘরের কাজের উপর ব্যাপকভাবে প্রশিক্ষিত একটি গৃহস্থালি ভিএলএ মডেলের কথা কল্পনা করুন। একটি যুক্তিসঙ্গত মূল্যায়ন সেটে পরীক্ষা করা হবে: পরিচিত রান্নাঘরে পরিচিত কাজ (ইন-ডিস্ট্রিবিউশন), অপরিচিত আলোতে পরিচিত কাজ (মাইল্ড ওওডি), পরিচিত নির্দেশনাসহ অপরিচিত বস্তু (কনসেপ্ট জেনারালাইজেশন), এবং দুর্ঘটনাবশত কিছু পড়ে যাওয়ার মতো বিরল ঘটনা (সেফটি টিয়ার)। এগুলোর প্রত্যেকটি ছাড়া, মডেলটি স্থাপনের ঝুঁকি অপরিমিত থেকে যায়।
ঝুঁকির স্তরভিত্তিক কভারেজ সংগঠিত করার জন্য একটি কার্যকর নিরপেক্ষ উৎস হলো NIST AI ঝুঁকি ব্যবস্থাপনা কাঠামোযা প্রভাবের স্তরগুলোকে এমনভাবে পৃথক করে, যা মূল্যায়ন সেটের নকশার সাথে সুস্পষ্টভাবে সামঞ্জস্যপূর্ণ।
ভিএলএ প্রশিক্ষণ ডেটা: কীসের জন্য বাজেট করতে হবে
| স্তর | এটি কি অন্তর্ভুক্ত | সাধারণ ফাঁদ |
|---|---|---|
| ভিজ্যুয়াল পর্যবেক্ষণ | মাল্টি-ভিউ আরজিবি, ডেপথ, রিস্ট ক্যামেরা | অনুপস্থিত বা অসঙ্গত টাইমস্ট্যাম্প |
| ভাষা | নির্দেশাবলী, পারমাণবিক বর্ণনা | অস্পষ্ট শব্দচয়ন যা কাজের সাথে মেলে না |
| কর্মের গতিপথ | বিচ্ছিন্ন টোকেন বা অবিচ্ছিন্ন নিয়ন্ত্রণ | রোবট রূপায়ণের সাথে কোনো সামঞ্জস্য নেই |
| মূল্যায়ন | পর্ব, OOD অনুসন্ধান, নিরাপত্তা স্তর | অনেক দেরিতে ডিজাইন করা হয়েছে, মডেল ফ্রিজের পরে। |
উপসংহার: ডেটাসেটের উপরই ভিএলএ মডেলের জয় বা পরাজয় নির্ভর করে।
একটি ভিএলএ মডেলের সর্বোচ্চ সক্ষমতা তার প্রশিক্ষণ ডেটার উপর নির্ভর করে — ডেটার বিস্তৃতি, অ্যানোটেশনের গভীরতা এবং মূল্যায়নের কঠোরতা। যে দলগুলো ডেটাসেটকে একটি পণ্যের মতো করে পরিকল্পনা করে, কোনো হেলাফেলা হিসেবে নয়, তারাই সবার আগে তা প্রয়োগ করতে পারে। যে দলগুলো ভিডিও স্ক্র্যাপ করে এবং আপনাআপনি সক্ষমতা তৈরি হবে বলে আশা করে, তারা সাধারণত তা পারে না।
ভিএলএ মডেল এবং রোবোটিক নীতির মধ্যে পার্থক্য কী?
পার্থক্যটি হলো পরিধি। একটি রোবোটিক পলিসি প্রথাগতভাবে একটি কাজ বা অল্প কিছু কাজের জন্য পর্যবেক্ষণগুলোকে ক্রিয়াকলাপের সাথে সংযুক্ত করে। একটি ভিএলএ মডেল হলো একটি ভিত্তি-ধাঁচের পলিসি, যার লক্ষ্য হলো স্বাভাবিক ভাষার নির্দেশাবলীর উপর ভিত্তি করে অনেকগুলো অবজেক্ট জুড়ে বহুবিধ কাজ পরিচালনা করা। উভয়ই পলিসি; ভিএলএ মডেলগুলো হলো এর সাধারণ সংস্করণ, যা আরও বিস্তৃত ও ভাষা-ভিত্তিক ডেটার উপর প্রশিক্ষিত।
একটি ফাইন-টিউনিং রানের জন্য সাধারণত কী পরিমাণ VLA ট্রেনিং ডেটার প্রয়োজন হয়?
কাজের জটিলতা এবং বেস মডেলের শক্তির উপর নির্ভর করে, একটি ফাইন-টিউনিং রানে সাধারণত কয়েক হাজার থেকে কয়েক লক্ষ উচ্চ-মানের ডেমোনস্ট্রেশন ব্যবহৃত হয়। প্রি-ট্রেইনড ভিএলএ ব্যাকবোনগুলো এই প্রয়োজনীয় পরিমাণ উল্লেখযোগ্যভাবে কমিয়ে দেয়। এক্ষেত্রে নির্ণায়ক বিষয় হলো অ্যানোটেশনের গুণমান এবং ভাষা-নির্দেশনার নির্ভুলতা, শুধুমাত্র এপিসোডের সংখ্যা নয়।
আপনি কি সম্পূর্ণভাবে সিমুলেটেড ডেটার উপর ভিত্তি করে একটি ভিএলএ মডেলকে প্রশিক্ষণ দিতে পারেন?
সম্পূর্ণভাবে সিমুলেটেড ডেটার উপর ভিত্তি করে একটি ভিএলএ মডেলকে প্রশিক্ষণ দেওয়া সম্ভব, কিন্তু ডেপ্লয়মেন্টের জন্য তা কদাচিৎই যথেষ্ট। সিমুলেশন বৈচিত্র্য এবং বিরল ঘটনাগুলো ভালোভাবে সামাল দেয়; বাস্তব জগতের ক্যাপচার কন্ট্যাক্ট ডাইনামিক্স এবং সিম-টু-রিয়েল ট্রান্সফারের ভিত্তি স্থাপন করে। বেশিরভাগ প্রোডাকশন পাইপলাইন উভয়কেই একত্রিত করে, এবং এর সাথে যুগল বেঞ্চমার্ক থাকে যা সিমুলেশন ও বাস্তবতার পারফরম্যান্সের পার্থক্যকে স্পষ্টভাবে পরিমাপ করে।
VLA প্রশিক্ষণ ডেটার জন্য কোন কোন সেন্সর মোডালিটি প্রয়োজন?
VLA ট্রেনিং ডেটার জন্য ন্যূনতম সিঙ্ক্রোনাইজড RGB ভিডিও এবং একটি অ্যাকশন ট্র্যাজেক্টরি প্রয়োজন। উচ্চ-কার্যক্ষমতাসম্পন্ন পাইপলাইনগুলো টাস্ক ক্লাসের উপর নির্ভর করে ডেপথ, রিস্ট-ক্যাম ভিউ, অডিও, IMU এবং ফোর্স বা টর্ক রিডিং যোগ করে। সবচেয়ে অপরিহার্য বিষয়টি হলো বিভিন্ন মোডালিটি জুড়ে টাইম সিঙ্ক্রোনাইজেশন — এটি ছাড়া, ট্রেনিংয়ের সময় ল্যাঙ্গুয়েজ এবং অ্যাকশন সিগন্যালগুলো একে অপরের থেকে দূরে সরে যায়।
প্রশিক্ষণের আগে আপনি একটি ভিএলএ ডেটাসেটের গুণমান কীভাবে মূল্যায়ন করেন?
একটি ভিএলএ ডেটাসেট মূল্যায়ন চারটি বিষয়ের উপর ভিত্তি করে করা হয়: ভাষা ও ক্রিয়ার সঠিক সামঞ্জস্য, এপিসোড বিভাজনের ধারাবাহিকতা, অ্যাকশন-স্পেসের বিস্তৃতি এবং এজ-কেস বা প্রান্তিক পরিস্থিতির প্রতিনিধিত্ব। গোল্ড-সেট ক্যালিব্রেশন সহ নমুনা-ভিত্তিক মানব পর্যালোচনা হলো সবচেয়ে নির্ভরযোগ্য সূচনা বিন্দু। অ্যাকশন লেবেলের ক্ষেত্রে ৯৫%-এর বেশি ইন্টার-অ্যানোটেটর সম্মতি একটি সাধারণ প্রোডাকশন থ্রেশহোল্ড বা উৎপাদন মানদণ্ড।
VLA প্রশিক্ষণ ডেটা এবং অনুকরণ শিক্ষা ডেটা কি একই?
ভিএলএ প্রশিক্ষণ ডেটা হলো অনুকরণ শিখন ডেটার একটি সুপারসেট। অনুকরণ শিখন ডেটা প্রদর্শনী থেকে প্রাপ্ত পর্যবেক্ষণ-ক্রিয়া জোড়ার উপর আলোকপাত করে। ভিএলএ ডেটা এর সাথে ভাষার নির্দেশনা, বহু-কার্যকরী কাঠামো এবং বৃহৎ পরিসরে বিভিন্ন শারীরিক গঠনের কভারেজ যোগ করে, ফলে মডেলটি মুখস্থ করা গতিপথের বাইরেও সাধারণীকরণ করতে পারে।
