রোবোটিক্স সংক্রান্ত আলোচনায় দুটি মডেল শ্রেণীকে প্রায়শই গুলিয়ে ফেলা হয়: ভিশন-ল্যাঙ্গুয়েজ মডেল এবং ভিশন-ল্যাঙ্গুয়েজ-অ্যাকশন মডেল। এদের শুনতে একই রকম মনে হয়, উভয়ই ছবি ও লেখা গ্রহণ করে এবং উভয়ই মাল্টিমোডাল প্রি-ট্রেনিংয়ের একই ধারা থেকে এসেছে। কিন্তু যারা এমন একটি এআই সিস্টেম স্থাপন করতে চান যা শুধু বর্ণনাই করে না, বরং নড়াচড়াও করে, তাদের জন্য এই পার্থক্যটি অত্যন্ত গুরুত্বপূর্ণ। ভিএলএম বনাম ভিএলএ হলো এমন একটি মডেলের মধ্যেকার পার্থক্য যা একটি দৃশ্যকে বোঝে এবং এমন একটি মডেলের মধ্যেকার পার্থক্য যা বাস্তব জগতের সাথে সংযোগ স্থাপন করে।
কী Takeaways
- ভিএলএম ছবি ও লেখাকে ভাষার আউটপুটে রূপান্তর করে; ভিএলএ সেগুলোকে রোবটের কার্যকলাপে রূপান্তর করে।
- ভিএলএম সরাসরি কোনো মোটর, গ্রিপার বা এন্ড-ইফেক্টর চালাতে পারে না।
- ভিএলএ-গুলি রোবট প্রদর্শনের ডেটার উপর প্রশিক্ষিত অ্যাকশন টোকেন ব্যবহার করে ভিএলএম-কে সম্প্রসারিত করে।
- অধিকাংশ ভিএলএ আর্কিটেকচার ডেমোনস্ট্রেশন এপিসোডগুলিতে একটি ভিএলএম ব্যাকবোনকে সূক্ষ্মভাবে সমন্বয় করে।
- মোতায়েন-স্তরের রোবোটিক্সের জন্য শুধু ভিএলএম ডেটা নয়, ভিএলএ-ধাঁচের প্রশিক্ষণ ডেটাও প্রয়োজন।
- এই দুটিকে গুলিয়ে ফেললে উৎপাদনের ক্ষেত্রে একটি উপলব্ধি মডেল কী করতে পারে, তা অতিমূল্যায়ন করা হয়।
ভিএলএম কী?
ভিএলএম (ভিশন-ল্যাঙ্গুয়েজ মডেল) হলো একটি মাল্টিমোডাল নিউরাল নেটওয়ার্ক যা ইনপুট হিসেবে ছবি ও টেক্সট গ্রহণ করে এবং টেক্সট বা কাঠামোগত আউটপুট তৈরি করে। ভিএলএম-গুলোকে বিপুল পরিমাণে ছবি-টেক্সট জোড়ার ওপর প্রশিক্ষণ দেওয়া হয় এবং এগুলো ক্যাপশনিং, ভিজ্যুয়াল প্রশ্নোত্তর এবং ভিজ্যুয়াল রিজনিং-এর মতো কাজে পারদর্শী।
ভিএলএম: একটি মাল্টিমোডাল মডেল যা ভিজ্যুয়াল এবং ভাষা ইনপুট গ্রহণ করে এবং ভাষাগত বা সাংকেতিক আউটপুট তৈরি করে, যেমন ক্যাপশন, শ্রেণিবিন্যাস, বা যুক্তির শৃঙ্খল।
ভিএলএম শক্তিশালী — কিন্তু এর আউটপুট স্পেস প্রতীকী, ভৌত নয়। এটি রান্নাঘরে কী ঘটছে তা বর্ণনা করতে পারে, কোনো বস্তু শনাক্ত করতে পারে, বা কোনো দৃশ্য সম্পর্কে প্রশ্নের উত্তর দিতে পারে। এটি নিজে থেকে কোনো কিছু গ্রহণ করতে পারে না।
ভিএলএ কী?
একটি ভিএলএ (ভিশন-ল্যাঙ্গুয়েজ-অ্যাকশন) মডেল হলো একটি মাল্টিমোডাল মডেল যা দৃষ্টি ও ভাষার ইনপুট গ্রহণ করে রোবটের কার্যকলাপের ক্রম তৈরি করে। এর আউটপুট স্পেসে মোটর কমান্ড, এন্ড-ইফেক্টরের ভঙ্গি বা অ্যাকশন টোকেন অন্তর্ভুক্ত থাকে, যা ডিকোড হয়ে অবিচ্ছিন্ন নিয়ন্ত্রণ সংকেতে পরিণত হয়।
ভিএলএ: একটি রোবোটিক ভিত্তি মডেল যা টেক্সটের পরিবর্তে অ্যাকশন নির্গত করে — সাধারণত বিচ্ছিন্ন মোশন টোকেন যা একটি রোবটের ডিগ্রি অফ ফ্রিডমের সাথে ম্যাপ করা থাকে।
এই প্যারাডাইমটি প্রতিষ্ঠাকারী অন্যতম ভিত্তিপ্রস্তর পেপারগুলিতে, আরটি-২ (RT-2) রোবট প্রদর্শনী ডেটার উপর ভিশন-ল্যাঙ্গুয়েজ ব্যাকবোনগুলিকে ফাইন-টিউন করে এবং বিচ্ছিন্ন অ্যাকশন টোকেন আউটপুট করে (ডিপমাইন্ড, ২০২৩)। টেক্সট থেকে অ্যাকশনে এই আউটপুট রূপান্তরটিই হলো সম্পূর্ণ স্থাপত্যগত পার্থক্য।
VLM এবং VLA প্রশিক্ষণ ডেটার মধ্যে পার্থক্য কী?
VLM প্রশিক্ষণ ডেটা এবং VLA প্রশিক্ষণ ডেটার প্রতিটি উদাহরণের শেষে কী থাকে, তার ওপর ভিত্তি করে পার্থক্য তৈরি হয়। একটি VLM উদাহরণে একটি ছবির সাথে একটি ক্যাপশন বা প্রশ্ন-উত্তর যুক্ত থাকে। একটি VLA উদাহরণে একটি ছবির সাথে একটি নির্দেশনা এবং একটি নির্দিষ্ট রোবট মডেলের ওপর ভিত্তি করে একটি কর্মপ্রবাহ যুক্ত থাকে।
একটি কার্যকর উপমা হলো: একজন ভিএলএম (VLM) হলেন এমন একজন ক্রীড়া বিশ্লেষকের মতো, যিনি প্রতিটি খেলার পুঙ্খানুপুঙ্খ বর্ণনা দিতে পারেন কিন্তু জীবনে কখনো বল হাতে নেননি। একজন ভিএলএ (VLA) হলেন সেই খেলোয়াড়। বিশ্লেষকের দক্ষতা বাস্তব এবং কার্যকর — কিন্তু তা বল হাতে অনুশীলনের বিকল্প হতে পারে না। ভিএলএ-র প্রশিক্ষণ ডেটা হলো সেই অনুশীলনগুলো: সমন্বিত পর্যবেক্ষণ, ভাষাগত নির্দেশনা, কাজের লেবেল এবং ফলাফলের চিহ্ন, যা লক্ষ লক্ষ বার পুনরাবৃত্তি করা হয়।
রোবোটিক্সের জন্য আপনি সরাসরি ভিএলএম ব্যবহার করতে পারেন না কেন?
রোবোটিক্সের জন্য সরাসরি ভিএলএম (VLM) ব্যবহার করা যায় না, কারণ এর আউটপুট টোকেন স্পেস মোটর কমান্ডের সাথে সঙ্গতিপূর্ণ নয়। একটি ভিএলএম শব্দ আউটপুট করে; কিন্তু একটি রোবটের প্রয়োজন হয় জয়েন্ট অ্যাঙ্গেল, এন্ড-ইফেক্টর ভেলোসিটি বা গ্রিপারের অবস্থা। “কাপটি বাম দিকে আছে” এবং “কব্জিটি ৪ সেমি বামে সরান এবং গ্রিপারটি বন্ধ করুন”-এর মধ্যবর্তী শূন্যস্থানটি একটি ভিএলএ (VLA) পূরণ করে।
বাস্তবে, অনেক দল অ্যাকশন টোকেন—শব্দের মতো বিবেচিত বিচ্ছিন্ন গতি একক—দিয়ে আউটপুট শব্দভান্ডার প্রসারিত করে ভিএলএম-কে ভিএলএ-তে সূক্ষ্মভাবে রূপান্তরিত করে। এটি ভিএলএম-এর যুক্তিবোধ অক্ষুণ্ণ রাখার পাশাপাশি এটিকে কাজ করার একটি উপায়ও প্রদান করে।
অ্যাকশন টোকেন: একটি বিচ্ছিন্ন রোবট গতিকে শব্দভান্ডারের একটি ভুক্তি হিসাবে এনকোড করা হয়, যা একটি মডেল ঠিক সেভাবেই ভবিষ্যদ্বাণী করতে পারে যেভাবে এটি একটি ভাষার টোকেন ভবিষ্যদ্বাণী করে।
ধরুন, একটি লজিস্টিকস স্টার্টআপ একটি উচ্চ-মানের ভিএলএম (VLM) লাইসেন্স করে এবং ধরে নেয় যে এটি একটি পিক-অ্যান্ড-প্লেস রোবট চালাতে পারবে। মডেলটি নিখুঁতভাবে দৃশ্যপট উপলব্ধি করে, সঠিক পরিকল্পনা বর্ণনা করে, কিন্তু কোনো মোটর কমান্ড তৈরি করে না। অ্যাকশন-টোকেন প্রশিক্ষণ ছাড়া, সিস্টেমটি শুধু বর্ণনার মধ্যেই আটকে থাকে। এর উপরে ভিএলএ (VLA) ডেটা যুক্ত করাই এর বাস্তবায়নের পথ খুলে দেয়।
ভিএলএম বনাম ভিএলএ: পাশাপাশি
| মাত্রা | VLM | ভিএলএ |
|---|---|---|
| ইনপুট | ছবি + লেখা | ছবি + লেখা + (প্রায়শই) রোবট অবস্থা |
| আউটপুট | ভাষা / প্রতীকী | অ্যাকশন টোকেন / মোটর কমান্ড |
| প্রশিক্ষণ ডেটা | ছবি-লেখা জোড়া | কর্মের গতিপথ সহ পর্বগুলি |
| ব্যবহারের ক্ষেত্রে | ক্যাপশনিং, ভিকিউএ, যুক্তি | রোবোটিক্স, স্বায়ত্তশাসন, মূর্ত এআই |
| প্রতিমূর্তি | না | একটি নির্দিষ্ট রোবট বা পরিবারের সাথে যুক্ত |
| মূল্যায়ন | নির্ভুলতা, BLEU, সহায়ক মনোভাব | কাজের সাফল্য, OOD সাধারণীকরণ, নিরাপত্তা |
কখন কোনটি ব্যবহার করা উচিত?
যখন কাজটি কোনো বর্ণনা, সিদ্ধান্ত বা লিখিত উত্তরের মাধ্যমে শেষ হয়, তখন ভিএলএম (VLM) ব্যবহার করুন। যখন কাজটি কোনো শারীরিক ক্রিয়ার মাধ্যমে শেষ হয়, তখন ভিএলএ (VLA) ব্যবহার করুন।
হাইব্রিড সিস্টেমে উভয়েরই ভূমিকা থাকে। ভিএলএম (VLM) উচ্চ-স্তরের দৃশ্য অনুধাবন, কথোপকথন এবং যুক্তির কাজ সামলায়। ভিএলএ (VLA) ক্লোজড-লুপ নিয়ন্ত্রণ পরিচালনা করে। অনেক প্রোডাকশন আর্কিটেকচারে একটি ভিএলএম-কে প্ল্যানার এবং একটি ভিএলএ-কে এক্সিকিউটর হিসেবে ব্যবহার করা হয় — কখনও কখনও ডুয়াল-সিস্টেম ডিজাইনে, যেখানে উভয়ের মধ্যে ল্যাটেন্ট রিপ্রেজেন্টেশন অদলবদল করা হয়। এই পার্থক্যটি গুরুত্বপূর্ণ, কারণ তাদের জন্য মৌলিকভাবে ভিন্ন ধরনের ট্রেনিং ডেটা, মূল্যায়ন মানদণ্ড এবং কোয়ালিটি কন্ট্রোল প্রয়োজন। শাইপের মতে কম্পিউটার দৃষ্টি পরিষেবা এবং শারীরিক এআই ডেটা অপস সেই বর্ণালীর উভয় প্রান্তকেই অন্তর্ভুক্ত করে।
উপসংহার
ভিএলএম বনাম ভিএলএ কোনো প্রতিযোগিতা নয়; এটি শ্রম বিভাজন। এমবডিড এআই-এর জন্য উভয়ই অপরিহার্য, এবং উভয়ই তাদের কাজের সাথে সামঞ্জস্যপূর্ণ প্রশিক্ষণ ডেটার উপর নির্ভর করে। সঠিক মডেল বেছে নেওয়ার অর্থ হলো এটিকে সঠিক আউটপুট স্পেসের সাথে মেলানো — এবং এটিকে সমর্থন করার জন্য সঠিক ডেটাসেট স্ট্যাক নির্বাচন করা।
রোবোটিক্সে VLA বলতে কী বোঝায়?
VLA-এর পূর্ণরূপ হলো ভিশন-ল্যাঙ্গুয়েজ-অ্যাকশন; এটি এমন এক শ্রেণীর মডেল যা দৃষ্টি ও ভাষার ইনপুট গ্রহণ করে এবং রোবটের বিভিন্ন কার্যকলাপ আউটপুট হিসেবে প্রদান করে। এর অ্যাকশন অংশটিই হলো এর প্রধান বৈশিষ্ট্য — এটিই VLA-কে পূর্ববর্তী ভিশন-ল্যাঙ্গুয়েজ মডেলগুলো থেকে আলাদা করে, যেগুলো কেবল টেক্সট বা সাংকেতিক আউটপুট তৈরি করত।
একটি VLM-কে কি VLA-তে রূপান্তর করা যায়?
একটি বর্ধিত অ্যাকশন-টোকেন শব্দভান্ডারসহ রোবট প্রদর্শনের ডেটার উপর ফাইন-টিউনিং করার মাধ্যমে একটি VLM-কে VLA-তে রূপান্তরিত করা যায়। বেশিরভাগ আধুনিক VLA এইভাবেই তৈরি করা হয়, যা VLM-এর যুক্তিবোধ অক্ষুণ্ণ রেখে তাকে মোটর কমান্ড দিতে শেখায়। ফাইন-টিউনিং ধাপটির জন্য শুধু অতিরিক্ত টেক্সট নয়, বরং উচ্চ-মানের এবং অ্যাকশন-ভিত্তিক ডেটাসেট প্রয়োজন।
VLA কি শুধু ভিন্ন হেডযুক্ত একটি VLM?
একটি VLA হলো ভিন্ন হেডযুক্ত একটি VLM-এর চেয়েও বেশি কিছু। যদিও অনেক আর্কিটেকচার VLM-এর মূল কাঠামো ব্যবহার করে, VLA-গুলো অ্যাকশন ডিকোডার, এমবডিমেন্ট-অ্যাওয়্যার টোকেনাইজেশন এবং ভৌত নিয়ন্ত্রণের সাথে যুক্ত লস ফাংশন যোগ করে। কিছু ডিজাইন পরিকল্পনা এবং সম্পাদনকে পৃথক VLM ও VLA মডিউলে বিভক্ত করে, যেগুলো ল্যাটেন্ট রিপ্রেজেন্টেশন বিনিময় করে।
VLM বনাম VLA পরীক্ষার মধ্যে সবচেয়ে সহজ কোনটি?
VLM বনাম VLA যাচাই করার সবচেয়ে সহজ উপায় হলো মডেলটি কী আউটপুট দেয় তা জিজ্ঞাসা করা। যদি আউটপুটটি একটি বাক্য, ক্যাপশন, শ্রেণিবিন্যাস বা যুক্তির শৃঙ্খল হয়, তবে মডেলটি একটি VLM। আর যদি আউটপুটটি একটি মোটর কমান্ড, জয়েন্ট অ্যাঙ্গেল বা অ্যাকশন টোকেন হয় যা একটি রোবটকে চালনা করে, তবে মডেলটি একটি VLA। ইনপুট মোডালিটি নয়, বরং আউটপুট স্পেসই এই শ্রেণীকে সংজ্ঞায়িত করে।
ভিএলএ-দের কি ভিএলএম-দের চেয়ে বেশি ডেটার প্রয়োজন হয়?
মোট টোকেন সংখ্যা কম হলেও, ভিএলএম-এর তুলনায় ভিএলএ-এর জন্য সাধারণত আরও সুবিন্যস্ত ও কাঠামোগত ডেটার প্রয়োজন হয়। ভিএলএম প্রশিক্ষণে কোলাহলপূর্ণ ওয়েব-স্কেল ইমেজ-টেক্সট জোড়া ব্যবহার করা হয়। ভিএলএ প্রশিক্ষণের জন্য অ্যাকশন ট্র্যাজেক্টরি, এপিসোড পর্যায়ে ল্যাঙ্গুয়েজ অ্যালাইনমেন্ট এবং সুস্পষ্ট সফলতার লেবেল প্রয়োজন—যার সবকিছুর জন্যই কাঠামোগত ডেটা সংগ্রহ এবং অ্যানোটেশন পাইপলাইন আবশ্যক।
ভিএলএ মূল্যায়নের জন্য ভিএলএম বেঞ্চমার্কগুলো কি উপযোগী?
ভিএলএ মূল্যায়নের জন্য ভিএলএম বেঞ্চমার্কের উপযোগিতা সীমিত। ক্যাপশনিং নির্ভুলতা এবং ভিজ্যুয়াল কোয়েশ্চেন অ্যানসারিং উপলব্ধি ও যুক্তিবোধ পরিমাপ করে, নিয়ন্ত্রণ নয়। ভিএলএ মূল্যায়ন নির্ভর করে টাস্ক সফলতার হার, অজানা বস্তু ও পরিবেশে সাধারণীকরণ এবং নিরাপত্তা-স্তরযুক্ত পরিস্থিতিতে পারফরম্যান্সের উপর — এমন সব মেট্রিক যা বর্তমানে কোনো ভিএলএম বেঞ্চমার্কই পরিমাপ করতে পারে না।
