হ্যান্ড পোজ অ্যানোটেশন হলো একটি ভিডিওর প্রতিটি ফ্রেমে একটি হাত এবং তার আঙ্গুলগুলো কীভাবে নড়াচড়া করে তা চিহ্নিত করার প্রক্রিয়া, যাতে রোবটগুলো নিপুণ ও মানুষের মতো কাজ করতে শিখতে পারে। আজকের রোবটগুলো হাঁটতে, গড়াতে এবং একটি বাক্স ধরতে পারে। তারা এখনও ছোটখাটো কাজগুলোতেই হিমশিম খায় — যেমন শার্টের বোতাম লাগানো, তারের সংযোগ দেওয়া, বা না থেঁতলে একটিমাত্র আঙুর তুলে নেওয়া। শাইপ-এ আমরা এটি প্রতিদিন দেখি: ফিজিক্যাল এআই-এর কঠিন অংশটি একটি রোবটকে নড়াচড়া করতে শেখানো নয়, বরং তার হাতগুলোকে আচরণ করতে শেখানো । আর এর মূল কারণ হলো এর পেছনের হ্যান্ড-পোজ ডেটার গুণমান।
এই পোস্টে বিশেষভাবে হাতের কাজ নিয়ে বিস্তারিত আলোচনা করা হয়েছে। আপনি যদি প্রথমে সামগ্রিক চিত্রটি দেখতে চান, তাহলে আমাদের রোবট প্রশিক্ষণ ডেটা এবং ডেটা ম্যানিপুলেশন ডেটাসেট বিষয়ক নির্দেশিকাটি দিয়ে শুরু করুন — এটি সেই বিবরণের নিপুণতা বিষয়ক অধ্যায়।
রোবট চালনার ক্ষেত্রে নিপুণতাই আসল প্রতিবন্ধকতা কেন?
সূক্ষ্মতা বা নিপুণতাই মূল প্রতিবন্ধকতা, কারণ স্থূল নড়াচড়ার বিষয়টি অনেকটাই সমাধান হয়ে গেলেও আঙুলের সূক্ষ্ম নিয়ন্ত্রণ এখনও বাকি। একটি রোবটকে গ্রিপার ধরতে ও বন্ধ করতে শেখানো যায়। কিন্তু তাকে দুটি আঙুলের মধ্যে কলম ঘোরাতে, বা কাজের মাঝখানে স্ক্রুড্রাইভার পুনরায় ধরতে শেখানোটা সম্পূর্ণ ভিন্ন একটি চ্যালেঞ্জ — এবং এটি পুরোপুরি নির্ভর করে আঙুলগুলো আসলে কীভাবে নড়াচড়া করে, সেই তথ্য বা ডেটার ওপর।
আমরা ক্লায়েন্টদের কাছে বিষয়টি সহজভাবে এভাবে ব্যাখ্যা করি:
- চলাচল এবং স্থূল আঁকড়ে ধরা — বেশিরভাগ ক্ষেত্রেই কার্যকর। প্রচুর ডেটা বিদ্যমান।
- সূক্ষ্ম, বহু-আঙুলের কারসাজি — বেশিরভাগ ক্ষেত্রেই কাজ করছে না। ডেটা বলতে গেলে নেই বললেই চলে।
- ফাঁক — প্রশিক্ষণের উদাহরণ যা রেকর্ড করে প্রতিটি আঙুল কী করেছিল, কোন ক্রমে, এবং কখন বস্তুটিকে স্পর্শ করেছিল।.
শেষের লাইনটিই হলো হ্যান্ড পোজ অ্যানোটেশনের ফলাফল। এটি ছাড়া একটি রোবট জুতার ফিতা চিনতে পারলেও, কীভাবে তা বাঁধতে হয় সে সম্পর্কে তার কোনো ধারণা থাকে না।
হ্যান্ড পোজ অ্যানোটেশন বলতে ঠিক কী বোঝায়?
হ্যান্ড পোজ অ্যানোটেশন হলো কীপয়েন্ট অ্যানোটেশনের একটি রূপ, যেখানে একটি ক্লিপের প্রতিটি ফ্রেমে হাতের বিভিন্ন সন্ধি—যেমন আঙুলের গাঁট, আঙুলের অংশ, আঙুলের ডগা এবং কবজি—চিহ্নিত ও ট্র্যাক করা হয়। এটি হাতের সাধারণ ভিডিওকে নড়াচড়ার একটি পরিচ্ছন্ন ও সুসংগঠিত রেকর্ডে পরিণত করে, যা থেকে একটি মডেল শিখতে পারে।
বাস্তবে, আমাদের দলগুলো প্রতিটি হাতে চারটি জিনিস চিহ্নিত করে:
- হাতের কঙ্কাল — আঙুল এবং কব্জি জুড়ে থাকা একগুচ্ছ বিন্দু (সাধারণত ২০টিরও বেশি বিন্দুর বিন্যাস)।
- যৌথ আন্দোলন কাজটি এগোনোর সাথে সাথে সেই বিন্দুগুলো কীভাবে বাঁকতে ও ঘুরতে থাকে।
- সময়ের সাথে সাথে গতি প্রথম ফ্রেম থেকে শেষ ফ্রেম পর্যন্ত প্রতিটি বিন্দুর মসৃণ গতিপথ, শুধু বিচ্ছিন্ন কিছু ছবি নয়।
- যোগাযোগের মুহূর্তগুলি — ঠিক সেই মুহূর্তগুলো যখন একটি আঙুল কোনো বস্তুকে স্পর্শ করে, আঁকড়ে ধরে বা ছেড়ে দেয়।
এই চতুর্থ বিষয়টিতেই নিপুণতা নিহিত। হাত কোথায় আছে তা যে কেউ চিহ্নিত করতে পারে; আসল ব্যাপারটি হলো কীভাবে এবং কখন তা করা হচ্ছে, তা তুলে ধরার মধ্যে ।
ডেক্সটেরিটি অ্যানোটেশন স্ট্যান্ডার্ড কীপয়েন্ট অ্যানোটেশন থেকে কীভাবে আলাদা?
ডেক্সটেরিটি অ্যানোটেশন হলো কীপয়েন্ট অ্যানোটেশনের একটি অনেক উন্নত সংস্করণ। সাধারণ কীপয়েন্ট অ্যানোটেশনের উত্তর হলো “হাতটি কোথায়?”। ডেক্সটেরিটি অ্যানোটেশনের উত্তর হলো “প্রতিটি আঙুল কী করেছে, কোন ক্রমে, এবং কখন স্পর্শ করেছে?”—এবং একটি ম্যানিপুলেশন মডেল শুধুমাত্র এই সংস্করণটির উপরেই প্রশিক্ষণ নিতে পারে।
পাশাপাশি রাখলে পার্থক্যটি সবচেয়ে স্পষ্ট হয়:
| আমরা যা লেবেল করছি | স্ট্যান্ডার্ড কীপয়েন্ট টীকা | দক্ষতা-স্তরের হাতের ভঙ্গির টীকা |
|---|---|---|
| বিস্তারিত | প্রতি ফ্রেমে হাতের অবস্থান | প্রতিটি ফ্রেমে আঙুলের সম্পূর্ণ সঞ্চালন |
| গভীরতা | সমতল, 2D | ত্রিমাত্রিক — স্থানিক পরিসরে অস্থিসন্ধিগুলোর নড়াচড়া |
| সময় | ফ্রেম-বাই-ফ্রেম, স্বাধীন | একটি মসৃণ, অবিচ্ছিন্ন গতি |
| যোগাযোগ | কদাচিৎ লেবেলযুক্ত | ধরা, স্পর্শ করা এবং ছেড়ে দেওয়া চিহ্নিত |
| অবরোধ | প্রায়শই এড়িয়ে যাওয়া | সাবধানে অনুমান করে পূরণ করা হয়েছে |
| এটা কি জন্য ভাল | অঙ্গভঙ্গি, হাতের অনুসরণ | রোবটকে চালনা করতে শেখানো |
ডানদিকের কলামটিই আমরা শাইপে তৈরি করি, কারণ এটিই একমাত্র কলাম যা থেকে একটি দক্ষ রোবট শিখতে পারে।
কীভাবে হাতের অঙ্গভঙ্গির টীকা মানুষের ভিডিওকে রোবটের দক্ষতায় রূপান্তরিত করে?
হাতের অঙ্গভঙ্গি চিহ্নিতকরণ হলো স্বল্প খরচের মানব ভিডিও এবং ব্যয়বহুল রোবট প্রদর্শনের মধ্যেকার সেতুবন্ধন। রিটার্গেটিং হলো সেই ধাপ যা একজন ব্যক্তির চিহ্নিত হাতের নড়াচড়াকে একটি রোবটের হাতের উপর স্থাপন করে, ফলে মানব প্রদর্শনী এমন কিছুতে পরিণত হয় যা একটি রোবট অনুকরণ করতে পারে। মানুষের ভিডিও ধারণ করা সহজ এবং এর পরিধি বাড়ানো সম্ভব; কিন্তু বাস্তব রোবট প্রদর্শনী ধারণ করা ধীর এবং ব্যয়বহুল — তাই বুদ্ধিমানের কাজ হলো আমাদের কাছ থেকে রোবটকে শেখানো।
ক্লায়েন্টদের জন্য আমরা যে কার্যপ্রবাহটি পরিচালনা করি তা দেখতে এইরকম:
- রেকর্ড — কোনো ব্যক্তিকে কোনো কাজ করতে দেখার সময় তার ফার্স্ট-পার্সন (“আমার হাত যা দেখছে”) ভিডিও ধারণ করুন।
- টীকা লেখা — আঙুলের সম্পূর্ণ গতিবিধি পুনরুদ্ধার করতে প্রতিটি ফ্রেমে হাতের ভঙ্গি চিহ্নিত করুন।
- পুনরায় লক্ষ্যবস্তু নির্ধারণ করুন — সেই গতিবিধিটি রোবটের হাতে স্থাপন করুন যাতে এটি কাজটি পুনরায় করতে পারে।
একটি দরকারি উদাহরণ: একটি রান্নাঘরের রোবটকে ডিম ভাঙতে শেখানোর জন্য হাজার হাজার রোবটের অনুশীলনের প্রয়োজন নেই। আপনার প্রয়োজন মানুষের ডিম ভাঙার পরিষ্কার, সুস্পষ্টভাবে চিহ্নিত ভিডিও — এই টীকা-টিপ্পনীই সেই ফুটেজটিকে শিক্ষণযোগ্য করে তোলে।
নিপুণভাবে ডেটা পরিচালনা করার পদ্ধতি আসলে কোথায় ব্যবহৃত হয়?
যেখানেই কোনো যন্ত্রকে যত্নসহকারে ভৌত জগৎকে সামলাতে হয়, সেখানেই নিপুণতার তথ্য গুরুত্বপূর্ণ। বেশিরভাগ সার্বিক পর্যালোচনায় এই অংশটি এড়িয়ে যাওয়া হয়, তাই বিষয়টি সুনির্দিষ্টভাবে বলা প্রয়োজন। হাতের ভঙ্গি এবং নিপুণতার টীকা ফিড:
হিউম্যানয়েড ও হোম রোবট — কাপড় ভাঁজ করা, ডিশওয়াশারে জিনিসপত্র তোলা, এবং নানা আকৃতির দৈনন্দিন জিনিসপত্র নাড়াচাড়া করা।
গুদাম এবং খুচরা বিক্রয় কেন্দ্র স্বয়ংক্রিয়করণ — তাক থেকে কোনো ভঙ্গুর জিনিস ক্ষতি না করে তোলা, অথবা স্পর্শের মাধ্যমে বিভিন্ন ধরনের পণ্য আলাদা করা।
স্বাস্থ্যসেবা ও সহায়ক রোবটিক্স — পুনর্বাসন যন্ত্র এবং সহায়ক বাহু যা অবশ্যই মানুষের চারপাশে আলতোভাবে চলাচল করবে।
উৎপাদন ও মেরামত — যন্ত্রপাতির ব্যবহার, তারের সংযোগ স্থাপন, এবং ছোট যন্ত্রাংশ সংযোজন, যেখানে সামান্য মোটা মুঠো যথেষ্ট নয়।
এআর/ভিআর ও পরিধানযোগ্য ডিভাইস — স্বাভাবিক হাতের মিথস্ক্রিয়া, অঙ্গভঙ্গি নিয়ন্ত্রণ, এবং হ্যান্ড-ট্র্যাকিং ইন্টারফেস।
মূল কথাটি হলো: আঙুলের সূক্ষ্ম নড়াচড়া ধারণ করতে পারে এমন প্রশিক্ষণ ডেটা ছাড়া প্রতিটিই ব্যর্থ হয়। শাইপের গতি, ভঙ্গি এবং নিপুণতা বিষয়ক কাজগুলো এই প্রয়োজনটি মেটানোর জন্যই তৈরি করা হয়েছে।
দক্ষতার ডেটা কতটা বড় এবং কতটা ভালো হওয়া প্রয়োজন?
পরিমাণ গুরুত্বপূর্ণ, কিন্তু গুণমান আরও বেশি গুরুত্বপূর্ণ। পরিমাণের ধারণা দিতে গেলে, ২০২৫ সালে প্রকাশিত একটি যুগান্তকারী গবেষণা ডেটাসেটে ১৯৪টি দৈনন্দিন কাজের ওপর জোড়া হাতের ট্র্যাকিং সহ ৮২৯ ঘণ্টার ফার্স্ট-পার্সন ম্যানিপুলেশন ভিডিও সংগ্রহ করা হয়েছিল — এর লেখকরা এটিকে এই ধরনের বৃহত্তম নিপুণ-ম্যানিপুলেশন ডেটাসেট হিসেবে বর্ণনা করেছেন ( অ্যাপল মেশিন লার্নিং রিসার্চ, ২০২৫ )। ক্ষেত্রটি এই দিকেই এগোচ্ছে: বৃহৎ, সমৃদ্ধভাবে লেবেলযুক্ত এবং কাজ-বৈচিত্র্যপূর্ণ।
কিন্তু শুধু পরিমাণ দিয়েই একটি ভালো রোবট তৈরি করা যায় না। শাইপে আমাদের অভিজ্ঞতায়, দক্ষতার বেশিরভাগ ব্যর্থতার কারণ ডেটাসেটের আকার নয়, বরং লেবেলের গুণমান। কঠিন সমস্যাগুলো হলো বাস্তবভিত্তিক:
- লুকানো আঙুল — হাতগুলো অনবরত নিজেদের এবং হাতে ধরা বস্তুগুলোকে ঢেকে রাখে।
- দেখতে একই রকম আঙুল একটি আঙুলকে তার পাশের আঙুল বলে ভুল করা সহজ।
- দ্রুত গতি দ্রুত নড়াচড়া সবচেয়ে গুরুত্বপূর্ণ ফ্রেমগুলোকেই ঝাপসা করে দেয়।
- সময়ের সাথে সামঞ্জস্য — একটি নড়বড়ে জয়েন্ট লেবেল পুরো মোশন সিকোয়েন্সটি নষ্ট করে দিতে পারে।
এই কারণেই শাইপ-এর প্রতিটি দক্ষতা বিষয়ক প্রকল্প প্রশিক্ষিত, মানব-সম্পৃক্ত দল এবং একটি বহু-পর্যায়ের গুণমান প্রক্রিয়ার মধ্য দিয়ে পরিচালিত হয় — যেমন প্রাথমিক যাচাইকরণ, একটি আদর্শ মানের সাথে ক্রমাঙ্কন, এবং চূড়ান্ত প্রকাশ পর্যালোচনা — যেখানে প্রতিটি প্রকল্পের জন্য আন্তঃ-অ্যানোটেটর সম্মতি এবং কাজ-নির্দিষ্ট গ্রহণযোগ্যতার সীমা নির্ধারণ করা থাকে। ভুল গতিবিধি শেখা একটি রোবটের চেয়ে নির্ভুল ডেটা অনেক সস্তা।
শাইপ কীভাবে সাহায্য করে
শাইপ-এ আমরা সম্পূর্ণ প্রক্রিয়াটি পরিচালনা করি — ফার্স্ট-পার্সন এবং হিউম্যান-ডেমোনস্ট্রেশন ভিডিও সংগ্রহ করা থেকে শুরু করে, হাতের ভঙ্গি ও দক্ষতার নির্ভুল লেবেলিং, এবং আপনার দলের প্রশিক্ষণের জন্য রিটার্গেটিং-এর উপযোগী ডেটা পর্যন্ত। এই সবকিছুই একটি পরিচালিত ও যাচাইকৃত কর্মীদল দ্বারা এন্টারপ্রাইজ-গ্রেড নিরাপত্তার (ISO 27001 এবং SOC 2 Type II) অধীনে সরবরাহ করা হয়।
আমাদের ফিজিক্যাল এআই ট্রেনিং ডেটা সলিউশনগুলো দেখুন, ফার্স্ট-পার্সন ফুটেজের ডেক্সটেরিটি ডেটার জন্য আমরা কীভাবে ইগোসেন্ট্রিক ভিডিও ডেটা সংগ্রহ করি তা জানুন, অথবা ইগোসেন্ট্রিক ডেটাসেট কী , সে বিষয়ে আমাদের সহায়ক গাইডটি পড়ুন ।
হ্যান্ড পোজ অ্যানোটেশন বলতে কী বোঝায়?
হ্যান্ড পোজ অ্যানোটেশন হলো একটি ভিডিওর প্রতিটি ফ্রেমে হাতের বিভিন্ন সন্ধি—যেমন আঙুলের গাঁট, আঙুলের অংশ, আঙুলের ডগা এবং কব্জি—চিহ্নিত করা। এটি এমন কাঠামোগত ডেটা তৈরি করে যা রোবট এবং এআই মডেলকে শেখায় যে সময়ের সাথে সাথে একটি হাত কীভাবে নড়াচড়া করে এবং বস্তু ধরে।
ডেক্সটেরিটি অ্যানোটেশন স্ট্যান্ডার্ড কীপয়েন্ট অ্যানোটেশন থেকে কীভাবে আলাদা?
স্ট্যান্ডার্ড কীপয়েন্ট অ্যানোটেশন একটি হাতের অবস্থানকে ফ্রেম-বাই-ফ্রেম দ্বিমাত্রিকভাবে চিহ্নিত করে। ডেক্সটেরিটি অ্যানোটেশন গভীরতা, সময়ের সাথে মসৃণ গতি এবং লেবেলযুক্ত স্পর্শের মুহূর্ত যোগ করে—যার ফলে এমন ডেটা তৈরি হয় যা একটি রোবট সূক্ষ্ম ও বহু-আঙুলের কারসাজি শিখতে ব্যবহার করতে পারে।
হ্যান্ড-পোজ ডেটাতে রিটার্গেটিং বলতে কী বোঝায়?
রিটার্গেটিং একজন ব্যক্তির চিহ্নিত হাতের নড়াচড়াকে একটি রোবটের হাতের উপর স্থাপন করে, ফলে মানুষের করা কোনো প্রদর্শনী এমন একটি কাজে পরিণত হয় যা রোবটটি পুনরায় করতে পারে। এভাবেই প্রচুর পরিমাণে থাকা মানুষের ভিডিওকে দুর্লভ ও মূল্যবান রোবট প্রশিক্ষণ ডেটাতে রূপান্তরিত করা হয়।
কেন কর্মদক্ষতা রোবটের ক্ষমতাকে সীমিত করে?
হাতের দক্ষতা রোবটের কার্যকারিতাকে সীমিত করে, কারণ হাঁটা এবং সাধারণ কোনো কিছু ধরার মতো স্থূল কাজগুলো মূলত সমাধান করা থাকে, কিন্তু আঙুলের সূক্ষ্ম নিয়ন্ত্রণ—যেমন কোনো সরঞ্জাম পুনরায় ধরা বা কোনো ভঙ্গুর বস্তু নাড়াচাড়া করা—এর জন্য প্রয়োজনীয় প্রশিক্ষণ ডেটার অভাব রয়েছে, যা আঙুলের নড়াচড়ার ধরণকে ধারণ করে। হাতের অঙ্গভঙ্গির টীকা সেই অনুপস্থিত সংকেতটি সরবরাহ করে।
কোন শিল্পক্ষেত্রগুলো দক্ষতার ডেটা ব্যবহার করে?
হিউম্যানয়েড ও হোম রোবটিক্স, ওয়্যারহাউস ও রিটেইল অটোমেশন, স্বাস্থ্যসেবা ও সহায়ক রোবট, উৎপাদন ও মেরামত, এবং এআর/ভিআর হ্যান্ড ইন্টারঅ্যাকশন—এই সবই বাস্তব জগতের বস্তুসমূহকে নিরাপদে ও নির্ভুলভাবে পরিচালনা করার জন্য কর্মদক্ষতার তথ্যের উপর নির্ভর করে।
ডেটাসেটের আকার নাকি লেবেলের গুণমান বেশি গুরুত্বপূর্ণ?
উভয়ই গুরুত্বপূর্ণ, কিন্তু লেবেলের গুণমানই সাধারণত ফলাফল নির্ধারণ করে। বড় ডেটাসেট এক্ষেত্রে সহায়ক, তবুও বেশিরভাগ দক্ষতার ব্যর্থতার মূল কারণ হলো অসামঞ্জস্যপূর্ণ বা ভুল হ্যান্ড লেবেল — আর একারণেই শাইপ পেয়ারগুলো কঠোর, মানব-সক্রিয় গুণমান নিয়ন্ত্রণের মাধ্যমে উন্নত করা হয়।
শাইপ কি প্রথম-ব্যক্তি হাতের ভিডিও সংগ্রহ ও লেবেল করতে পারেন?
হ্যাঁ। শাইপ ISO 27001 এবং SOC 2 Type II নিয়ন্ত্রণের অধীনে ফার্স্ট-পার্সন এবং হিউম্যান-ডেমোনস্ট্রেশন ভিডিও সংগ্রহ ও টীকা সংযোজন করে নির্ভুল, রিটার্গেটিং-এর জন্য প্রস্তুত হ্যান্ড-পোজ ডেটা তৈরি করে।
