কম্পিউটার ভিশন ডেটাসেট

নতুন ছবি ও ভিডিও ডেটাসেট যুক্ত করে শাইপ তার কম্পিউটার ভিশন ডেটা ক্যাটালগ সম্প্রসারিত করেছে

বেশিরভাগ কম্পিউটার ভিশন প্রজেক্ট মডেল পর্যায়ে আটকে যায় না। এগুলো আটকে যায় ডেটা পর্যায়ে। দলগুলোর কাছে আর্কিটেকচার, কম্পিউট এবং ইঞ্জিনিয়ার থাকা সত্ত্বেও, তারা এমন ছবি ও ভিডিও খুঁজে বের করতে মাসের পর মাস সময় ব্যয় করে যা তাদের মডেলের প্রোডাকশন পর্যায়ের শর্তগুলোর সাথে মেলে। এই ডেটা সংগ্রহের সমস্যাটি সমাধান করার জন্যই আমাদের কম্পিউটার ভিশন ডেটা ক্যাটালগটি তৈরি হয়েছে, এবং আমরা সম্প্রতি এটিকে আরও অনেক বড় করেছি। ক্যাটালগের প্রতিটি বিভাগে নতুন ছবি ও ভিডিও ডেটাসেট যুক্ত করা হয়েছে, যার মধ্যে রয়েছে ফেস বায়োমেট্রিক্স ও অ্যান্টি-স্পুফিং থেকে শুরু করে ওসিআর, ফ্যাশন, ইন্ডাস্ট্রিয়াল ইন্সপেকশন এবং লং-ফর্ম ভিডিও।

টিমগুলো ভিজ্যুয়াল ডেটা সংগ্রহ না করে কেন তার লাইসেন্স নেয়

অভ্যন্তরীণভাবে একটি ডেটাসেট তৈরি করা কদাচিৎ দুই সপ্তাহের কাজ হয়। সঠিক জনতাত্ত্বিক বৈশিষ্ট্যসম্পন্ন অংশগ্রহণকারী সংগ্রহ করা, ডেটা সংগ্রহ করা, সম্মতি গ্রহণ, এবং তারপর ব্যবহারযোগ্য মানে ডেটা টীকাযুক্ত করতে একটিমাত্র ট্রেনিং রান শুরু হওয়ার আগেই পুরো এক চতুর্থাংশ সময় লেগে যেতে পারে। একটি বিদ্যমান ডেটাসেটের লাইসেন্স নিলে এই পুরো প্রক্রিয়াটি একটি আলোচনা এবং একটি চুক্তির মধ্যে সীমাবদ্ধ হয়ে যায়। এটি কোনো হাইপোথিসিস পরীক্ষা করার খরচও কমিয়ে দেয়। যদি কোনো মডেল কাজ করার জন্য একটি নির্দিষ্ট ধরনের ডেটার প্রয়োজন হয়, তবে নিজেরা ছয় মাস ধরে ডেটা সংগ্রহ করার পর তা জানার চেয়ে, প্রথম সপ্তাহেই লাইসেন্স করা ডেটা দিয়ে তা জেনে নেওয়া অনেক ভালো।

বিভাগ অনুযায়ী নতুন কী আছে

এই আপডেটটি ক্যাটালগের নয়টি ডেটাসেট ক্যাটাগরিকেই প্রভাবিত করে। নিচে প্রতিটির উল্লেখযোগ্য দিকগুলো তুলে ধরা হলো।

অ্যান্টি-স্পুফিং

অ্যান্টি-স্পুফিং

তিনটি ভিডিও ডেটাসেট এখন সেই ধরনের আক্রমণগুলোকে অন্তর্ভুক্ত করে, যেগুলোর সম্মুখীন লাইভনেস সিস্টেমগুলো বাস্তবে হয়ে থাকে: ৪,৮৩৬টি ভিডিও জুড়ে ৩ডি মাস্ক এবং মেকআপ-ভিত্তিক ছদ্মবেশ, ৫০ জন অংশগ্রহণকারীর মাস্ক ও রিপ্লে আক্রমণ, এবং ১১,৪৬৬টি ভিডিওর একটি বৃহত্তর রিয়েল-ভার্সেস-রিপ্লে সংগ্রহ। সবগুলোই টীকা ছাড়া সরবরাহ করা হয়, যা প্রি-ট্রেনিং এবং বেঞ্চমার্ক মূল্যায়নের জন্য উপযুক্ত, এবং অনুরোধের ভিত্তিতে বিশেষজ্ঞ লেবেলিং উপলব্ধ আছে।

আরও জানুন
মুখমণ্ডল এবং শরীরের অঙ্গপ্রত্যঙ্গ শনাক্তকরণ

মুখমণ্ডল এবং শরীরের অঙ্গপ্রত্যঙ্গ শনাক্তকরণ

এটিই এই রিফ্রেশের সবচেয়ে গভীর অংশ। নতুন সংযোজনগুলোর মধ্যে রয়েছে ১০ মিলিয়ন ছবির একটি ফেস রিকগনিশন ডেটাসেট, ৪৪,০০০ ছবির একটি এশীয় মুখের সংগ্রহ, ৬,০০০-এর বেশি পরিচয় কভার করা ৭০,০০০ ছবির একটি সেলফি ও অফিসিয়াল আইডি ডেটাসেট, এবং বিশ্বজুড়ে ২,০০০ অংশগ্রহণকারীর কাছ থেকে সংগৃহীত তথ্যের ভিত্তিতে তৈরি ২৪,০০০ ছবির একটি স্মার্টফোন পাম রিকগনিশন সেট। দুটি হিস্টোরিক্যাল ডেটাসেট সিন্থেটিক এজিং-এর পরিবর্তে আসল ছবি ব্যবহার করে ছয় মাস থেকে দশ বছরেরও বেশি সময় ধরে প্রকৃত বার্ধক্যকে ধারণ করে, যা বয়স-অপরিবর্তনীয় শনাক্তকরণ এবং KYC-এর জন্য গুরুত্বপূর্ণ। একটি কিডস এজ প্রগ্রেশন ডেটাসেট এবং একটি সিন্থেটিক চিলড্রেনস ফেসেস ডেটাসেট একটি বহুল আলোচিত ঘাটতি পূরণ করে: বয়স শনাক্তকরণ এবং ডিপফেক প্রতিরোধের ডেটা থেকে শিশুরা মূলত অনুপস্থিত, এবং এই সিন্থেটিক সেটটি কোনো বাস্তব ব্যক্তির ডেটা ব্যবহার না করেই জনসংখ্যার পরিধি বিস্তৃত করে।

আরও জানুন
পরিবেশ এবং দৃশ্য বিভাজন

পরিবেশ এবং দৃশ্য বিভাজন

স্বয়ংক্রিয় ড্রাইভিং এবং স্মার্ট-সিটি টিমগুলো এখানে বিপুল পরিমাণে কাজ পায়: ১১৫,৩০০টি ছবিতে চালনাযোগ্য এলাকা বিভাজন, ৩৫টি রোড-মার্কিং ক্যাটাগরি জুড়ে ১৩৫,৩০০টি ছবিতে লেন লাইন বিভাজন, এবং ৮৭,৮০০টি ছবিতে পথচারী চলার পথ বিভাজন। এগুলোর পাশাপাশি রয়েছে সিসিটিভি ট্র্যাফিক সিন, প্যানোপটিক রোড ও বিল্ডিং সিন, ইনডোর অবজেক্ট সেগমেন্টেশন এবং অস্বাভাবিকতা ও কার্যকলাপ শনাক্তকরণের জন্য ১০,০০০ ক্লিপের একটি হোম সিকিউরিটি ক্যামেরা কালেকশন।

আরও জানুন
ভাষা এবং পাঠ্য (ocr)

ভাষা এবং পাঠ্য (OCR)

নতুন সংযোজনগুলোর মধ্যে আরবি এবং চীনা ভাষার প্রাধান্য রয়েছে। এগুলোর মধ্যে অন্তর্ভুক্ত রয়েছে পাবলিক আর্কাইভ এবং কর্মরত ক্যালিগ্রাফারদের কাছ থেকে সংগৃহীত ২৫,০০০ আরবি ক্যালিগ্রাফির ছবি, ১৫,০০০ হাতে লেখা ও স্ক্যান করা আরবি নথি, আরবি লেখা সম্বলিত ১০,০০০ রাস্তা ও দোকানের সাইনবোর্ড, এবং বই, জার্নাল ও জননীতি বিষয়ক উপকরণ নিয়ে গঠিত একটি চীনা প্রকাশনা লাইব্রেরি। এটি এমন সব লিপিতে দৃশ্য থেকে লেখা শনাক্তকরণ, হস্তাক্ষর স্বীকৃতি এবং নথি ডিজিটাইজ করার জন্য উপযোগী, যেগুলোর ক্ষেত্রে বেশিরভাগ ওপেন ডেটাসেট পর্যাপ্ত পরিষেবা দেয় না।

আরও জানুন
পোশাক এবং ফ্যাশন

পোশাক এবং ফ্যাশন

রিটেইল এবং ই-কমার্স মডেলগুলো বিশ লক্ষ ছবির একটি পোশাক শ্রেণীকরণ সেট, ৮০ ধরনের পোশাককে অন্তর্ভুক্ত করে দশ লক্ষ ছবির একটি কীপয়েন্ট সেট, পাঁচ লক্ষ সেগমেন্টেশন ছবি, ১১টি উপাদান বিভাগ জুড়ে কাপড়ের শ্রেণীকরণ, এবং ১৬টি বিভাগ ও দুই লক্ষেরও বেশি SKU সমন্বিত একটি ই-কমার্স পণ্য ডেটাসেট ব্যবহার করতে পারে।

আরও জানুন
অঙ্গভঙ্গি, ভঙ্গি এবং কার্যকলাপ

অঙ্গভঙ্গি, ভঙ্গি এবং কার্যকলাপ

নতুন সংযোজনগুলোর মধ্যে রয়েছে ১০,০০০ স্মার্ট-হোম অ্যাক্টিভিটির ছবি, মিশ্র আলোতে দরজার সামনে ও ভেতরের কার্যকলাপ সম্বলিত ১০,০০০ হোম-অ্যাক্টিভিটি ভিডিও, ২১,০০০ অঙ্গভঙ্গির ছবি, একটি ২১-পয়েন্টের হাতের কঙ্কালের কীপয়েন্ট সেট, এবং ১৪টি স্বতন্ত্র ভঙ্গিমা সম্বলিত একটি পসচার ক্লাসিফিকেশন ডেটাসেট।

আরও জানুন
মেশিন এবং শিল্প

মেশিন এবং শিল্প

বীমা এবং উৎপাদন খাতের ব্যবহারিক ক্ষেত্রগুলো এতে ভালোভাবে অন্তর্ভুক্ত: ৪৮,০০০টি ক্ষতিগ্রস্ত গাড়ির ৩৬০-ডিগ্রি ওয়াকঅ্যারাউন্ড ভিডিও, টীকাযুক্ত ক্ষতিগ্রস্ত গাড়ির ছবির সেট, মার্কিন যুক্তরাষ্ট্র, কানাডা এবং মেক্সিকোর লাইসেন্স প্লেটের সংগ্রহ, গাড়ির ভেতর থেকে তোলা চালকের আচরণের ছবি, ১,২০,০০০টি যন্ত্রাংশের ত্রুটির ছবি, এবং ১০টি ভিন্ন পরিস্থিতিতে শ্রেণীবদ্ধ করা ৪১,০০০টি শিল্প গলানোর আগুনের শিখার ছবি।

আরও জানুন
বস্তু এবং কনট্যুর বিভাজন

বস্তু এবং কনট্যুর বিভাজন

দুটি উল্লেখযোগ্য সংযোজন হলো: শেফদের দ্বারা তৈরি এবং মাল্টিমোডাল ও এলএলএম প্রশিক্ষণের উদ্দেশ্যে নির্মিত ১৫,০০০ ছবির একটি খাদ্য, রেসিপি ও রান্নার ডেটাসেট, এবং শেলফ পর্যবেক্ষণ, এসকেইউ শনাক্তকরণ ও স্বয়ংক্রিয় চেকআউটের জন্য উপযুক্ত একটি মুদি পণ্যের ছবির সংগ্রহ।

আরও জানুন
বৃহৎ পরিসরে ভিডিও বিভাজন

বৃহৎ পরিসরে ভিডিও

যেসব দল ভিডিও এবং মাল্টিমোডাল মডেলকে প্রশিক্ষণ দেয়, তাদের জন্য 'অন্যান্য ডেটাসেট' বিভাগে এখন বিপুল পরিমাণ ডেটা রয়েছে: ২,৪০,০০০ ইউটিউব ভিডিও জুড়ে ৮০,০০০ ঘণ্টার শিশুদের কন্টেন্ট, ৫০০ ঘণ্টার স্বল্পদৈর্ঘ্য চলচ্চিত্র, তথ্যচিত্র এবং বিয়ের ফুটেজ, ২০,০০০-এরও বেশি স্বতন্ত্র মুখ সম্বলিত ৫০০ ঘণ্টার ঐতিহাসিক তথ্যচিত্র, আটটি দেশ জুড়ে থাকা একজন তথ্যচিত্র নির্মাতার সংগ্রহ থেকে ৩,০০০ ঘণ্টা, এবং ১,০০০ ঘণ্টার মার্শাল আর্ট ফাইট।

আরও জানুন

এই কম্পিউটার ভিশন ডেটাসেটগুলি কীভাবে তৈরি করা হয়

ক্যাটালগের প্রতিটি ডেটাসেট অবদানকারীর সম্মতিক্রমে নৈতিকভাবে সংগ্রহ করা হয় এবং GDPR ও অন্যান্য বৈশ্বিক গোপনীয়তার মানদণ্ড মেনে পরিচালনা করা হয়, যেখানে প্রয়োজন অনুযায়ী ডি-আইডেন্টিফিকেশনের ব্যবস্থা থাকে। ডেটাসেটগুলো মেটাডেটা সংযুক্ত অবস্থায় JSON, CSV বা XML-এর মতো স্ট্যান্ডার্ড ফরম্যাটে সরবরাহ করা হয়, ফলে এগুলো কোনো রূপান্তর ধাপ ছাড়াই বিদ্যমান ট্রেনিং পাইপলাইনে যুক্ত করা যায়। কোনো ডেটাসেট অ্যানোটেশন ছাড়া পাঠানো হলে, আমাদের অ্যানোটেশন টিম আপনার নির্দিষ্ট নির্দেশনা অনুযায়ী সেটিকে লেবেল করে দিতে পারে। আর ক্যাটালগে আপনার প্রয়োজনীয় ডেটাসেটটি হুবহু না থাকলে, আমরা তা সংগ্রহ করে দিতে পারি। 

কোথা হতে শুরু

বিভাগ অনুযায়ী ক্যাটালগটি ব্রাউজ করুন এবং প্রাসঙ্গিক মনে হলে একটি নমুনার জন্য অনুরোধ করুন। আপনার প্রয়োজন যদি সুনির্দিষ্ট হয়, যেমন কোনো জনতাত্ত্বিক বিভাজন, আলোর অবস্থা বা কোনো বিশেষ বস্তুর শ্রেণি, তবে আমাদের জানান এবং আমরা হয় আপনাকে সবচেয়ে উপযুক্তটি দেখিয়ে দেব অথবা আপনার জন্য একটি কাস্টম সংগ্রহ তৈরি করে দেব। ক্রমাগত নতুন ডেটাসেট যুক্ত করা হচ্ছে, তাই মাঝে মাঝে দেখে নেওয়া ভালো।

এই নিবন্ধটি কি আপনার ভালো লেগেছে? আরও আপডেটের জন্য লিঙ্কডইনে শাইপকে অনুসরণ করুন।

সামাজিক ভাগ