স্বয়ংক্রিয় বক্তৃতা স্বীকৃতির জন্য উচ্চমানের অডিও ডেটা কীভাবে সংগ্রহ করবেন

সঠিক ASR (স্বয়ংক্রিয় বক্তৃতা স্বীকৃতি) সঠিক তথ্য দিয়ে শুরু হয় - "আরও" তথ্য দিয়ে নয়। আপনার সংগ্রহ পরিকল্পনাটি প্রকৃত ব্যবহারকারীরা কীভাবে কথা বলে তা প্রতিফলিত করা উচিত: উচ্চারণ এবং উপভাষা, পটভূমির শব্দ, ডিভাইস মাইক, চ্যানেল কোডেক এবং এমনকি লোকেরা বাক্যের মাঝখানে কীভাবে ভাষা পরিবর্তন করে। এই নির্দেশিকাটি অডিও সংগ্রহ, লেবেল এবং পরিচালনা করার জন্য একটি ব্যবহারিক, গোপনীয়তা-প্রধান প্রক্রিয়ার মধ্য দিয়ে যায় যা মডেল (এবং সম্মতি দল) বিশ্বাস করতে পারে।

স্পিচ রিকগনিশন মডেলের জন্য অডিও সংগ্রহের প্রক্রিয়া

১) ডেটা লক্ষ্য নির্ধারণ করুন (রেকর্ড করার আগে)

মডেলটিকে কী বুঝতে হবে এবং কোন পরিস্থিতিতে তা নির্ধারণ করুন। একটি আঁটসাঁট সুযোগ অপচয় সংগ্রহ রোধ করে এবং QA পরিমাপযোগ্য করে তোলে।

• ব্যবহারের ক্ষেত্রে: ডিকটেশন, যোগাযোগ-কেন্দ্র, কমান্ড, মিটিং, আইভিআর
• ভাষা/উপভাষা এবং প্রত্যাশিত কোড সুইচিং
• চ্যানেল এবং পরিবেশ: ফোন, অ্যাপ/ডেস্কটপ, দূর-ক্ষেত্র; নীরব বনাম কোলাহলপূর্ণ
• লক্ষ্য মেট্রিক্স: WER/CER, সত্তার নির্ভুলতা, ডায়েরাইজেশন, ল্যাটেন্সি (যদি স্ট্রিমিং হয়)
• বিতরণযোগ্য: এক পৃষ্ঠার ডেটা স্পেক সবাই স্বাক্ষর করে

২) নমুনা পরিকল্পনা: কে, কোথায়, কত

স্পিকার, উচ্চারণ, ডিভাইস এবং শব্দের ভারসাম্য বজায় রাখুন যাতে ফলাফল সাধারণীকরণ করা যায় এবং ন্যায্য থাকে। প্রতি "স্লাইস" এর জন্য আগে থেকেই ঘন্টা পরিকল্পনা করুন।

• বক্তার বৈচিত্র্য: অঞ্চল, বয়সসীমা, লিঙ্গ, বক্তৃতা হার
• প্রতি উপভাষায় উচ্চারণের কোটা (যেমন, প্রতিটি ১০-১৫%)
• উচ্চারণের মিশ্রণ: পড়া, কথ্য, কমান্ড/কোয়েরি
  
• শব্দভান্ডারের উপর জোর: ডোমেন পদ, সংখ্যা/তারিখ/ইউনিট
• স্তর: ডিভাইস × পরিবেশ × উচ্চারণ সর্বনিম্ন ঘন্টা সহ

৩) সম্মতি, গোপনীয়তা এবং সম্মতি

কাউকে জাহাজে নেওয়ার আগে অনুমতি এবং ডেটা হ্যান্ডলিং লক করুন। PII/PHI কে একটি পৃথক, নিয়ন্ত্রিত সম্পদ হিসেবে বিবেচনা করুন।

• স্পষ্ট সম্মতি (উদ্দেশ্য, ধরে রাখা, শেয়ার করা, অপ্ট-আউট)
• পরিচয় বাতিল করা তাড়াতাড়ি; রি-আইডি কী আলাদাভাবে সংরক্ষণ করুন
• আবাসন ও আইন: HIPAA/GDPR/স্থানীয় নিয়ম
• অ্যাক্সেস: সর্বনিম্ন-সুবিধা + অডিট ট্রেইল

৪) রেকর্ডিং সেটআপ এবং প্রোটোকল

ধারাবাহিক ক্যাপচার লেবেলের শব্দ কমায় এবং মডেলের মান বাড়ায়। হার্ডওয়্যার, সেটিংস এবং পরিস্থিতি মানসম্মত করে।

• হার্ডওয়্যার: অনুমোদিত ফোন/মাইক্রোফোন; লগ তৈরি/মডেল
  
• সেটিংস: WAV/FLAC, মনো, ১৬-বিট, ১৬ কিলোহার্টজ+
  দৃশ্য: শান্ত বেসলাইন + নিয়ন্ত্রিত শব্দ (ক্যাফে, ট্র্যাফিক, অফিস)
• প্রম্পট: স্ক্রিপ্ট, রোল-প্লে, কমান্ড তালিকা
• অপারেটরের নোট: মাইকের দূরত্ব, ঘরের আকার, বসার জায়গা

৫) গুরুত্বপূর্ণ মেটাডেটা

দুর্দান্ত মেটাডেটা আপনার ডেটাসেটকে পুনঃব্যবহারযোগ্য এবং ডিবাগযোগ্য করে তোলে। আপনি যা ব্যবহার করবেন কেবল তা ক্যাপচার করুন।

• ভাষা/স্থানীয়, অ্যাকসেন্ট ট্যাগ, ডিভাইস/ওএস, মাইকের ধরণ
• পরিবেশ, SNR অনুমান, চ্যানেল (PSTN/VoIP)
• ছদ্মনামযুক্ত স্পিকার ক্ষেত্র (বয়সসীমা, অঞ্চল, সম্মতি সংস্করণ)
• ফাইলের নামকরণ: _ _ _ _ _ _ .wav সম্পর্কে

৬) টীকা নির্দেশিকা এবং সরঞ্জাম

সামঞ্জস্যপূর্ণ লেবেলগুলি বৃহত্তর ডেটাসেটগুলিকে ছাড়িয়ে যায়। একটি সংক্ষিপ্ত, সংস্করণযুক্ত স্টাইল গাইডের সাথে আলোচনা করা যায় না।

• নিয়ম: কেসিং, বিরামচিহ্ন, সংখ্যাসূচক, দ্বিধা, ওভারল্যাপ
• ট্যাগ: কোড-সুইচ মার্কার, বিশেষ্য-বিশেষ্য অভিধান, স্থানীয় বানান
• ডায়ারাইজেশন ওয়ার্কফ্লো: বাঁক ঠিক করুন, ওভারল্যাপ চিহ্নিত করুন; শব্দ টাইমস্ট্যাম্প
• সরঞ্জাম: হটকি, QA প্যানেল, লেক্সিকন প্রম্পট

৭) গুণমান নিশ্চিতকরণ (বহু-স্তর)

আপনি যা পারেন তা স্বয়ংক্রিয় করুন, তারপর মানুষের সাথে নমুনা নিন। চুক্তি ট্র্যাক করুন এবং হটস্পটগুলি তাড়াতাড়ি ঠিক করুন।

• স্বয়ংক্রিয় গেট: বিন্যাস, ক্লিপিং/নীরবতা, সময়কাল, মেটাডেটা সম্পূর্ণতা
• মানব QA: ডুয়াল ট্রান্সক্রাইব + ফয়সালা; ট্র্যাক আইএএ
  
• সোনার সেট (২-৫%): বেঞ্চমার্ক বিক্রেতা/টীকাকারদের বিশেষজ্ঞ লেবেল
• মেট্রিক্স: WER/CER (উচ্চারণ/ডিভাইস/শব্দ অনুসারে), সত্তা এবং ডায়ারাইজেশন নির্ভুলতা, শৈলী সম্মতি

৮) ট্রেন/ভ্যাল/টেস্ট স্প্লিট যা লিক হয় না

সঠিক স্কোর পেতে স্পিকারগুলিকে আলাদা আলাদা করে রাখুন। পরীক্ষায় "কঠিন" অবস্থার ভারসাম্য বজায় রাখুন।

• স্পিকার স্তরের বিচ্ছেদ (কোনও ক্রস-স্প্লিট স্পিকার নেই)
• সুষম উচ্চারণ/ডিভাইস/শব্দ অনুপাত
• কঠিন কেস: কম SNR, ওভারল্যাপ, দ্রুত বক্তৃতা, ভারী কোড-সুইচিং, জার্গন স্ট্রেস পরীক্ষা

৯) নিরাপদ সংরক্ষণ এবং শাসনব্যবস্থা

স্পিচ ডেটা সংবেদনশীল—এটিকে সোর্স কোড এবং PII-এর মতো পরিচালনা করুন।

• বিশ্রামের সময়/ট্রানজিটের সময় এনক্রিপ্ট করুন; অডিও/টেক্সট থেকে PII আলাদা করুন
• RBAC, টাইম-বক্সড ভেন্ডর অ্যাক্সেস, অডিট লগ
• জীবনচক্র: ধরে রাখা, মুছে ফেলার কর্মপ্রবাহ, পুনরায় লেবেলের জন্য সংস্করণকরণ

১০) প্যাকেজিং এবং ডেলিভারি

মডেলারদের জন্য ড্রপ প্লাগ-এন্ড-প্লে তৈরি করুন যাতে তারা দ্রুত পুনরাবৃত্তি করে।

• বান্ডিল: অডিও + ট্রান্সক্রিপ্ট (JSON/CSV), শব্দের টাইমস্ট্যাম্প, স্পিকার লেবেল, কনফিডেন্স
• ডেটা কার্ড: পদ্ধতি, জনসংখ্যা, সীমাবদ্ধতা, QA পরিসংখ্যান, লাইসেন্স
• চেঞ্জলগ: নতুন কী (উচ্চারণ/ডিভাইস, নির্দেশিকা আপডেট)

ছোট চেকলিস্ট