আপনি কি কখনো ভেবে দেখেছেন, 'হেই সিরি' বা 'আলেক্সা' বললে কীভাবে চ্যাটবট এবং ভার্চুয়াল সহকারীরা জেগে ওঠে? এটি সফ্টওয়্যারটিতে এমবেড করা পাঠ্য উচ্চারণ সংগ্রহ বা ট্রিগার শব্দগুলির কারণে যা প্রোগ্রাম করা ওয়াক শব্দটি শোনার সাথে সাথে সিস্টেমটিকে সক্রিয় করে।
যাইহোক, শব্দ এবং উচ্চারণ ডেটা তৈরির সামগ্রিক প্রক্রিয়াটি এত সহজ নয়। এটি এমন একটি প্রক্রিয়া যা পছন্দসই ফলাফল পেতে সঠিক কৌশল সহ করা উচিত। অতএব, এই ব্লগটি আপনার কথোপকথনমূলক এআই-এর সাথে নির্বিঘ্নে কাজ করে এমন ভাল উচ্চারণ/ট্রিগার শব্দ তৈরি করার পথ ভাগ করবে।
AI-তে "Utterance" কী?
কথোপকথনমূলক AI (চ্যাটবট, ভয়েস অ্যাসিস্ট্যান্ট) তে, একটি উচ্চারণ হল ব্যবহারকারীর ইনপুটের একটি সংক্ষিপ্ত অংশ—একজন ব্যক্তি ঠিক যে শব্দগুলি বলে বা টাইপ করে। মডেলগুলি ব্যবহারকারীর উদ্দেশ্য (লক্ষ্য) এবং যেকোনো সত্তা (তারিখ, পণ্যের নাম, পরিমাণের মতো বিশদ) বের করতে উচ্চারণ ব্যবহার করে।
সহজ উদাহরণ
ই-কমার্স বট
উচ্চারণ: “আমার অর্ডার ট্র্যাক করুন 123-456. "
- উদ্দেশ্য: ট্র্যাকঅর্ডার
- সত্তা: অর্ডার_আইডি = ১২৩-৪৫৬
টেলিকম বট
উচ্চারণ: “আমার ডেটা প্ল্যান আপগ্রেড করুন. "
- উদ্দেশ্য: পরিবর্তন পরিকল্পনা
- সত্তা: plan_type = ডেটা
ব্যাংকিং ভয়েস সহকারী
উচ্চারণ (কথ্য): “Wআজ আমার চেকিং ব্যালেন্স কি?"
- উদ্দেশ্য: চেকব্যালেন্স
- সত্তা: অ্যাকাউন্ট_টাইপ = চেকিং, তারিখ = আজ
কেন আপনার কথোপকথনমূলক AI-এর ভালো উচ্চারণ ডেটার প্রয়োজন
যদি আপনি চান যে আপনার চ্যাটবট বা ভয়েস অ্যাসিস্ট্যান্ট ভঙ্গুর না হয় বরং সহায়ক হয়, তাহলে আরও ভালো উচ্চারণ ডেটা দিয়ে শুরু করুন। উচ্চারণ হল সেইসব অপ্রচলিত বাক্যাংশ যা মানুষ কাজ সম্পন্ন করার জন্য বলে বা টাইপ করে ("আগামীকালের জন্য আমার জন্য একটি ঘর বুক করুন," "আমার পরিকল্পনা পরিবর্তন করুন," "কী অবস্থা?")। এগুলি উদ্দেশ্য শ্রেণীবিভাগ, সত্তা নিষ্কাশন এবং শেষ পর্যন্ত গ্রাহকের অভিজ্ঞতাকে শক্তিশালী করে। যখন উচ্চারণগুলি বৈচিত্র্যময়, প্রতিনিধিত্বমূলক এবং সু-লেবেলযুক্ত হয়, তখন আপনার মডেলগুলি উদ্দেশ্যগুলির মধ্যে সঠিক সীমানা শিখে এবং ভারসাম্যের সাথে অগোছালো, বাস্তব-বিশ্বের ইনপুট পরিচালনা করে।
আপনার উচ্চারণ ভাণ্ডার তৈরি করা: একটি সহজ কর্মপ্রবাহ
১. প্রকৃত ব্যবহারকারীর ভাষা থেকে শুরু করুন
খনি চ্যাট লগ, সার্চ কোয়েরি, আইভিআর ট্রান্সক্রিপ্ট, এজেন্ট নোট, এবং গ্রাহক ইমেল। ব্যবহারকারীর লক্ষ্য অনুসারে এগুলিকে ক্লাস্টার করুন যাতে উদ্দেশ্যগুলি তৈরি করা যায়। (আপনি এমন কথ্যভাষা এবং মানসিক মডেলগুলি ধারণ করবেন যা আপনি কোনও ঘরে ভাবতেও পারবেন না।)
2. ইচ্ছাকৃতভাবে বৈচিত্র্য তৈরি করুন
প্রতিটি উদ্দেশ্যের জন্য, লেখক বিভিন্ন উদাহরণ দিয়েছেন:
- ক্রিয়াপদ এবং বিশেষ্যগুলিকে পুনরায় বাক্যাংশে লিখুন ("বাতিল করুন," "বন্ধ করুন," "শেষ করুন"; "পরিকল্পনা করুন," "সাবস্ক্রিপশন")।
- বাক্যের দৈর্ঘ্য এবং কাঠামো (প্রশ্ন, নির্দেশিকা, খণ্ড) মিশ্রিত করুন।
- প্রাসঙ্গিক ক্ষেত্রে টাইপো, সংক্ষিপ্ত রূপ, ইমোজি (চ্যাটের জন্য), কোড-সুইচিং অন্তর্ভুক্ত করুন।
- একই রকম দেখতে কিন্তু দেখা উচিত এমন নেতিবাচক কেস যোগ করুন না এই উদ্দেশ্যে মানচিত্র।
৩. তোমার ক্লাসের ভারসাম্য বজায় রাখো
অত্যন্ত এলোমেলো প্রশিক্ষণ (যেমন, একটি উদ্দেশ্যের জন্য ৫০০টি উদাহরণ এবং অন্যগুলির জন্য ১০টি) ভবিষ্যদ্বাণীর মানের ক্ষতি করে। রাখুন অভিপ্রায় মাপ তুলনামূলকভাবে সমান এবং ট্র্যাফিক আপনাকে শেখার মতো করে তাদের একসাথে বড় করুন।
৪. প্রশিক্ষণের আগে গুণমান যাচাই করুন
কম সংকেতযুক্ত ডেটা ব্লক করুন ভ্যালিডেটর রচনা/সংগ্রহের সময়:
- ভাষা সনাক্তকরণ: নিশ্চিত করুন যে উদাহরণগুলি লক্ষ্যবস্তু ভাষায় লেখা আছে।
- অশ্লীল ডিটেক্টর: অর্থহীন সূত্র ধরো।
- ডুপ্লিকেট/প্রায়-ডুপ্লিকেট চেক: বৈচিত্র্য উচ্চ রাখুন।
- রেজেক্স/বানান এবং ব্যাকরণ: প্রয়োজনে স্টাইল নিয়ম বলবৎ করুন।
স্মার্ট ভ্যালিডেটর (যেমন অ্যাপেন ব্যবহার করে) এই গেটকিপিংয়ের বৃহৎ অংশ স্বয়ংক্রিয় করতে পারে।
৫. ধারাবাহিকভাবে সত্তা লেবেল করুন
স্লটের ধরণ (তারিখ, পণ্য, ঠিকানা) নির্ধারণ করুন এবং টীকাকারদের দেখান সীমানা কীভাবে চিহ্নিত করবেন. নিদর্শন মত যেকোনো প্যাটার্ন করুন LUIS-এ দীর্ঘ, পরিবর্তনশীল স্প্যান (যেমন, নথির নাম) দ্ব্যর্থতা নিরসন করতে পারে যা মডেলগুলিকে বিভ্রান্ত করে।
৬. প্রোডাকশনের মতো পরীক্ষা করুন
ধাক্কা অদৃশ্য একটি ভবিষ্যদ্বাণীর শেষ বিন্দু বা স্টেজিং বটের বাস্তব উচ্চারণ, ভুল শ্রেণীবিভাগ পর্যালোচনা, এবং উন্নীত করা প্রশিক্ষণে অস্পষ্ট উদাহরণ ব্যবহার করুন। এটিকে একটি লুপ করুন: সংগ্রহ → প্রশিক্ষণ → পর্যালোচনা → প্রসারিত করুন।
"অগোছালো বাস্তবতা" আসলে কী বোঝায় (এবং কীভাবে এটি মোকাবেলা করতে হয়)
প্রকৃত ব্যবহারকারীরা খুব কমই নিখুঁত বাক্যে কথা বলেন। আশা করা যায়:
- খণ্ড: "শিপিং ফি ফেরত"
- যৌগিক লক্ষ্য: "অর্ডার বাতিল করুন এবং নীল রঙে পুনঃক্রম করুন"
- অন্তর্নিহিত সত্তা: "আমার অফিসে পাঠাও" (আপনার জানা উচিত কোন অফিস)
- অস্পষ্টতা: "আমার পরিকল্পনা পরিবর্তন করুন" (কোন পরিকল্পনা? কখন কার্যকর হবে?)
ব্যবহারিক সমাধান
- প্রদান করুন স্পষ্টীকরণের প্রম্পট শুধুমাত্র প্রয়োজনের সময়; অতিরিক্ত জিজ্ঞাসা করা এড়িয়ে চলুন।
- গ্রেপ্তার প্রসঙ্গ ক্যারিওভার ("সেই ক্রম", "শেষটি" এর মতো সর্বনাম)।
- ব্যবহার ফলব্যাক ইন্টেন্ট লক্ষ্যবস্তু পুনরুদ্ধারের সাথে: "আমি পরিকল্পনা বাতিল বা পরিবর্তন করতে সাহায্য করতে পারি - আপনি কী চান?"
- মনিটর উদ্দেশ্যমূলক স্বাস্থ্য (বিভ্রান্তি, সংঘর্ষ) এবং যেখানে দুর্বল সেখানে ডেটা যোগ করুন
ভয়েস সহকারী এবং জাগরণ শব্দ: ভিন্ন তথ্য, একই নিয়ম
কখন (এবং কীভাবে) কাস্টম ডেটা বনাম অফ-দ্য-শেল্ফ ডেটা ব্যবহার করবেন
- অফ-দ্য-শেল্ফ: নতুন লোকেলে দ্রুত কভারেজ শুরু করুন, তারপর কোথায় বিভ্রান্তি রয়ে গেছে তা পরিমাপ করুন।
- প্রথা: আপনার ডোমেন ভাষা (নীতিমালার শর্তাবলী, পণ্যের নাম) এবং "ব্র্যান্ড ভয়েস" ক্যাপচার করুন।
- ব্লেনডেড: বিস্তৃতভাবে শুরু করুন, তারপর সবচেয়ে বেশি বিচ্যুতি বা রাজস্ব প্রভাব সহ ইন্টেন্টগুলির জন্য উচ্চ-নির্ভুলতা ডেটা যোগ করুন।
আপনার যদি দ্রুত অন-র্যাম্পের প্রয়োজন হয়, তাহলে শাইপ আপনাকে প্রদান করে উচ্চারণ সংগ্রহ এবং অনেক ভাষায় অপ্রচলিত স্পিচ/চ্যাট ডেটাসেট; বহুভাষিক সহকারী রোলআউটের জন্য কেস স্টাডি দেখুন।
বাস্তবায়ন চেকলিস্ট
- উদাহরণ সহ উদ্দেশ্য এবং সত্তা সংজ্ঞায়িত করুন এবং নেতিবাচক মামলা
- লেখক বৈচিত্র্যময়, সুষম প্রতিটি উদ্দেশ্যের জন্য উচ্চারণ (ছোট করে শুরু করুন, সাপ্তাহিকভাবে বৃদ্ধি করুন)
- প্রশিক্ষণের আগে ভ্যালিডেটর (ভাষা, অর্থহীন, সদৃশ, রেজেক্স) যোগ করুন
- সেট আপ করুন পর্যালোচনা লুপ বাস্তব ট্র্যাফিক থেকে; অস্পষ্ট বিষয়গুলিকে প্রশিক্ষণে উন্নীত করুন
- রেললাইন উদ্দেশ্যমূলক স্বাস্থ্য এবং সংঘর্ষ; নতুন উচ্চারণ দিয়ে ঠিক করুন
- আগেভাগে প্রবাহ ধরার জন্য চ্যানেল/স্থান অনুসারে পুনঃমূল্যায়ন করুন।
শাইপ কীভাবে সাহায্য করতে পারে
- কাস্টম উচ্চারণ সংগ্রহ এবং লেবেলিং (চ্যাট + ভয়েস) মান উন্নত রাখতে ভ্যালিডেটরদের সাথে।
- ব্যবহার করার জন্য প্রস্তুত ডেটাসেট দ্রুত বুটস্ট্র্যাপিংয়ের জন্য ১৫০+ ভাষা/রূপ জুড়ে।
- চলমান পর্যালোচনা কর্মসূচি যা লাইভ ট্র্যাফিককে উচ্চ-সংকেত প্রশিক্ষণ ডেটাতে পরিণত করে—নিরাপদভাবে (PII নিয়ন্ত্রণ)।
আমাদের বহুভাষিক ভাষা অন্বেষণ করুন উচ্চারণ সংগ্রহের কেস স্টাডি এবং নমুনা ডেটাসেট.
