কথোপকথনমূলক এআই-এর জন্য ডেটা সংগ্রহ

কথোপকথনমূলক এআই-এর জন্য ডেটা সংগ্রহের সাথে কীভাবে যোগাযোগ করবেন

আজ, আমাদের বাড়িতে চ্যাটবট, ভার্চুয়াল সহকারী এবং আরও অনেক কিছু হিসাবে কথা বলা রোবট রয়েছে, গাড়ির সিস্টেম, পোর্টেবল ডিভাইস, হোম অটোমেশন সলিউশন ইত্যাদি। এই ডিভাইসগুলি আমরা যা বলি এবং কীভাবে বলি এবং ফলাফল পুনরুদ্ধার করে বা নির্দিষ্ট কাজগুলি সম্পাদন করে .

এবং যদি আপনি একটি সহকারী ব্যবহার করা হয়েছে সিরি বা অ্যালেক্সা, আপনি এও বুঝতে পারবেন যে তারা দিনে দিনে আরও অদ্ভুত হয়ে উঠছে। তাদের প্রতিক্রিয়াগুলি মজাদার, তারা কথা বলে, তারা স্নব করে, প্রশংসা ফিরিয়ে দেয় এবং আপনার পরিচিত কিছু সহকর্মীর চেয়ে বেশি মানবিক আচরণ করে। আমরা রসিকতা করছি না। PwC অনুযায়ী, 27% ব্যবহারকারী যারা তাদের সাম্প্রতিক গ্রাহক পরিষেবা সহযোগীর সাথে ইন্টারঅ্যাক্ট করেছেন তারা জানেন না যে তারা একজন মানুষের সাথে কথা বলছেন নাকি চ্যাটবটের সাথে।

এই ধরনের জটিল কথোপকথন ব্যবস্থা এবং ডিভাইসগুলি বিকাশ করা অত্যন্ত জটিল এবং ভয়ঙ্কর। এটি সম্পূর্ণরূপে স্বতন্ত্র বিকাশের পদ্ধতির সাথে একটি ভিন্ন বল খেলা। এই কারণেই আমরা ভেবেছিলাম যে আমাদের সহজে বোঝার জন্য আপনার জন্য এটি ভেঙে দেওয়া উচিত। সুতরাং, আপনি যদি একটি কথোপকথনমূলক এআই ইঞ্জিন বা ভার্চুয়াল সহকারী বিকাশ করতে চান তবে এই নির্দেশিকা আপনাকে স্পষ্টতা পেতে সহায়তা করবে।

কথোপকথনমূলক এআই এর তাৎপর্য

যেহেতু প্রযুক্তি নতুন ডিভাইস এবং সিস্টেমের আকারে আমাদের জীবনের একটি অবিচ্ছেদ্য দিক হয়ে উঠেছে, তাই বাধাগুলিকে ঠেলে দেওয়ার, কনভেনশন ভঙ্গ করার এবং তাদের সাথে ইন্টারঅ্যাক্ট করার নতুন উপায় নিয়ে আসার প্রয়োজন দেখা দেয়। মাউস এবং কীবোর্ডের মতো সংযুক্ত পেরিফেরালগুলি ব্যবহার করা থেকে, আমরা মাউস প্যাডগুলিতে স্যুইচ করেছি যা আরও সুবিধা প্রদান করে। তারপরে আমরা টাচস্ক্রিনে স্থানান্তরিত হয়েছি যা ইনপুট খাওয়ানো এবং কাজগুলি সম্পাদনে আরও সুবিধা দেয়।

ডিভাইসগুলি নিজেদের এক্সটেনশনে পরিণত হওয়ার সাথে সাথে, আমরা এখন ভয়েসের মাধ্যমে কমান্ডিংয়ের একটি নতুন মাধ্যম আনলক করছি। এমনকি এটি পরিচালনা করার জন্য আমাদের একটি ডিভাইসের কাছাকাছি থাকতে হবে না। আমাদের যা করতে হবে তা হল এটিকে আনলক করতে এবং আমাদের ইনপুটগুলিকে আদেশ করতে আমাদের ভয়েস ব্যবহার করুন৷ কাছাকাছি একটি রুম থেকে, গাড়ি চালানোর সময়, একই সাথে অন্য ডিভাইস ব্যবহার করার সময়, কথোপকথনমূলক AI আমাদের উদ্দেশ্যমূলক কাজগুলি নির্বিঘ্নে সম্পাদন করে। সুতরাং আমরা কোথা থেকে শুরু করব – এমএল মডেলগুলিকে প্রশিক্ষণ দেওয়ার জন্য এটি সমস্ত উচ্চ-মানের স্পিচ ডেটা দিয়ে শুরু হয়।

বক্তৃতা প্রশিক্ষণের তথ্য সংগ্রহের মূল বিষয়

কথোপকথনমূলক এআই-এর জন্য এআই প্রশিক্ষণের ডেটা সংগ্রহ করা এবং টীকা করা খুবই আলাদা. মানব আদেশের সাথে জড়িত অনেক জটিলতা রয়েছে এবং প্রভাবশালী ফলাফলের জন্য প্রতিটি দিককে অন্তর্ভুক্ত করা হয়েছে তা নিশ্চিত করার জন্য বিভিন্ন ব্যবস্থা প্রয়োগ করতে হবে। আসুন বক্তৃতা ডেটার কিছু মৌলিক বিষয়গুলি দেখুন।

প্রাকৃতিক ভাষা বোঝাপড়া (এনএলইউ)

চ্যাটবট এবং ভার্চুয়াল সহকারীর জন্য আমরা যা টেক্সট বা আদেশ করি তা বুঝতে এবং প্রতিক্রিয়া জানাতে, একটি প্রক্রিয়া বলা হয় এনএলইউ বাস্তবায়িত হয়. এটা দাঁড়ায় প্রাকৃতিক ভাষা বোঝা এবং বিভিন্ন ধরনের ইনপুট ব্যাখ্যা এবং প্রক্রিয়া করার জন্য তিনটি প্রযুক্তি ধারণা জড়িত।

  • অভিপ্রায়

    এটা সব অভিপ্রায় সঙ্গে শুরু হয়. একটি নির্দিষ্ট ব্যবহারকারী একটি কমান্ডের মাধ্যমে বোঝানো, যোগাযোগ বা অর্জন করার চেষ্টা করছে কি? ব্যবহারকারী কি তথ্য খুঁজছেন? তারা কি একটি কর্মের জন্য আপডেটের জন্য অপেক্ষা করছে? তারা কি সিস্টেম চালানোর জন্য একটি নির্দেশনা দিচ্ছে? তারা এটা কিভাবে আদেশ করছে? এটি একটি প্রশ্ন বা একটি অনুরোধ মাধ্যমে? এই সমস্ত দিকগুলি মেশিনগুলিকে যথাক্রমে বায়ুরোধী প্রতিক্রিয়াগুলির সাথে আসা উদ্দেশ্য এবং উদ্দেশ্যগুলি বুঝতে এবং শ্রেণিবদ্ধ করতে সহায়তা করে।

  • উচ্চারণ সংগ্রহ

    কমান্ডের মধ্যে পার্থক্য আছে, "নিকটতম এটিএম কোথায়?" এবং কমান্ড, "আমার কাছে একটি এটিএম খুঁজুন।" এখন মানুষ স্বীকার করবে যে উভয়ের অর্থ একই জিনিস কিন্তু মেশিনকে এই পার্থক্য দিয়ে ব্যাখ্যা করতে হবে। অভিপ্রায়ের দিক থেকে এগুলি একই কিন্তু অভিপ্রায় কীভাবে তৈরি হয়েছে তা সম্পূর্ণ আলাদা৷

    উচ্চারণ সংগ্রহ হল কার্য এবং প্রতিক্রিয়াগুলির সুনির্দিষ্ট সম্পাদনের জন্য নির্দিষ্ট লক্ষ্যগুলির দিকে বিভিন্ন উচ্চারণ এবং বাক্যাংশগুলিকে সংজ্ঞায়িত করা এবং ম্যাপ করা। প্রযুক্তিগতভাবে, ডেটা টীকা বিশেষজ্ঞরা স্পীচ ডেটা বা টেক্সট ডেটা নিয়ে কাজ করেন যাতে মেশিনগুলিকে এটি আলাদা করতে সহায়তা করে।

  • সত্তা নিষ্কাশন

    প্রতিটি বাক্যে নির্দিষ্ট শব্দ বা বাক্যাংশ রয়েছে যা গুরুত্ব বহন করে এবং এই জোরই প্রসঙ্গ এবং উদ্দেশ্যের ব্যাখ্যার দিকে পরিচালিত করে। মেশিনগুলি, যেমন তারা কঠোর ব্যবস্থার মতো, এই জাতীয় সংস্থাগুলিকে চামচ দিয়ে খাওয়ানো দরকার। উদাহরণস্বরূপ, "আমি 6 থ অ্যাভিনিউয়ের কাছে আমার গিটারের স্ট্রিংগুলি কোথায় পেতে পারি?"

    আপনি যদি বাক্যটি পরিমার্জন করেন, তাহলে খুঁজে বের করুন সত্তা এক, স্ট্রিং দুটি, গিটারটি তিনটি এবং 6 তম অ্যাভিনিউ হল 4। উপযুক্ত ফলাফল পুনরুদ্ধার করার জন্য এই সত্তাগুলিকে মেশিন দ্বারা একত্রিত করা হয় এবং এটি হওয়ার জন্য, বিশেষজ্ঞরা ব্যাকএন্ডে কাজ করেন।

আপনার কথোপকথনমূলক এআই মডেলকে দ্রুত প্রশিক্ষণ দেওয়ার জন্য অফ-দ্য-শেল্ফ ভয়েস / স্পিচ / অডিও ডেটাসেট

কথোপকথনমূলক এআই-এর জন্য সংলাপ ডিজাইন করা

এআই-এর লক্ষ্য মূলত অঙ্গভঙ্গি, ক্রিয়া এবং প্রতিক্রিয়ার মাধ্যমে মানুষের আচরণের প্রতিলিপি করা। সচেতন মানুষের মনের প্রসঙ্গ, অভিপ্রায়, সুর, আবেগ এবং অন্যান্য বিষয়গুলি বোঝার এবং সেই অনুযায়ী প্রতিক্রিয়া জানানোর সহজাত ক্ষমতা রয়েছে। কিন্তু কীভাবে মেশিনগুলি এই দিকগুলিকে আলাদা করতে পারে? 

জন্য সংলাপ ডিজাইন কথোপকথন এআই খুবই জটিল এবং আরও গুরুত্বপূর্ণ, একটি সর্বজনীন মডেল তৈরি করা বেশ অসম্ভব। প্রতিটি ব্যক্তির চিন্তাভাবনা, কথা বলার এবং প্রতিক্রিয়া জানানোর আলাদা উপায় রয়েছে। এমনকি প্রতিক্রিয়াগুলিতে, আমরা সকলেই আমাদের চিন্তাভাবনাগুলি অনন্যভাবে প্রকাশ করি। সুতরাং, মেশিনগুলিকে শুনতে হবে এবং সেই অনুযায়ী প্রতিক্রিয়া জানাতে হবে। 

যাইহোক, এটিও মসৃণ নয়। যখন মানুষ কথা বলে, তখন উচ্চারণ, উচ্চারণ, জাতিগততা, ভাষা এবং আরও অনেক কিছু আসে এবং মেশিনের পক্ষে ভুল বোঝা এবং শব্দের ভুল ব্যাখ্যা করা এবং প্রতিক্রিয়া জানানো সহজ নয়।. একজন ভারতীয়, একজন ব্রিটিশ, একজন আমেরিকান এবং একজন মেক্সিকান দ্বারা নির্দেশিত হলে একটি নির্দিষ্ট শব্দ মেশিনের দ্বারা অগণিত উপায়ে বোঝা যায়। প্রচুর ভাষা বাধা রয়েছে যা কার্যকর হয় এবং একটি প্রতিক্রিয়া সিস্টেম নিয়ে আসার সবচেয়ে ব্যবহারিক উপায় হল ভিজ্যুয়াল প্রোগ্রামিং যা ফ্লোচার্ট-ভিত্তিক। 

জন্য ডেডিকেটেড ব্লক মাধ্যমে অঙ্গভঙ্গি, প্রতিক্রিয়া এবং ট্রিগার, লেখক এবং বিশেষজ্ঞরা মেশিনকে একটি চরিত্র বিকাশে সহায়তা করতে পারে. এটি একটি অ্যালগরিদম মেশিনের মতো যা সঠিক প্রতিক্রিয়াগুলির সাথে আসতে পারে৷ যখন একটি ইনপুট খাওয়ানো হয়, তখন তথ্য সংশ্লিষ্ট কারণের মধ্য দিয়ে প্রবাহিত হয়, যা মেশিনের সরবরাহের জন্য সঠিক প্রতিক্রিয়ার দিকে পরিচালিত করে। 

বৈচিত্র্যের জন্য ডি ডায়াল করুন

যেমন আমরা উল্লেখ করেছি, মানুষের মিথস্ক্রিয়া খুব অনন্য। বিশ্বজুড়ে লোকেরা বিভিন্ন ক্ষেত্র, পটভূমি, জাতীয়তা, জনসংখ্যা, জাতি, উচ্চারণ, উচ্চারণ, উচ্চারণ এবং আরও অনেক কিছু থেকে আসে। 

একটি কথোপকথনমূলক বট বা একটি সিস্টেম সর্বজনীনভাবে কার্যকর হওয়ার জন্য, এটিকে যতটা সম্ভব বিভিন্ন প্রশিক্ষণ ডেটা দিয়ে প্রশিক্ষিত করতে হবে। উদাহরণস্বরূপ, যদি একটি মডেলকে শুধুমাত্র একটি নির্দিষ্ট ভাষা বা জাতিসত্তার বক্তৃতা ডেটা দিয়ে প্রশিক্ষণ দেওয়া হয়, তাহলে একটি নতুন উচ্চারণ সিস্টেমকে বিভ্রান্ত করবে এবং ভুল ফলাফল দিতে বাধ্য করবে। এটি শুধুমাত্র ব্যবসার মালিকদের জন্য বিব্রতকর নয় কিন্তু ব্যবহারকারীদের জন্যও অপমানজনক। 

সেই কারণেই উন্নয়ন পর্বে সমস্ত সম্ভাব্য ব্যাকগ্রাউন্ডের লোকেদের সমন্বয়ে বিভিন্ন ডেটাসেটের সমৃদ্ধ পুল থেকে AI প্রশিক্ষণের ডেটা অন্তর্ভুক্ত করা উচিত। আপনার সিস্টেম যত বেশি উচ্চারণ এবং জাতিগততা বোঝে, এটি তত বেশি সর্বজনীন হবে। এছাড়াও, ব্যবহারকারীদের যা বিরক্ত করবে তা হল তথ্যের ভুল পুনরুদ্ধার নয় কিন্তু প্রথমে তাদের ইনপুট বুঝতে ব্যর্থতা। 

পক্ষপাত দূর করা একটি প্রধান অগ্রাধিকার হওয়া উচিত এবং কোম্পানিগুলি এটি করতে পারে এমন একটি উপায় হল ক্রাউডসোর্সড ডেটা বেছে নেওয়া। আপনি যখন আপনার বক্তৃতা ডেটা বা পাঠ্য ডেটা ক্রাউডসোর্স করেন, তখন আপনি সারা বিশ্বের লোকেদের আপনার প্রয়োজনীয়তাগুলিতে অবদান রাখার অনুমতি দেন, যা আপনার ডেটা পুলকে শুধুমাত্র স্বাস্থ্যকর করে তোলে (আমাদের পড়ুন ব্লগ ক্রাউডসোর্স কর্মীদের আউটসোর্সিং ডেটার সুবিধা এবং ক্ষতিগুলি বোঝার জন্য)। এখন, আপনার মডেল বিভিন্ন উচ্চারণ এবং উচ্চারণ বুঝবে এবং সেই অনুযায়ী প্রতিক্রিয়া জানাবে। 

দ্য ফরোয়ার্ড

কথোপকথনমূলক এআই বিকাশ করা একটি শিশুকে বড় করার মতোই কঠিন। একমাত্র পার্থক্য হল যে শিশুটি অবশেষে জিনিসগুলি বুঝতে এবং স্বায়ত্তশাসিতভাবে যোগাযোগ করতে আরও ভাল হয়ে উঠবে। এটি এমন মেশিন যা ধারাবাহিকভাবে ধাক্কা দেওয়া দরকার। বর্তমানে এই স্থানটিতে বেশ কয়েকটি চ্যালেঞ্জ রয়েছে এবং আমাদের এই সত্যটি স্বীকার করা উচিত যে এই চ্যালেঞ্জগুলি সত্ত্বেও আমাদের কাছে কিছু বিপ্লবী কথোপকথনমূলক এআই সিস্টেম রয়েছে। আসুন অপেক্ষা করুন এবং দেখুন আমাদের বন্ধুত্বপূর্ণ প্রতিবেশী চ্যাটবট এবং ভার্চুয়াল সহকারীর জন্য ভবিষ্যতে কী আছে। এদিকে, আপনি যদি আপনার ব্যবসার জন্য Google Home এর মত কথোপকথনমূলক AI পেতে চান, আপনার এআই প্রশিক্ষণের ডেটা এবং টীকা প্রয়োজনের জন্য আমাদের সাথে যোগাযোগ করুন.

সামাজিক ভাগ