প্রতিবার যখন আমরা একটি শব্দ শুনি বা একটি পাঠ্য পড়ি, আমাদের কাছে মানুষ, স্থান, অবস্থান, মান এবং আরও অনেক কিছুর মধ্যে শব্দটিকে সনাক্ত এবং শ্রেণীবদ্ধ করার স্বাভাবিক ক্ষমতা রয়েছে। মানুষ দ্রুত একটি শব্দ চিনতে পারে, এটি শ্রেণীবদ্ধ করতে পারে এবং প্রসঙ্গ বুঝতে পারে। উদাহরণস্বরূপ, যখন আপনি 'স্টিভ জবস' শব্দটি শুনবেন, আপনি অবিলম্বে কমপক্ষে তিন থেকে চারটি বৈশিষ্ট্যের কথা ভাবতে পারেন এবং সত্তাটিকে বিভাগগুলিতে বিভক্ত করতে পারেন,
- ব্যক্তি: স্টিভ জবস
- বিভাগ: আপেল
- অবস্থান: ক্যালিফোর্নিয়া
যেহেতু কম্পিউটারের এই স্বাভাবিক ক্ষমতা নেই, তাই শব্দ বা পাঠ্য শনাক্ত করতে এবং তাদের শ্রেণীবদ্ধ করতে তাদের আমাদের সাহায্যের প্রয়োজন। এটা যেখানে নামকরণ সত্তা স্বীকৃতি (NER) খেলার মধ্যে আসে।
আসুন এনইআর এবং এনএলপির সাথে এর সম্পর্ক সম্পর্কে একটি সংক্ষিপ্ত ধারণা নেওয়া যাক।
নামকরণ সত্তা স্বীকৃতি কি?
নামকৃত সত্তা স্বীকৃতি প্রাকৃতিক ভাষা প্রক্রিয়াকরণের একটি অংশ। এর প্রাথমিক উদ্দেশ্য নেরের প্রক্রিয়া করা হয় কাঠামোগত এবং কাঠামোগত ডেটা এবং এই নামকৃত সত্তাগুলিকে পূর্বনির্ধারিত বিভাগে শ্রেণীবদ্ধ করুন। কিছু সাধারণ বিভাগে নাম, অবস্থান, কোম্পানি, সময়, আর্থিক মান, ইভেন্ট এবং আরও অনেক কিছু অন্তর্ভুক্ত।
সংক্ষেপে, NER এর সাথে ডিল করে:
- নামযুক্ত সত্তা স্বীকৃতি/শনাক্তকরণ - একটি নথিতে একটি শব্দ বা শব্দের সিরিজ সনাক্ত করা।
- নামকৃত সত্তা শ্রেণীবিভাগ - প্রতিটি শনাক্ত সত্তাকে পূর্বনির্ধারিত বিভাগে শ্রেণীবদ্ধ করা।
কিন্তু NER কিভাবে NLP এর সাথে সম্পর্কিত?
প্রাকৃতিক ভাষা প্রক্রিয়াকরণ বক্তৃতা এবং পাঠ্য থেকে অর্থ বের করতে সক্ষম বুদ্ধিমান মেশিন বিকাশে সহায়তা করে। মেশিন লার্নিং এই বুদ্ধিমান সিস্টেমগুলিকে প্রচুর পরিমাণে প্রাকৃতিক ভাষার উপর প্রশিক্ষণ দিয়ে শেখা চালিয়ে যেতে সাহায্য করে ডেটা সেট.
সাধারণত, NLP তিনটি প্রধান বিভাগ নিয়ে গঠিত:
- ভাষার গঠন ও নিয়ম বোঝা- বাক্য গঠন
- শব্দ, পাঠ্য এবং বক্তৃতার অর্থ বের করা এবং তাদের সম্পর্ক চিহ্নিত করা - শব্দার্থবিদ্যা
- কথ্য শব্দ শনাক্ত করা এবং স্বীকৃতি দেওয়া এবং সেগুলিকে পাঠ্যে রূপান্তর করা - বক্তৃতা
NER এর শব্দার্থগত অংশে সাহায্য করে NLP, শব্দের অর্থ বের করা, তাদের সম্পর্কের উপর ভিত্তি করে তাদের সনাক্ত করা এবং সনাক্ত করা।
NER এর সাধারণ উদাহরণ
একটি পূর্বনির্ধারিত সাধারণ উদাহরণ কিছু সত্তা শ্রেণীকরণ হয়:
ব্যক্তি: মাইকেল জ্যাকসন, অপরাহ উইনফ্রে, বারাক ওবামা, সুসান সারান্ডন
অবস্থান: কানাডা, হনলুলু, ব্যাংকক, ব্রাজিল, কেমব্রিজ
সংগঠন: স্যামসাং, ডিজনি, ইয়েল ইউনিভার্সিটি, গুগল
সময়: 15.35, 12 PM,
অন্যান্য বিভাগগুলির মধ্যে রয়েছে সংখ্যাসূচক মান, অভিব্যক্তি, ই-মেইল ঠিকানা এবং সুবিধা।
নামযুক্ত সত্তা স্বীকৃতিতে অস্পষ্টতা
একটি শব্দ যে বিভাগে অন্তর্ভুক্ত তা মানুষের জন্য স্বজ্ঞাতভাবে বেশ স্পষ্ট। যাইহোক, এটি কম্পিউটারের ক্ষেত্রে নয় - তারা শ্রেণীবিভাগের সমস্যার সম্মুখীন হয়। উদাহরণ স্বরূপ:
ম্যানচেস্টার শহর (সংগঠন) প্রিমিয়ার লীগ ট্রফি জিতেছে যেখানে নিম্নলিখিত বাক্যে সংগঠনটি ভিন্নভাবে ব্যবহৃত হয়েছে। ম্যানচেস্টার শহর (অবস্থান) একটি টেক্সটাইল এবং শিল্প পাওয়ার হাউস ছিল।
আপনার NER মডেলের প্রয়োজন প্রশিক্ষণ তথ্য সঠিকভাবে পরিচালনা করতে সত্তা নিষ্কাশন এবং শ্রেণীবিভাগ। আপনি যদি আপনার মডেলকে শেক্সপিয়রীয় ইংরেজিতে প্রশিক্ষণ দেন, বলা বাহুল্য, এটি ইনস্টাগ্রামের পাঠোদ্ধার করতে সক্ষম হবে না।
বিভিন্ন এনইআর পদ্ধতি
একটি প্রাথমিক লক্ষ্য NER মডেল টেক্সট নথিতে সত্তা লেবেল করা এবং তাদের শ্রেণীবদ্ধ করা। নিম্নলিখিত তিনটি পন্থা সাধারণত এই উদ্দেশ্যে ব্যবহার করা হয়. যাইহোক, আপনি এক বা একাধিক পদ্ধতিও একত্রিত করতে বেছে নিতে পারেন।
এনইআর সিস্টেম তৈরির বিভিন্ন পন্থা হল:
অভিধান ভিত্তিক সিস্টেম
অভিধান-ভিত্তিক সিস্টেম সম্ভবত সবচেয়ে সহজ এবং মৌলিক NER পদ্ধতি। এটি অনেক শব্দ, প্রতিশব্দ এবং শব্দভাণ্ডার সংগ্রহ সহ একটি অভিধান ব্যবহার করবে। সিস্টেমটি পরীক্ষা করবে যে পাঠ্যটিতে উপস্থিত একটি নির্দিষ্ট সত্তা শব্দভাণ্ডারেও উপলব্ধ কিনা। একটি স্ট্রিং-ম্যাচিং অ্যালগরিদম ব্যবহার করে, সত্তাগুলির ক্রস-চেকিং করা হয়।
এই পদ্ধতি ব্যবহার করার একটি ত্রুটি হল NER মডেলের কার্যকরী কার্যকারিতার জন্য শব্দভান্ডার ডেটাসেটকে ক্রমাগত আপগ্রেড করার প্রয়োজন রয়েছে।
বিধি-ভিত্তিক সিস্টেমগুলি
এই পদ্ধতিতে, পূর্বনির্ধারিত নিয়মগুলির একটি সেটের উপর ভিত্তি করে তথ্য বের করা হয়। নিয়মের দুটি প্রাথমিক সেট ব্যবহৃত হয়,
প্যাটার্ন ভিত্তিক নিয়ম- নাম থেকে বোঝা যায়, একটি প্যাটার্ন-ভিত্তিক নিয়ম নথিতে ব্যবহৃত একটি রূপগত প্যাটার্ন বা শব্দের স্ট্রিং অনুসরণ করে।
প্রসঙ্গ ভিত্তিক নিয়ম- প্রসঙ্গ-ভিত্তিক নিয়মগুলি নথিতে শব্দের অর্থ বা প্রসঙ্গের উপর নির্ভর করে।
মেশিন লার্নিং-ভিত্তিক সিস্টেম
মেশিন লার্নিং-ভিত্তিক সিস্টেমে, পরিসংখ্যানগত মডেলিং সত্তা সনাক্ত করতে ব্যবহৃত হয়। এই পদ্ধতিতে পাঠ্য নথির একটি বৈশিষ্ট্য-ভিত্তিক উপস্থাপনা ব্যবহার করা হয়। আপনি প্রথম দুটি পদ্ধতির বিভিন্ন ত্রুটিগুলি কাটিয়ে উঠতে পারেন যেহেতু মডেলটি চিনতে পারে৷ সত্তা প্রকার তাদের বানানে সামান্য ভিন্নতা থাকা সত্ত্বেও।
এনইআর এর আবেদন
প্রাকৃতিক ভাষা প্রক্রিয়াকরণ এবং প্রশিক্ষণ ডেটাসেট তৈরির সাথে সম্পর্কিত অনেক ক্ষেত্রে NER-এর বেশ কয়েকটি ব্যবহার-কেস রয়েছে মেশিন লার্নিং এবং গভীর জ্ঞানার্জন সমাধান NER এর কিছু অ্যাপ্লিকেশন হল:
স্ট্রীমলাইন কাস্টমার সাপোর্ট
একটি NER সিস্টেম পণ্যের নাম, স্পেসিফিকেশন, শাখার অবস্থান এবং আরও অনেক কিছুর মতো গুরুত্বপূর্ণ তথ্যের উপর ভিত্তি করে প্রাসঙ্গিক গ্রাহকের অভিযোগ, প্রশ্ন এবং প্রতিক্রিয়া সহজেই খুঁজে পেতে পারে। অভিযোগ বা প্রতিক্রিয়া যথাযথভাবে শ্রেণীবদ্ধ করা হয় এবং অগ্রাধিকার কীওয়ার্ড ফিল্টার করে সঠিক বিভাগে পাঠানো হয়।
দক্ষ মানবসম্পদ
NER হিউম্যান রিসোর্স দলগুলিকে তাদের নিয়োগ প্রক্রিয়া উন্নত করতে এবং আবেদনকারীদের জীবনবৃত্তান্তের দ্রুত সারসংক্ষেপের মাধ্যমে সময়সীমা কমাতে সাহায্য করে। NER টুলগুলি জীবনবৃত্তান্ত স্ক্যান করতে পারে এবং প্রাসঙ্গিক তথ্য বের করতে পারে - নাম, বয়স, ঠিকানা, যোগ্যতা, কলেজ এবং আরও অনেক কিছু।
উপরন্তু, HR বিভাগ কর্মীদের অভিযোগ ফিল্টার করে এবং সংশ্লিষ্ট বিভাগীয় প্রধানদের কাছে ফরোয়ার্ড করে অভ্যন্তরীণ কর্মপ্রবাহকে প্রবাহিত করতে NER সরঞ্জামগুলি ব্যবহার করতে পারে।
সরলীকৃত বিষয়বস্তুর শ্রেণীবিভাগ
বিষয়বস্তু শ্রেণীবিভাগ সংবাদ প্রদানকারীদের জন্য একটি বিশাল কাজ। বিষয়বস্তুকে বিভিন্ন শ্রেণীতে শ্রেণীবদ্ধ করা সহজতর করে আবিষ্কার করা, অন্তর্দৃষ্টি অর্জন করা, প্রবণতা শনাক্ত করা এবং বিষয়গুলি বোঝা। একজন নামধারী সত্তা স্বীকৃতি টুল সংবাদ প্রদানকারীদের জন্য কাজে আসতে পারে। এটি অনেক নিবন্ধ স্ক্যান করতে পারে, অগ্রাধিকারের কীওয়ার্ড সনাক্ত করতে পারে এবং ব্যক্তি, সংস্থা, অবস্থান এবং আরও অনেক কিছুর উপর ভিত্তি করে তথ্য বের করতে পারে।
সার্চ ইঞ্জিন অপ্টিমাইজ করা
নেরের অনুসন্ধান ফলাফলের গতি এবং প্রাসঙ্গিকতা সরলীকরণ এবং উন্নত করতে সাহায্য করে। হাজার হাজার নিবন্ধের জন্য অনুসন্ধান ক্যোয়ারী চালানোর পরিবর্তে, একটি NER মডেল একবার ক্যোয়ারী চালাতে পারে এবং ফলাফল সংরক্ষণ করতে পারে। সুতরাং, অনুসন্ধান ক্যোয়ারীতে ট্যাগের উপর ভিত্তি করে, প্রশ্নের সাথে যুক্ত নিবন্ধগুলি দ্রুত বাছাই করা যেতে পারে।সঠিক বিষয়বস্তু সুপারিশ
একটি অপ্টিমাইজড এবং কাস্টমাইজড গ্রাহক অভিজ্ঞতা প্রদানের জন্য বেশ কিছু আধুনিক অ্যাপ্লিকেশন এনইআর টুলের উপর নির্ভর করে। উদাহরণ স্বরূপ, Netflix ব্যবহারকারীদের অনুসন্ধান ও দেখার ইতিহাসের উপর ভিত্তি করে ব্যক্তিগতকৃত সুপারিশ প্রদান করে নামকৃত সত্তা শনাক্তকরণ ব্যবহার করে।
নেরের অনুসন্ধান ফলাফলের গতি এবং প্রাসঙ্গিকতা সরলীকরণ এবং উন্নত করতে সাহায্য করে। হাজার হাজার নিবন্ধের জন্য অনুসন্ধান ক্যোয়ারী চালানোর পরিবর্তে, একটি NER মডেল একবার ক্যোয়ারী চালাতে পারে এবং ফলাফল সংরক্ষণ করতে পারে। সুতরাং, অনুসন্ধান ক্যোয়ারীতে ট্যাগের উপর ভিত্তি করে, প্রশ্নের সাথে যুক্ত নিবন্ধগুলি দ্রুত বাছাই করা যেতে পারে।নামকৃত সত্তা স্বীকৃতি আপনার করে মেশিন লার্নিং মডেল আরো দক্ষ এবং নির্ভরযোগ্য। যাইহোক, আপনার মডেলগুলিকে তাদের সর্বোত্তম স্তরে কাজ করতে এবং অভিপ্রেত লক্ষ্যগুলি অর্জনের জন্য আপনার মানসম্পন্ন প্রশিক্ষণ ডেটাসেটগুলির প্রয়োজন৷ আপনার প্রয়োজন একজন অভিজ্ঞ পরিষেবা অংশীদার যিনি আপনাকে ব্যবহার করার জন্য প্রস্তুত মানসম্পন্ন ডেটাসেট সরবরাহ করতে পারেন। যদি তাই হয়, Shaip এখনও আপনার সেরা বাজি. আপনার AI মডেলগুলির জন্য দক্ষ এবং উন্নত ML সমাধানগুলি বিকাশে সহায়তা করার জন্য ব্যাপক NER ডেটাসেটের জন্য আমাদের সাথে যোগাযোগ করুন৷