এলএলএম ও এআই প্রশিক্ষণের জন্য লাইসেন্সপ্রাপ্ত টেক্সট ডেটাসেট

এলএলএম এবং এনএলপি প্রশিক্ষণের জন্য লাইসেন্সপ্রাপ্ত টেক্সট ডেটাসেট

শাইপ-এর টেক্সট ডেটা ক্যাটালগ এআই টিমগুলোকে লার্জ ল্যাঙ্গুয়েজ মডেল (এলএলএম) এবং এনএলপি সিস্টেমের প্রশিক্ষণ, ফাইন-টিউনিং ও মূল্যায়নের জন্য লাইসেন্সযোগ্য টেক্সট ডেটাসেট সরবরাহ করে। এটি আটটি ক্যাটাগরি অন্তর্ভুক্ত করে। প্রতিটি ডেটাসেট বাস্তব জগতের উপাদান থেকে সংগৃহীত এবং আপনার প্রকল্পের প্রয়োজন অনুযায়ী এর পরিধি নির্ধারণ করা যায়।

ক্যাটালগটিতে ইংরেজি এবং আরবি ভাষায় কথোপকথনমূলক প্রশ্নোত্তর এবং নির্দেশনা ডেটাসেট অন্তর্ভুক্ত রয়েছে, যা আধুনিক প্রমিত আরবি এবং সৌদি, আমিরাতি, মিশরীয় ও লেভান্টাইন উপভাষাগুলোকে কভার করে। এতে নয়টি প্রোগ্রামিং ভাষায় কোড রিপোজিটরি ডেটাসেটও রয়েছে, যার মধ্যে বেশ কয়েকটির সম্পূর্ণ পুল-রিকোয়েস্ট এবং কমিট হিস্ট্রি আছে। সাম্প্রতিক ঘটনাবলির মডেল এবং RAG-এর জন্য ইংরেজি, স্প্যানিশ এবং আরবি ভাষায় সংবাদ ডেটাসেট রয়েছে , যার মধ্যে ১৯৯৯ সাল থেকে ৯৭৫,০০০ নিবন্ধের একটি আর্কাইভ অন্তর্ভুক্ত। হেলথকেয়ার এআই টিমগুলো ক্লিনিক্যাল প্রশ্নোত্তর এবং কেস ডেটাসেট ব্যবহার করতে পারে , যা গোল্ডেন এবং সিলভার সেট হিসেবে উপলব্ধ এবং এতে ডি-আইডেন্টিফিকেশন অন্তর্ভুক্ত রয়েছে।

প্রিট্রেনিংয়ের জন্য রয়েছে র টেক্সট এবং ওয়েব-স্কেল কর্পোরা , যার মধ্যে ২০ মিলিয়ন শব্দের একটি আরবি কর্পোরা অন্তর্ভুক্ত। স্ক্যান করা ডকুমেন্ট কর্পোরা ডকুমেন্ট এআই এবং তথ্য নিষ্কাশনে সহায়তা করে। অ্যাকাডেমিক ও প্রকাশনা সংস্থার টেক্সট বারোটি বিজ্ঞান ও প্রকৌশল বিষয়কে অন্তর্ভুক্ত করে এবং চিত্রনাট্যভিত্তিক বিনোদনমূলক টেক্সটের মধ্যে রয়েছে চলচ্চিত্র, টিভি, অ্যানিমেশন ও মাইক্রোড্রামা।

প্রতিটি ডেটাসেটের সাথে সুস্পষ্ট লাইসেন্সিং এবং গুণমান পর্যালোচনার শর্তাবলী থাকে। নমুনা উপলব্ধ আছে, যাতে আপনি কেনার আগে ডেটাসেটটি মূল্যায়ন করতে পারেন। নিচে একটি বিভাগ ব্রাউজ করুন অথবা কাস্টম টেক্সট ডেটা সংগ্রহ নিয়ে আলোচনা করতে আমাদের সাথে যোগাযোগ করুন।