প্রাক-প্রশিক্ষণ

সংজ্ঞা

প্রাক-প্রশিক্ষণ হল নির্দিষ্ট কাজগুলিতে সূক্ষ্ম-টিউনিংয়ের আগে বৃহৎ সাধারণ-উদ্দেশ্য ডেটাসেটের উপর একটি মেশিন লার্নিং মডেলের প্রাথমিক প্রশিক্ষণ।

উদ্দেশ্য

উদ্দেশ্য হল মডেলগুলিকে বিস্তৃত উপস্থাপনা প্রদান করা যা একাধিক কাজে স্থানান্তর করে, ডাউনস্ট্রিম অভিযোজনের জন্য ডেটা এবং গণনার প্রয়োজনীয়তা হ্রাস করে।

গুরুত্ব

• আধুনিক এলএলএম এবং ভিশন মডেলের ভিত্তি।
• বিভিন্ন কাজে কর্মক্ষমতা উন্নত করে।
• তথ্য এবং গণনার দিক থেকে ব্যয়বহুল।
• পক্ষপাত এড়াতে সাবধানতার সাথে ডেটাসেট কিউরেশন প্রয়োজন।

কিভাবে এটা কাজ করে

1. বিশাল সাধারণ ডেটাসেট (টেক্সট, ছবি) সংগ্রহ করুন।
2. তত্ত্বাবধানবিহীন বা স্ব-তত্ত্বাবধানে শেখার কাজগুলি সংজ্ঞায়িত করুন।
3. মডেলদের সাধারণ বৈশিষ্ট্যগুলি শিখতে প্রশিক্ষণ দিন।
4. পুনঃব্যবহারের জন্য পূর্ব-প্রশিক্ষিত ওজন সংরক্ষণ করুন।
5. ছোট টাস্ক-নির্দিষ্ট ডেটাসেটগুলিতে সূক্ষ্ম-টিউন করুন।

উদাহরণ (বাস্তব জগৎ)

• উইকিপিডিয়া এবং বুকসকর্পাসে BERT-এর পূর্ব-প্রশিক্ষিত।
• CLIP ছবি-পাঠ্য জোড়ার উপর প্রশিক্ষিত।
• GPT মডেলগুলি বৃহৎ-স্কেল ইন্টারনেট টেক্সটের উপর প্রাক-প্রশিক্ষিত।

তথ্যসূত্র / আরও পড়া

• ডেভলিন এবং অন্যান্যরা। "BERT: ডিপ বাইডাইরেকশনাল ট্রান্সফরমারের প্রাক-প্রশিক্ষণ।" NAACL 2019।
• র‍্যাডফোর্ড এবং অন্যান্যরা। "ভাষা মডেলরা খুব কম লোকই শিখে থাকেন।" নিউরআইপিএস ২০২০।
• OpenAI GPT-4 প্রযুক্তিগত প্রতিবেদন।