সংজ্ঞা
প্যারামিটার-দক্ষ ফাইন-টিউনিং (PEFT) হল একটি কৌশল যা বৃহৎ প্রাক-প্রশিক্ষিত মডেলগুলিকে নতুন কাজের সাথে খাপ খাইয়ে নেওয়ার জন্য সম্পূর্ণ মডেলের পরিবর্তে কেবলমাত্র একটি ছোট প্যারামিটার আপডেট করে।
উদ্দেশ্য
এর উদ্দেশ্য হল শক্তিশালী কার্য সম্পাদন বজায় রেখে গণনামূলক খরচ এবং স্টোরেজের চাহিদা কমানো।
গুরুত্ব
- বিশাল সম্পদ ছাড়াই প্রতিষ্ঠানগুলির জন্য সূক্ষ্ম-সুরকরণ সম্ভব করে তোলে।
- পূর্ণ মডেল প্রশিক্ষণের তুলনায় কার্বন পদচিহ্ন কমায়।
- উৎপাদনে দক্ষ টাস্ক-সুইচিংয়ের অনুমতি দেয়।
- LoRA এবং অ্যাডাপ্টারের মতো পদ্ধতির সাথে সম্পর্কিত।
কিভাবে এটা কাজ করে
- একটি বড় প্রাক-প্রশিক্ষিত বেস মডেল নির্বাচন করুন।
- প্যারামিটার সাবসেটগুলি সনাক্ত করুন (যেমন, নিম্ন-র্যাঙ্ক অ্যাডাপ্টার)।
- শুধুমাত্র এই উপসেটগুলিকে লক্ষ্য টাস্ক ডেটার উপর প্রশিক্ষণ দিন।
- অন্যান্য পরামিতিগুলি হিমায়িত রাখুন।
- ন্যূনতম রিসোর্স ওভারহেড সহ স্থাপন করুন।
উদাহরণ (বাস্তব জগৎ)
- LoRA (নিম্ন-র্যাঙ্ক অভিযোজন): LLM-এর সূক্ষ্ম-সুরকরণে ব্যাপকভাবে ব্যবহৃত হয়।
- হাগিং ফেস PEFT লাইব্রেরি: দক্ষ ফাইন-টিউনিং টুলকিট।
- গুগল গবেষণা: বহুভাষিক এনএলপি কাজের জন্য অ্যাডাপ্টার।
তথ্যসূত্র / আরও পড়া
- হু প্রমুখ। "LoRA: বৃহৎ ভাষার মডেলের নিম্ন-স্তরের অভিযোজন।" arXiv.
- হোলসবি এবং অন্যান্যরা "এনএলপির জন্য প্যারামিটার-দক্ষ ট্রান্সফার লার্নিং।" এসিএল।
- আলিঙ্গন মুখ PEFT ডকুমেন্টেশন।
