মেশিন লার্নিং-এ ট্রেনিং ডেটা কী:
সংজ্ঞা, সুবিধা, চ্যালেঞ্জ, উদাহরণ এবং ডেটাসেট
দ্য আলটিমেট বায়ারস গাইড 2023
ভূমিকা
কৃত্রিম বুদ্ধিমত্তা এবং মেশিন লার্নিংয়ের জগতে, ডেটা প্রশিক্ষণ অনিবার্য। এটি এমন একটি প্রক্রিয়া যা মেশিন লার্নিং মডিউলগুলিকে সঠিক, দক্ষ এবং সম্পূর্ণরূপে কার্যকর করে তোলে। এই পোস্টে, আমরা এআই প্রশিক্ষণের ডেটা কী, প্রশিক্ষণের ডেটা গুণমান, ডেটা সংগ্রহ এবং লাইসেন্সিং এবং আরও অনেক কিছু বিস্তারিতভাবে অন্বেষণ করি।
এটি অনুমান করা হয় যে গড়ে প্রাপ্তবয়স্করা অতীতের শিক্ষার উপর ভিত্তি করে জীবন এবং দৈনন্দিন জিনিসের বিষয়ে সিদ্ধান্ত নেয়। এগুলি, ঘুরে, পরিস্থিতি এবং মানুষের দ্বারা আকৃতির জীবনের অভিজ্ঞতা থেকে আসে। আক্ষরিক অর্থে, পরিস্থিতি, দৃষ্টান্ত এবং মানুষ আমাদের মনের মধ্যে থাকা ডেটা ছাড়া কিছুই নয়। যেহেতু আমরা অভিজ্ঞতার আকারে বছরের পর বছর ডেটা জমা করি, মানুষের মন নির্বিঘ্নে সিদ্ধান্ত নেওয়ার প্রবণতা রাখে।
এই কি বোঝায়? সেই ডেটা শেখার ক্ষেত্রে অনিবার্য।
A, B, C, D অক্ষরগুলি বোঝার জন্য একটি শিশুর যেভাবে একটি বর্ণমালা নামক একটি লেবেলের প্রয়োজন হয় তেমনি একটি মেশিনকেও এটি যে ডেটা গ্রহণ করছে তা বোঝার প্রয়োজন হয়।
ঠিক এটাই কৃত্রিম গোয়েন্দা (এআই) প্রশিক্ষণ সব সম্পর্কে. একটি যন্ত্র একটি শিশুর থেকে আলাদা নয় যে তারা যা শেখানো হবে তা থেকে এখনও কিছু শিখতে পারেনি। যন্ত্রটি একটি বিড়াল এবং একটি কুকুর বা একটি বাস এবং একটি গাড়ির মধ্যে পার্থক্য করতে জানে না কারণ তারা এখনও সেই আইটেমগুলি অনুভব করেনি বা সেগুলি দেখতে কেমন তা শেখানো হয়নি৷
সুতরাং, যে কেউ একটি স্ব-চালিত গাড়ি তৈরি করছে তার জন্য, প্রাথমিক ফাংশন যা যোগ করতে হবে তা হল গাড়ির মুখোমুখি হতে পারে এমন সমস্ত দৈনন্দিন উপাদানগুলি বোঝার সিস্টেমের ক্ষমতা, যাতে গাড়িটি তাদের সনাক্ত করতে পারে এবং উপযুক্ত ড্রাইভিং সিদ্ধান্ত নিতে পারে। এইটি যেখানে এআই প্রশিক্ষণ ডেটা খেলার মধ্যে আসে।
আজ, কৃত্রিম বুদ্ধিমত্তা মডিউলগুলি সুপারিশ ইঞ্জিন, নেভিগেশন, অটোমেশন এবং আরও অনেক কিছুর আকারে আমাদের অনেক সুবিধা প্রদান করে৷ এটি সবই ঘটে AI ডেটা প্রশিক্ষণের কারণে যা অ্যালগরিদমগুলি তৈরি করার সময় প্রশিক্ষণের জন্য ব্যবহৃত হয়েছিল।
এআই প্রশিক্ষণের ডেটা নির্মাণের একটি মৌলিক প্রক্রিয়া মেশিন লার্নিং এবং এআই অ্যালগরিদম। আপনি যদি এই প্রযুক্তিগত ধারণাগুলির উপর ভিত্তি করে একটি অ্যাপ তৈরি করেন, তাহলে অপ্টিমাইজড প্রক্রিয়াকরণের জন্য ডেটা উপাদানগুলি বোঝার জন্য আপনাকে আপনার সিস্টেমগুলিকে প্রশিক্ষণ দিতে হবে। প্রশিক্ষণ ছাড়া, আপনার এআই মডেল অদক্ষ, ত্রুটিপূর্ণ এবং সম্ভাব্য অর্থহীন হবে।
এটি অনুমান করা হয় যে ডেটা সায়েন্টিস্টরা এর চেয়ে বেশি ব্যয় করে তাদের সময় 80% এমএল মডেল প্রশিক্ষণের জন্য ডেটা প্রস্তুতি এবং সমৃদ্ধকরণে।
সুতরাং, আপনারা যারা ভেঞ্চার ক্যাপিটালিস্টদের কাছ থেকে তহবিল পেতে চান, সেখানকার একাকী যারা উচ্চাভিলাষী প্রকল্পে কাজ করছেন এবং প্রযুক্তি উত্সাহী যারা সবেমাত্র উন্নত AI দিয়ে শুরু করছেন, আমরা এই নির্দেশিকাটি তৈরি করেছি এই সংক্রান্ত সবচেয়ে গুরুত্বপূর্ণ প্রশ্নের উত্তর দিতে সাহায্য করার জন্য আপনার এআই প্রশিক্ষণ ডেটা।
এখানে আমরা অন্বেষণ করব AI প্রশিক্ষণের ডেটা কী, কেন এটি আপনার প্রক্রিয়ায় অনিবার্য, আপনার আসলে প্রয়োজনীয় ডেটার পরিমাণ এবং গুণমান এবং আরও অনেক কিছু।
এআই ট্রেনিং ডেটা কী?
এআই প্রশিক্ষণের ডেটা সাবধানে কিউরেট করা হয় এবং তথ্য পরিষ্কার করা হয় যা প্রশিক্ষণের উদ্দেশ্যে একটি সিস্টেমে খাওয়ানো হয়। এই প্রক্রিয়াটি একটি AI মডেলের সাফল্য তৈরি করে বা ভেঙে দেয়। এটি বোঝার বিকাশে সহায়তা করতে পারে যে একটি চিত্রের সমস্ত চার পায়ের প্রাণী কুকুর নয় বা এটি একটি মডেলকে রাগান্বিত চিৎকার এবং আনন্দিত হাসির মধ্যে পার্থক্য করতে সহায়তা করতে পারে। এটি কৃত্রিম বুদ্ধিমত্তা মডিউল তৈরির প্রথম পর্যায় যা মেশিনকে মৌলিক বিষয়গুলি শেখানোর জন্য চামচ-ফিডিং ডেটার প্রয়োজন হয় এবং আরও ডেটা খাওয়ানোর সাথে সাথে তাদের শিখতে সক্ষম করে। এটি আবার, একটি দক্ষ মডিউলের জন্য পথ তৈরি করে যা শেষ ব্যবহারকারীদের কাছে সুনির্দিষ্ট ফলাফল মন্থন করে।
একজন সঙ্গীতশিল্পীর জন্য একটি অনুশীলন সেশন হিসাবে একটি AI প্রশিক্ষণ ডেটা প্রক্রিয়া বিবেচনা করুন, যেখানে তারা যত বেশি অনুশীলন করবে, গান বা স্কেলে তারা তত ভাল পাবে। এখানে পার্থক্য হল যে মেশিনগুলিকে প্রথমে বাদ্যযন্ত্র কী তা শেখাতে হবে। মঞ্চে অনুশীলনের সময় কাটানো অগণিত ঘন্টার ভাল ব্যবহার করেন এমন সঙ্গীতশিল্পীর মতো, একটি এআই মডেল মোতায়েন করার সময় গ্রাহকদের সর্বোত্তম অভিজ্ঞতা প্রদান করে।
কেন এআই প্রশিক্ষণের ডেটা প্রয়োজন?
একটি মডেলের বিকাশের জন্য কেন AI প্রশিক্ষণের ডেটা প্রয়োজন তার সবচেয়ে সহজ উত্তর হল যে এটি ছাড়া মেশিনগুলি প্রথমে কী বুঝতে হবে তাও জানত না। তাদের নির্দিষ্ট কাজের জন্য প্রশিক্ষিত একজন ব্যক্তির মতো, একটি মেশিনের একটি নির্দিষ্ট উদ্দেশ্য পরিবেশন করার জন্য এবং সেইসাথে সংশ্লিষ্ট ফলাফল প্রদানের জন্য একটি তথ্য সংগ্রহের প্রয়োজন হয়।
আবার স্বায়ত্তশাসিত গাড়ির উদাহরণ বিবেচনা করা যাক। একটি স্ব-চালিত গাড়িতে টেরাবাইটের পর টেরাবাইট ডেটা আসে একাধিক সেন্সর, কম্পিউটার ভিশন ডিভাইস, রাডার, LIDAR এবং আরও অনেক কিছু থেকে। গাড়ির কেন্দ্রীয় প্রক্রিয়াকরণ সিস্টেম এটির সাথে কী করতে হবে তা না জানলে এই সমস্ত বিশাল অংশের ডেটা অর্থহীন হবে।
উদাহরণস্বরূপ, দী কম্পিউটার ভিশন গাড়ির ইউনিট পথচারী, পশুপাখি, গর্ত এবং আরও অনেক কিছুর মতো রাস্তার উপাদানগুলির উপর প্রচুর পরিমাণে ডেটা ছড়াতে পারে। যদি মেশিন লার্নিং মডিউল তাদের শনাক্ত করার জন্য প্রশিক্ষিত না হয়, তাহলে যানবাহন জানবে না যে তারা বাধা যা সম্মুখীন হলে দুর্ঘটনা ঘটাতে পারে। এই কারণেই মডিউলগুলিকে প্রশিক্ষিত করতে হবে রাস্তার প্রতিটি একক উপাদান কী এবং প্রতিটির জন্য কীভাবে আলাদা ড্রাইভিং সিদ্ধান্ত নেওয়া প্রয়োজন।
যদিও এটি শুধুমাত্র চাক্ষুষ উপাদানগুলির জন্য, গাড়িটি মানুষের নির্দেশাবলী বুঝতে সক্ষম হওয়া উচিত প্রাকৃতিক ভাষা প্রক্রিয়াকরণ (এনএলপি) এবং অডিও বা বক্তৃতা সংগ্রহ এবং সেই অনুযায়ী সাড়া দিন। উদাহরণস্বরূপ, যদি ড্রাইভার আশেপাশের গ্যাস স্টেশনগুলি সন্ধান করার জন্য ইন-কার ইনফোটেইনমেন্ট সিস্টেমকে নির্দেশ দেয়, তবে এটি প্রয়োজনীয়তা বুঝতে এবং উপযুক্ত ফলাফল দিতে সক্ষম হওয়া উচিত। এর জন্য, যাইহোক, এটি বাক্যাংশের প্রতিটি একক শব্দ বুঝতে সক্ষম হওয়া উচিত, তাদের সংযোগ করতে এবং প্রশ্নটি বুঝতে সক্ষম হওয়া উচিত।
যদিও আপনি ভাবতে পারেন যে AI প্রশিক্ষণের ডেটার প্রক্রিয়াটি জটিল কিনা কারণ এটি একটি স্বায়ত্তশাসিত গাড়ির মতো ভারী ব্যবহারের ক্ষেত্রে মোতায়েন করা হয়েছে, সত্যটি হল এমনকি পরবর্তী সিনেমাটি Netflix সুপারিশ করে আপনাকে ব্যক্তিগতকৃত পরামর্শ দেওয়ার জন্য একই প্রক্রিয়ার মধ্য দিয়ে যায়। যেকোন অ্যাপ, প্ল্যাটফর্ম বা একটি সত্তা যেটির সাথে AI যুক্ত থাকে ডিফল্টরূপে AI প্রশিক্ষণ ডেটা দ্বারা চালিত হয়৷
আমার কি ধরনের ডেটা দরকার?
মেশিন লার্নিং মডেলগুলিকে কার্যকরভাবে প্রশিক্ষিত করার জন্য 4টি প্রাথমিক ধরনের ডেটার প্রয়োজন হবে যেমন, ছবি, ভিডিও, অডিও/স্পিচ বা টেক্সট। প্রয়োজনীয় ডেটার ধরন বিভিন্ন কারণের উপর নির্ভর করবে যেমন হাতে ব্যবহারের কেস, প্রশিক্ষিত মডেলগুলির জটিলতা, ব্যবহৃত প্রশিক্ষণ পদ্ধতি এবং প্রয়োজনীয় ইনপুট ডেটার বৈচিত্র্য।
কত ডেটা পর্যাপ্ত?
তারা বলে যে শেখার কোন শেষ নেই এবং এই বাক্যাংশটি AI প্রশিক্ষণ ডেটা স্পেকট্রামে আদর্শ। ডেটা যত বেশি, ফলাফল তত ভাল। যাইহোক, একটি AI-চালিত অ্যাপ চালু করতে চাইছেন এমন কাউকে সন্তুষ্ট করার জন্য এটির মতো অস্পষ্ট প্রতিক্রিয়া যথেষ্ট নয়। কিন্তু বাস্তবতা হল যে তাদের AI ডেটা সেটগুলিকে প্রশিক্ষণ দেওয়ার জন্য কোনও সাধারণ নিয়ম, একটি সূত্র, একটি সূচক বা ডেটার সঠিক ভলিউমের একটি পরিমাপ নেই৷
একজন মেশিন লার্নিং বিশেষজ্ঞ হাস্যকরভাবে প্রকাশ করবেন যে একটি প্রকল্পের জন্য প্রয়োজনীয় ডেটার পরিমাণ নির্ণয় করার জন্য একটি পৃথক অ্যালগরিদম বা মডিউল তৈরি করতে হবে। দুঃখজনকভাবে বাস্তবতাও তাই।
এখন, একটি কারণ রয়েছে যে AI প্রশিক্ষণের জন্য প্রয়োজনীয় ডেটার পরিমাণের উপর একটি ক্যাপ রাখা অত্যন্ত কঠিন। এটি প্রশিক্ষণ প্রক্রিয়ার সাথে জড়িত জটিলতার কারণে। একটি AI মডিউল আন্তঃসংযুক্ত এবং ওভারল্যাপিং টুকরাগুলির বেশ কয়েকটি স্তর নিয়ে গঠিত যা একে অপরের প্রক্রিয়াগুলিকে প্রভাবিত করে এবং পরিপূরক করে।
উদাহরণস্বরূপ, আসুন বিবেচনা করুন যে আপনি একটি নারকেল গাছ চিনতে একটি সহজ অ্যাপ তৈরি করছেন। দৃষ্টিভঙ্গি থেকে, এটা বরং সহজ শোনাচ্ছে, তাই না? একটি AI দৃষ্টিকোণ থেকে, তবে, এটি অনেক বেশি জটিল।
একেবারে শুরুতে, মেশিনটি খালি। এটি একটি লম্বা, অঞ্চল-নির্দিষ্ট, গ্রীষ্মমন্ডলীয় ফল-বহনকারী গাছকে ছেড়ে দিলে প্রথমেই কী গাছ তা জানে না। এর জন্য, মডেলটিকে একটি গাছ কী, রাস্তার আলো বা বৈদ্যুতিক খুঁটির মতো ফ্রেমে প্রদর্শিত হতে পারে এমন অন্যান্য লম্বা এবং সরু বস্তু থেকে কীভাবে আলাদা করা যায় এবং তারপরে এটিকে একটি নারকেল গাছের সূক্ষ্মতা শেখানোর জন্য প্রশিক্ষিত করা দরকার। একবার মেশিন লার্নিং মডিউলটি নারকেল গাছ কী তা শিখে গেলে, কেউ নিরাপদে অনুমান করতে পারে যে এটি কীভাবে চিনতে পারে।
কিন্তু শুধুমাত্র যখন আপনি একটি বটগাছের ছবি খাওয়াবেন, আপনি বুঝতে পারবেন যে সিস্টেমটি একটি নারকেল গাছের জন্য একটি বটগাছকে ভুলভাবে চিহ্নিত করেছে। একটি সিস্টেমের জন্য, গুচ্ছ ঝরা পাতার সাথে লম্বা যে কোনো কিছু হল নারিকেল গাছ। এটি নির্মূল করার জন্য, সিস্টেমটিকে এখন সঠিকভাবে চিহ্নিত করার জন্য প্রতিটি গাছকে বুঝতে হবে যা একটি নারকেল গাছ নয়। যদি এটি শুধুমাত্র একটি ফলাফল সহ একটি সাধারণ একমুখী অ্যাপের প্রক্রিয়া হয়, তবে আমরা কেবলমাত্র স্বাস্থ্যসেবা, অর্থ এবং আরও অনেক কিছুর জন্য তৈরি করা অ্যাপগুলিতে জড়িত জটিলতাগুলি কল্পনা করতে পারি।
এগুলি ছাড়াও, যা প্রয়োজনীয় ডেটার পরিমাণকেও প্রভাবিত করে৷ প্রশিক্ষণ নিচে তালিকাভুক্ত দিক অন্তর্ভুক্ত:
- প্রশিক্ষণ পদ্ধতি, যেখানে ডেটা প্রকারের পার্থক্য (গঠনকৃত এবং অসংগঠিত) তথ্যের ভলিউমের প্রয়োজনকে প্রভাবিত করে
- ডেটা লেবেলিং বা টীকা কৌশল
- যেভাবে একটি সিস্টেমে ডেটা দেওয়া হয়
- ত্রুটি সহনশীলতা ভাগফল, যার সহজ অর্থ হল শতাংশ ত্রুটিগুলি যা আপনার কুলুঙ্গি বা ডোমেনে নগণ্য
প্রশিক্ষণ ভলিউম বাস্তব বিশ্বের উদাহরণ
যদিও আপনার মডিউল প্রশিক্ষণের জন্য আপনার প্রয়োজনীয় ডেটার পরিমাণ নির্ভর করে আপনার প্রকল্প এবং অন্যান্য কারণগুলির উপর আমরা আগে আলোচনা করেছি, একটু অনুপ্রেরণা বা রেফারেন্স তথ্য সম্পর্কে একটি বিস্তৃত ধারণা পেতে সাহায্য করবে প্রয়োজনীয়তা।
নীচে ব্যবহৃত ডেটাসেটের পরিমাণের বাস্তব-বিশ্বের উদাহরণ রয়েছে বিভিন্ন কোম্পানি এবং ব্যবসার দ্বারা এআই প্রশিক্ষণের উদ্দেশ্যে।
- মুখের স্বীকৃতি - 450,000 এর বেশি মুখের চিত্রের একটি নমুনা আকার
- ইমেজ টীকা - 185,000 টিরও বেশি চিত্রের একটি নমুনা আকার 650,000 টীকাযুক্ত বস্তুর কাছাকাছি
- ফেসবুক সেন্টিমেন্ট বিশ্লেষণ - 9,000 এর বেশি নমুনার আকার মন্তব্য এবং 62,000 পোস্ট
- চ্যাটবট প্রশিক্ষণ - 200,000 টিরও বেশি প্রশ্নের একটি নমুনা আকার 2 মিলিয়নেরও বেশি উত্তর
- অনুবাদ অ্যাপ - 300,000 এর বেশি অডিও বা বক্তৃতার একটি নমুনা আকার অ-নেটিভ স্পিকারদের কাছ থেকে সংগ্রহ
আমার কাছে পর্যাপ্ত ডেটা না থাকলে কী হবে?
AI এবং ML এর বিশ্বে, ডেটা প্রশিক্ষণ অনিবার্য। এটি সঠিকভাবে বলা হয়েছে যে নতুন জিনিস শেখার কোন শেষ নেই এবং আমরা যখন এআই প্রশিক্ষণ ডেটা স্পেকট্রাম সম্পর্কে কথা বলি তখন এটি সত্য হয়। ডেটা যত বেশি, ফলাফল তত ভাল। যাইহোক, এমন কিছু উদাহরণ রয়েছে যেখানে আপনি যে ব্যবহারের কেসটি সমাধান করার চেষ্টা করছেন তা একটি কুলুঙ্গি বিভাগের সাথে সম্পর্কিত এবং সঠিক ডেটাসেট সোর্স করা নিজেই একটি চ্যালেঞ্জ। সুতরাং এই পরিস্থিতিতে, যদি আপনার কাছে পর্যাপ্ত ডেটা না থাকে, তাহলে ML মডেলের ভবিষ্যদ্বাণীগুলি সঠিক নাও হতে পারে বা পক্ষপাতদুষ্ট হতে পারে৷ ডেটা অগমেন্টেশন এবং ডেটা মার্কআপের মতো উপায় রয়েছে যা আপনাকে ত্রুটিগুলি কাটিয়ে উঠতে সাহায্য করতে পারে তবে ফলাফল এখনও সঠিক বা নির্ভরযোগ্য নাও হতে পারে।
আপনি কিভাবে ডেটা গুণমান উন্নত করবেন?
ডেটার গুণমান আউটপুটের মানের সাথে সরাসরি সমানুপাতিক। এই কারণেই অত্যন্ত নির্ভুল মডেলের প্রশিক্ষণের জন্য উচ্চ মানের ডেটাসেট প্রয়োজন। তবে, একটি ধরা আছে। নির্ভুলতা এবং নির্ভুলতার উপর নির্ভরশীল একটি ধারণার জন্য, গুণমানের ধারণাটি প্রায়শই অস্পষ্ট হয়।
উচ্চ-মানের ডেটা শক্তিশালী এবং বিশ্বাসযোগ্য বলে মনে হচ্ছে কিন্তু আসলে এর অর্থ কী?
প্রথম স্থানে মানের কি?
ঠিক আছে, আমরা আমাদের সিস্টেমে যে ডেটা ফিড করি তার মতোই গুণমানের অনেকগুলি কারণ এবং পরামিতিও এর সাথে যুক্ত। আপনি যদি AI বিশেষজ্ঞদের বা মেশিন লার্নিং অভিজ্ঞদের সাথে যোগাযোগ করেন, তাহলে তারা উচ্চ-মানের ডেটার যেকোন পরিবর্তন শেয়ার করতে পারে -
- অভিন্ন - একটি নির্দিষ্ট উৎস থেকে উৎসারিত ডেটা বা একাধিক উৎস থেকে উৎসারিত ডেটাসেটের মধ্যে অভিন্নতা
- ব্যাপক - আপনার সিস্টেম কাজ করার উদ্দেশ্যে সমস্ত সম্ভাব্য পরিস্থিতিতে কভার করে এমন ডেটা
- সঙ্গত - ডেটার প্রতিটি একক বাইট প্রকৃতিতে একই রকম
- প্রাসঙ্গিক - আপনি যে ডেটা উত্স এবং ফিড করেন তা আপনার প্রয়োজনীয়তা এবং প্রত্যাশিত ফলাফলের অনুরূপ এবং
- বিচিত্র - আপনার কাছে অডিও, ভিডিও, চিত্র, পাঠ্য এবং আরও অনেক কিছুর মতো সমস্ত ধরণের ডেটার সংমিশ্রণ রয়েছে৷
এখন যেহেতু আমরা বুঝতে পেরেছি যে ডেটা গুণমানের মানে কী, আসুন আমরা দ্রুত গুণমান নিশ্চিত করতে বিভিন্ন উপায়ে দেখি তথ্য সংগ্রহ এবং প্রজন্ম।
1. স্ট্রাকচার্ড এবং আনস্ট্রাকচার্ড ডেটার জন্য দেখুন। পূর্বেরটি মেশিন দ্বারা সহজেই বোধগম্য কারণ তাদের টীকা উপাদান এবং মেটাডেটা রয়েছে। পরবর্তীটি, যদিও, সিস্টেম ব্যবহার করতে পারে এমন কোনও মূল্যবান তথ্য ছাড়াই এখনও কাঁচা। এখানেই ডেটা টীকা আসে।
2. পক্ষপাত দূর করা মানসম্পন্ন ডেটা নিশ্চিত করার আরেকটি উপায় কারণ সিস্টেমটি সিস্টেম থেকে কোনো কুসংস্কার দূর করে এবং একটি উদ্দেশ্যমূলক ফলাফল প্রদান করে। পক্ষপাত শুধুমাত্র আপনার ফলাফল skews এবং এটি নিরর্থক করে তোলে.
3. ব্যাপকভাবে ডেটা পরিষ্কার করুন কারণ এটি আপনার আউটপুটগুলির গুণমানকে অবিচ্ছিন্নভাবে বাড়িয়ে তুলবে। যেকোনো ডেটা সায়েন্টিস্ট আপনাকে বলবে যে তাদের কাজের ভূমিকার একটি বড় অংশ হল ডেটা পরিষ্কার করা। আপনি যখন আপনার ডেটা পরিষ্কার করেন, আপনি সদৃশ, গোলমাল, অনুপস্থিত মান, কাঠামোগত ত্রুটি ইত্যাদি মুছে ফেলছেন।
প্রশিক্ষণের ডেটা গুণমানকে কী প্রভাবিত করে?
আপনার AI/ML মডেলগুলির জন্য আপনি যে মানের স্তরটি চান তা অনুমান করতে সাহায্য করতে পারে এমন তিনটি প্রধান কারণ রয়েছে। 3টি মূল বিষয় হল মানুষ, প্রক্রিয়া এবং প্ল্যাটফর্ম যা আপনার AI প্রকল্প তৈরি বা ভাঙতে পারে।
প্ল্যাটফর্ম: একটি সম্পূর্ণ হিউম্যান-ইন-দ্য-লুপ মালিকানাধীন প্ল্যাটফর্মের প্রয়োজন হয় সোর্স, ট্রান্সক্রাইব এবং বিভিন্ন ডেটাসেট টীকা করার জন্য সবচেয়ে বেশি চাহিদা সম্পন্ন AI এবং ML উদ্যোগ সফলভাবে স্থাপন করার জন্য। প্ল্যাটফর্মটি কর্মীদের পরিচালনা এবং গুণমান এবং থ্রুপুট সর্বাধিক করার জন্যও দায়ী
মানুষ: AI কে আরও স্মার্ট ভাবতে এমন লোকদের লাগে যারা ইন্ডাস্ট্রির সবচেয়ে স্মার্ট মন। স্কেল করার জন্য আপনাকে সারা বিশ্ব জুড়ে হাজার হাজার পেশাদারের প্রয়োজন যা সমস্ত ডেটা প্রকারের প্রতিলিপি, লেবেল এবং টীকা করার জন্য।
প্রসেস: সুসংগত, সম্পূর্ণ এবং নির্ভুল গোল্ড-স্ট্যান্ডার্ড ডেটা সরবরাহ করা একটি জটিল কাজ। তবে এটি আপনাকে সর্বদা সরবরাহ করতে হবে, যাতে সর্বোচ্চ মানের মানগুলির পাশাপাশি কঠোর এবং প্রমাণিত মান নিয়ন্ত্রণ এবং চেকপয়েন্টগুলি মেনে চলতে হয়।
আপনি কোথা থেকে এআই ট্রেনিং ডেটা উৎস করবেন?
আমাদের পূর্ববর্তী বিভাগ থেকে ভিন্ন, আমাদের এখানে একটি খুব সুনির্দিষ্ট অন্তর্দৃষ্টি আছে। আপনি যারা তথ্য উৎস খুঁজছেন জন্য
অথবা আপনি যদি ভিডিও সংগ্রহ, চিত্র সংগ্রহ, পাঠ্য সংগ্রহ এবং আরও অনেক কিছুর প্রক্রিয়ায় থাকেন তবে তিনটি রয়েছে
প্রাথমিক উপায়গুলি থেকে আপনি আপনার ডেটা উৎস করতে পারেন।
আসুন পৃথকভাবে তাদের অন্বেষণ করা যাক.
মুক্ত সূত্র
মুক্ত উত্সগুলি হল উপায় যা প্রচুর পরিমাণে ডেটার অনিচ্ছাকৃত সংগ্রহস্থল। এটি এমন ডেটা যা কেবলমাত্র বিনামূল্যের জন্য পৃষ্ঠের উপর পড়ে থাকে। কিছু বিনামূল্যের সম্পদের মধ্যে রয়েছে-
- Google ডেটাসেট, যেখানে 250 সালে 2020 মিলিয়নেরও বেশি ডেটা সেট প্রকাশ করা হয়েছিল
- Reddit, Quora এবং আরও অনেক কিছুর মত ফোরাম, যা ডেটার জন্য সম্পদপূর্ণ উৎস। এছাড়াও, এই ফোরামগুলিতে ডেটা সায়েন্স এবং এআই সম্প্রদায়গুলি পৌঁছানোর সময় নির্দিষ্ট ডেটা সেটগুলির সাথে আপনাকে সহায়তা করতে পারে।
- Kaggle হল আরেকটি বিনামূল্যের উৎস যেখানে আপনি বিনামূল্যে ডেটা সেট ছাড়াও মেশিন লার্নিং রিসোর্স খুঁজে পেতে পারেন।
- আপনার এআই মডেলের প্রশিক্ষণ শুরু করার জন্য আমরা বিনামূল্যে উন্মুক্ত ডেটাসেট তালিকাভুক্ত করেছি
যদিও এই উপায়গুলি বিনামূল্যে, আপনি যা ব্যয় করবেন তা হল সময় এবং প্রচেষ্টা। বিনামূল্যের উত্স থেকে ডেটা সর্বত্র রয়েছে এবং আপনার প্রয়োজন অনুসারে এটিকে সোর্সিং, পরিষ্কার এবং সেলাই করার জন্য আপনাকে কয়েক ঘন্টা কাজ করতে হবে।
মনে রাখার জন্য অন্যান্য গুরুত্বপূর্ণ পয়েন্টারগুলির মধ্যে একটি হল মুক্ত উত্স থেকে কিছু ডেটা বাণিজ্যিক উদ্দেশ্যেও ব্যবহার করা যাবে না। এটি প্রয়োজন ডেটা লাইসেন্সিং.
ডেটা স্ক্র্যাপিং
নাম অনুসারে, ডেটা স্ক্র্যাপিং হল উপযুক্ত সরঞ্জাম ব্যবহার করে একাধিক উত্স থেকে ডেটা মাইনিং করার প্রক্রিয়া। ওয়েবসাইট, পাবলিক পোর্টাল, প্রোফাইল, জার্নাল, নথি এবং আরও অনেক কিছু থেকে, সরঞ্জামগুলি আপনার প্রয়োজনীয় ডেটা স্ক্র্যাপ করতে পারে এবং সেগুলিকে নির্বিঘ্নে আপনার ডাটাবেসে নিয়ে যেতে পারে।
যদিও এটি একটি আদর্শ সমাধানের মতো শোনায়, ডেটা স্ক্র্যাপিং শুধুমাত্র তখনই আইনী হয় যখন এটি ব্যক্তিগত ব্যবহারের ক্ষেত্রে আসে। আপনি যদি এমন একটি কোম্পানি হন যা ব্যবসায়িক উচ্চাকাঙ্ক্ষার সাথে জড়িত ডেটা স্ক্র্যাপ করতে চাইছে, এটি কঠিন এবং এমনকি অবৈধ হয়ে যায়। এজন্য আপনার প্রয়োজনীয় ডেটা স্ক্র্যাপ করার আগে ওয়েবসাইট, সম্মতি এবং শর্তগুলি খতিয়ে দেখার জন্য আপনার একটি আইনি দলের প্রয়োজন।
বহিরাগত বিক্রেতা
যতদূর এআই প্রশিক্ষণের ডেটা সংগ্রহের ক্ষেত্রে, ডেটাসেটের জন্য আউটসোর্সিং বা বহিরাগত বিক্রেতাদের কাছে পৌঁছানো সবচেয়ে আদর্শ বিকল্প। তারা আপনার প্রয়োজনীয়তার জন্য ডেটাসেট খোঁজার দায়িত্ব নেয় যখন আপনি আপনার মডিউল তৈরিতে ফোকাস করতে পারেন। এটি বিশেষত নিম্নলিখিত কারণগুলির কারণে -
- আপনাকে ডেটার উপায় খুঁজতে ঘণ্টার পর ঘণ্টা ব্যয় করতে হবে না
- তথ্য পরিষ্কার এবং শ্রেণীবিভাগ জড়িত পরিপ্রেক্ষিতে কোন প্রচেষ্টা নেই
- আপনি হাতে গুণমানের ডেটা সেট পাবেন যা আমরা কিছু সময় আগে আলোচনা করা সমস্ত কারণকে অবিকল চেক করে
- আপনি ডেটাসেট পেতে পারেন যা আপনার প্রয়োজনের জন্য তৈরি করা হয়েছে
- আপনি আপনার প্রকল্প এবং আরও অনেক কিছুর জন্য প্রয়োজনীয় ডেটার পরিমাণ দাবি করতে পারেন
- এবং সবচেয়ে গুরুত্বপূর্ণ, তারা নিশ্চিত করে যে তাদের ডেটা সংগ্রহ এবং ডেটা নিজেই স্থানীয় নিয়ন্ত্রক নির্দেশিকা মেনে চলে।
আপনার ক্রিয়াকলাপের স্কেলের উপর নির্ভর করে একটি ত্রুটি প্রমাণিত হতে পারে এমন একমাত্র কারণ হল আউটসোর্সিং খরচ জড়িত। আবার, কি খরচ জড়িত না.
Shaip ইতিমধ্যেই ডেটা সংগ্রহ পরিষেবাগুলির মধ্যে একজন নেতা এবং স্বাস্থ্যসেবা ডেটা এবং স্পিচ/অডিও ডেটাসেটের নিজস্ব ভাণ্ডার রয়েছে যা আপনার উচ্চাভিলাষী AI প্রকল্পগুলির জন্য লাইসেন্স করা যেতে পারে।
ডেটাসেট খুলুন - ব্যবহার করবেন বা ব্যবহার করবেন না?
খোলা ডেটাসেটগুলি সর্বজনীনভাবে উপলব্ধ ডেটাসেট যা মেশিন লার্নিং প্রকল্পগুলির জন্য ব্যবহার করা যেতে পারে। আপনার অডিও, ভিডিও, ইমেজ বা পাঠ্য-ভিত্তিক ডেটাসেট প্রয়োজন কিনা তা বিবেচ্য নয়, সমস্ত ফর্ম এবং ডেটার ক্লাসের জন্য উন্মুক্ত ডেটাসেট উপলব্ধ রয়েছে৷
উদাহরণস্বরূপ, অ্যামাজন পণ্য পর্যালোচনা ডেটাসেট রয়েছে যা 142 থেকে 1996 পর্যন্ত 2014 মিলিয়ন ব্যবহারকারীর পর্যালোচনাগুলিকে বৈশিষ্ট্যযুক্ত করে৷ চিত্রগুলির জন্য, আপনার কাছে Google ওপেন চিত্রের মতো একটি দুর্দান্ত সংস্থান রয়েছে, যেখানে আপনি 9 মিলিয়নেরও বেশি ছবি থেকে ডেটাসেট উত্স করতে পারেন৷ গুগলের মেশিন পারসেপশন নামে একটি শাখাও রয়েছে যা প্রায় 2 মিলিয়ন অডিও ক্লিপ অফার করে যা দশ সেকেন্ডের।
এই সংস্থানগুলির (এবং অন্যান্য) প্রাপ্যতা সত্ত্বেও, গুরুত্বপূর্ণ ফ্যাক্টর যা প্রায়শই উপেক্ষা করা হয় তা হল তাদের ব্যবহারের সাথে আসা শর্তগুলি। এগুলি নিশ্চিতভাবে সর্বজনীন তবে লঙ্ঘন এবং ন্যায্য ব্যবহারের মধ্যে একটি পাতলা রেখা রয়েছে৷ প্রতিটি সংস্থান তার নিজস্ব শর্ত নিয়ে আসে এবং আপনি যদি এই বিকল্পগুলি অন্বেষণ করেন তবে আমরা সতর্কতার পরামর্শ দিই। এর কারণ হল বিনামূল্যের পথ পছন্দ করার অজুহাতে, আপনি মামলা এবং সংশ্লিষ্ট খরচ বহন করতে পারেন।
এআই ট্রেনিং ডেটার আসল খরচ
ডেটা সংগ্রহ করতে বা ঘরে ডেটা তৈরি করতে আপনি যে অর্থ ব্যয় করেন তা আপনার বিবেচনা করা উচিত নয়। আমাদের অবশ্যই রৈখিক উপাদানগুলি বিবেচনা করতে হবে যেমন AI সিস্টেম এবং বিকাশে ব্যয় করা সময় এবং প্রচেষ্টা মূল্য একটি লেনদেন দৃষ্টিকোণ থেকে। অন্যের প্রশংসা করতে ব্যর্থ হয়।
ডেটা সোর্সিং এবং টীকা করার সময় ব্যয় করা হয়েছে
ভূগোল, বাজার জনসংখ্যা, এবং আপনার কুলুঙ্গির মধ্যে প্রতিযোগিতার মতো বিষয়গুলি প্রাসঙ্গিক ডেটাসেটের প্রাপ্যতাকে বাধা দেয়। ম্যানুয়ালি ডেটা অনুসন্ধান করার সময় ব্যয় করা আপনার AI সিস্টেমকে প্রশিক্ষণের জন্য সময় নষ্ট করে। একবার আপনি আপনার ডেটার উত্স পরিচালনা করার পরে, আপনি ডেটা টীকা করার সময় ব্যয় করে প্রশিক্ষণকে আরও বিলম্বিত করবেন যাতে আপনার মেশিন বুঝতে পারে এটি কী খাওয়ানো হচ্ছে।
তথ্য সংগ্রহ এবং টীকা করার মূল্য
AI ডেটা সোর্স করার সময় ওভারহেড খরচ (ইন-হাউস ডেটা কালেক্টর, অ্যানোটেটর, রক্ষণাবেক্ষণের সরঞ্জাম, প্রযুক্তিগত অবকাঠামো, SaaS সরঞ্জামগুলির সদস্যতা, মালিকানাধীন অ্যাপ্লিকেশনগুলির বিকাশ) গণনা করতে হবে
খারাপ ডেটার খরচ
খারাপ ডেটা আপনার কোম্পানীর দলের মনোবল, আপনার প্রতিযোগিতামূলক প্রান্ত এবং অন্যান্য বাস্তব পরিণতিগুলিকে ব্যয় করতে পারে যা অলক্ষিত হয়। আমরা খারাপ ডেটাকে অশুদ্ধ, কাঁচা, অপ্রাসঙ্গিক, পুরানো, ভুল বা বানান ত্রুটিপূর্ণ যেকোন ডেটাসেট হিসাবে সংজ্ঞায়িত করি। খারাপ ডেটা পক্ষপাতিত্ব প্রবর্তন করে এবং তির্যক ফলাফলের সাথে আপনার অ্যালগরিদমগুলিকে দূষিত করে আপনার AI মডেলকে নষ্ট করতে পারে।
ব্যবস্থাপনা ব্যয়
আপনার সংস্থা বা এন্টারপ্রাইজের প্রশাসনের সাথে জড়িত সমস্ত খরচ, বাস্তব এবং অস্পষ্টতাগুলি পরিচালনার ব্যয় গঠন করে যা প্রায়শই সবচেয়ে ব্যয়বহুল হয়।
ডাটা সোর্সিং এর পর কি?
একবার আপনার হাতে ডেটাসেট হয়ে গেলে, পরবর্তী ধাপ হল এটিকে টীকা বা লেবেল করা। সমস্ত জটিল কাজের পরে, আপনার কাছে যা আছে তা হল পরিষ্কার কাঁচা ডেটা। মেশিনটি এখনও আপনার কাছে থাকা ডেটা বুঝতে পারে না কারণ এটি টীকাযুক্ত নয়। আসল চ্যালেঞ্জের অবশিষ্ট অংশটি এখানেই শুরু হয়।
যেমন আমরা উল্লেখ করেছি, একটি মেশিনকে এমন একটি বিন্যাসে ডেটা প্রয়োজন যা এটি বুঝতে পারে। এটা ঠিক কি ডেটা টীকা করে। এটি কাঁচা ডেটা নেয় এবং একটি মডিউলকে ডেটার প্রতিটি একক উপাদানকে সঠিকভাবে বুঝতে সাহায্য করার জন্য লেবেল এবং ট্যাগের স্তর যুক্ত করে।
উদাহরণস্বরূপ, একটি পাঠ্যে, ডেটা লেবেলিং একটি AI সিস্টেমকে ব্যাকরণগত বাক্য গঠন, বক্তব্যের অংশ, অব্যয়, বিরাম চিহ্ন, আবেগ, অনুভূতি এবং মেশিনের বোঝার সাথে জড়িত অন্যান্য পরামিতিগুলিকে বলবে। এইভাবে চ্যাটবটগুলি মানুষের কথোপকথনগুলি আরও ভালভাবে বোঝে এবং শুধুমাত্র যখন তারা তা করে তখন তারা তাদের প্রতিক্রিয়াগুলির মাধ্যমে মানুষের মিথস্ক্রিয়াগুলিকে আরও ভালভাবে অনুকরণ করতে পারে।
এটি যতটা অনিবার্য শোনায়, এটি অত্যন্ত সময়সাপেক্ষ এবং ক্লান্তিকরও বটে। আপনার ব্যবসার স্কেল বা তার উচ্চাকাঙ্ক্ষা নির্বিশেষে, ডেটা টীকা করতে সময় লাগে বিশাল।
এটি প্রাথমিকভাবে কারণ আপনার বিদ্যমান কর্মশক্তিকে তাদের দৈনন্দিন সময়সূচী থেকে ডেটা টীকা করার জন্য সময় দিতে হবে যদি আপনার কাছে ডেটা টীকা বিশেষজ্ঞ না থাকে। সুতরাং, আপনাকে আপনার দলের সদস্যদের ডেকে আনতে হবে এবং এটি একটি অতিরিক্ত কাজ হিসাবে বরাদ্দ করতে হবে। এটি যত বেশি বিলম্বিত হবে, আপনার AI মডেলগুলিকে প্রশিক্ষণ দিতে তত বেশি সময় লাগবে।
যদিও ডেটা টীকাকরণের জন্য বিনামূল্যের সরঞ্জাম রয়েছে, তবে এই প্রক্রিয়াটি যে সময়সাপেক্ষ তা এই সত্যকে সরিয়ে দেয় না।
এখানেই শাইপের মতো ডেটা টীকা বিক্রেতারা আসে৷ তারা শুধুমাত্র আপনার প্রকল্পে ফোকাস করার জন্য তাদের সাথে ডেটা টীকা বিশেষজ্ঞদের একটি ডেডিকেটেড দল নিয়ে আসে৷ তারা আপনাকে আপনার চাহিদা এবং প্রয়োজনীয়তার জন্য যেভাবে চান সেভাবে সমাধান দেয়। এছাড়াও, আপনি তাদের সাথে একটি সময়সীমা নির্ধারণ করতে পারেন এবং সেই নির্দিষ্ট টাইমলাইনে কাজ শেষ করার দাবি করতে পারেন।
একটি প্রধান সুবিধা হল যে আপনার ইন-হাউস টিমের সদস্যরা আপনার ক্রিয়াকলাপ এবং প্রকল্পের জন্য আরও গুরুত্বপূর্ণ বিষয়গুলিতে ফোকাস করা চালিয়ে যেতে পারে যখন বিশেষজ্ঞরা আপনার জন্য ডেটা টীকা এবং লেবেল করার কাজ করেন।
আউটসোর্সিংয়ের মাধ্যমে, সর্বোত্তম গুণমান, সর্বনিম্ন সময় এবং সর্বোচ্চ নির্ভুলতা নিশ্চিত করা যেতে পারে।
মোড়ক উম্মচন
এআই প্রশিক্ষণের ডেটাতে এটি ছিল সবকিছু। প্রশিক্ষণের ডেটা কী তা বোঝা থেকে শুরু করে বিনামূল্যের সংস্থানগুলি এবং ডেটা টীকা আউটসোর্সিংয়ের সুবিধাগুলি অন্বেষণ করা, আমরা সেগুলি নিয়ে আলোচনা করেছি। আবারও, প্রোটোকল এবং নীতিগুলি এখনও এই বর্ণালীতে অস্পষ্ট এবং আমরা আপনাকে সর্বদা আপনার প্রয়োজনের জন্য আমাদের মতো AI প্রশিক্ষণ ডেটা বিশেষজ্ঞদের সাথে যোগাযোগ করার পরামর্শ দিই।
সোর্সিং, ডি-শনাক্তকরণ থেকে শুরু করে ডেটা টীকা পর্যন্ত, আমরা আপনার সমস্ত প্রয়োজনে আপনাকে সহায়তা করব যাতে আপনি শুধুমাত্র আপনার প্ল্যাটফর্ম তৈরিতে কাজ করতে পারেন। আমরা ডেটা সোর্সিং এবং লেবেলিংয়ের সাথে জড়িত জটিলতাগুলি বুঝতে পারি। এই কারণেই আমরা এই সত্যটি পুনরাবৃত্তি করছি যে আপনি আমাদের কাছে কঠিন কাজগুলি ছেড়ে দিতে পারেন এবং আমাদের সমাধানগুলি ব্যবহার করতে পারেন৷
আপনার সমস্ত ডেটা টীকা প্রয়োজনের জন্য আজই আমাদের সাথে যোগাযোগ করুন।
চল কথা বলি
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী (FAQ)
আপনি যদি বুদ্ধিমান সিস্টেম তৈরি করতে চান, তাহলে তত্ত্বাবধানে শেখার সুবিধার জন্য আপনাকে পরিষ্কার, কিউরেটেড এবং কার্যকরী তথ্য দিতে হবে। লেবেলযুক্ত তথ্যকে এআই প্রশিক্ষণ ডেটা বলা হয় এবং এতে বাজারের মেটাডেটা, এমএল অ্যালগরিদম এবং সিদ্ধান্ত নেওয়ার ক্ষেত্রে সাহায্য করে এমন কিছু থাকে।
প্রতিটি AI-চালিত মেশিনের ক্ষমতা তার ঐতিহাসিক অবস্থান দ্বারা সীমাবদ্ধ। এর মানে মেশিনটি কেবলমাত্র পছন্দসই ফলাফলের পূর্বাভাস দিতে পারে যদি এটি তুলনামূলক ডেটা সেটের সাথে পূর্বে প্রশিক্ষিত হয়ে থাকে। প্রশিক্ষণের ডেটা এআই মডেলগুলির দক্ষতা এবং নির্ভুলতার সাথে সরাসরি আনুপাতিক ভলিউম সহ তত্ত্বাবধানে প্রশিক্ষণে সহায়তা করে।
নির্দিষ্ট মেশিন লার্নিং অ্যালগরিদম প্রশিক্ষিত করার জন্য আলাদা প্রশিক্ষণ ডেটাসেট প্রয়োজন, যাতে AI-চালিত সেটআপগুলিকে প্রসঙ্গগুলি মাথায় রেখে গুরুত্বপূর্ণ সিদ্ধান্ত নিতে সহায়তা করে৷ উদাহরণস্বরূপ, আপনি যদি একটি মেশিনে কম্পিউটার ভিশন কার্যকারিতা যোগ করার পরিকল্পনা করেন, তাহলে মডেলগুলিকে টীকাযুক্ত চিত্র এবং আরও বাজার ডেটাসেটের সাথে প্রশিক্ষণ দেওয়া দরকার। একইভাবে, এনএলপি দক্ষতার জন্য, বক্তৃতা সংগ্রহের বিশাল পরিমাণ প্রশিক্ষণের ডেটা হিসাবে কাজ করে।
একটি দক্ষ এআই মডেলকে প্রশিক্ষণের জন্য প্রয়োজনীয় প্রশিক্ষণ ডেটার আয়তনের কোন ঊর্ধ্ব সীমা নেই। বৃহত্তর ডেটা ভলিউম মডেলের উপাদান, পাঠ্য এবং প্রসঙ্গগুলি সনাক্ত এবং পৃথক করার ক্ষমতা ভাল হবে।
যদিও প্রচুর ডেটা উপলব্ধ রয়েছে, প্রতিটি অংশ প্রশিক্ষণ মডেলের জন্য উপযুক্ত নয়। একটি অ্যালগরিদম সর্বোত্তমভাবে কাজ করার জন্য, আপনাকে ব্যাপক, সামঞ্জস্যপূর্ণ এবং প্রাসঙ্গিক ডেটা সেটের প্রয়োজন হবে, যেগুলি অভিন্নভাবে নিষ্কাশন করা হয় কিন্তু এখনও বিস্তৃত পরিস্থিতি কভার করার জন্য যথেষ্ট বৈচিত্র্যপূর্ণ। ডেটা নির্বিশেষে, আপনি ব্যবহার করার পরিকল্পনা করছেন, উন্নত শেখার জন্য এটি পরিষ্কার এবং টীকা করা ভাল।
যদি আপনার মনে একটি নির্দিষ্ট AI মডেল থাকে কিন্তু প্রশিক্ষণের ডেটা যথেষ্ট না হয়, তাহলে আপনাকে প্রথমে আউটলায়ারগুলি সরিয়ে ফেলতে হবে, ট্রান্সফার এবং পুনরাবৃত্তিমূলক শেখার সেটআপে জোড়া লাগাতে হবে, কার্যকারিতাগুলিকে সীমাবদ্ধ করতে হবে এবং ব্যবহারকারীদের জন্য ডেটা যোগ করা চালিয়ে যাওয়ার জন্য সেটআপটি ওপেন-সোর্স করতে হবে ধীরে ধীরে, সময়মতো মেশিনকে প্রশিক্ষণ দিন। আপনি এমনকি সীমাবদ্ধ ডেটাসেটগুলির সর্বাধিক ব্যবহার করতে ডেটা বৃদ্ধি এবং স্থানান্তর শেখার বিষয়ে পদ্ধতিগুলি অনুসরণ করতে পারেন।
খোলা ডেটাসেটগুলি সর্বদা প্রশিক্ষণের ডেটা সংগ্রহের জন্য ব্যবহার করা যেতে পারে। যাইহোক, যদি আপনি মডেলগুলিকে আরও ভাল প্রশিক্ষণের জন্য একচেটিয়াতা খোঁজেন তবে আপনি বাহ্যিক বিক্রেতাদের উপর নির্ভর করতে পারেন, রেডডিট, কাগল এবং আরও অনেক কিছুর মতো বিনামূল্যের উত্স এবং এমনকি প্রোফাইল, পোর্টাল এবং নথিগুলি থেকে বেছে বেছে খনির অন্তর্দৃষ্টিগুলির জন্য ডেটা স্ক্র্যাপিংয়ের উপর নির্ভর করতে পারেন৷ পদ্ধতি নির্বিশেষে, ব্যবহারের আগে সংগ্রহ করা ডেটা ফরম্যাট করা, হ্রাস করা এবং পরিষ্কার করা প্রয়োজন।