StandardScaler কি? ডেটা স্কেলিং এর গুরুত্ব, উদাহরণ ও ব্যবহার

মেশিন লার্নিংয়ে, ডেটা প্রিপারেশন একটি অত্যন্ত গুরুত্বপূর্ণ ধাপ। অনেক সময় ডেটা সেটে থাকা বিভিন্ন বৈশিষ্ট্যের (features) মানগুলো ভিন্ন ভিন্ন স্কেলে থাকে। উদাহরণস্বরূপ, একটি ডেটা সেটে ‘বয়স’ (যা 0-100 এর মধ্যে হতে পারে) এবং ‘আয়’ (যা লক্ষাধিক হতে পারে) থাকতে পারে। এই ধরনের স্কেলের পার্থক্য কিছু মেশিন লার্নিং অ্যালগরিদমের কার্যকারিতাকে নেতিবাচকভাবে প্রভাবিত করতে পারে।

StandardScaler হলো এমন একটি ডেটা প্রিপ্রসেসিং টেকনিক যা এই সমস্যা সমাধানে সাহায্য করে। এটি ডেটার বৈশিষ্ট্যগুলোকে একটি সাধারণ স্কেলে নিয়ে আসে, যাতে সমস্ত বৈশিষ্ট্য অ্যালগরিদমগুলির কাছে সমানভাবে গুরুত্বপূর্ণ হয়। একে ফিচার স্কেলিং (Feature Scaling) বা স্ট্যান্ডার্ডাইজেশন (Standardization) বলা হয়।
 

StandardScaler কী? (What is StandardScaler?)

StandardScaler হলো একটি ডেটা ট্রান্সফরমেশন টুল যা প্রতিটি বৈশিষ্ট্যের (কলামের) মানকে এমনভাবে রূপান্তর করে যাতে সেই বৈশিষ্ট্যের গড় (mean) 0 হয় এবং স্ট্যান্ডার্ড ডেভিয়েশন (standard deviation) 1 হয়। এই প্রক্রিয়াকে Z-স্কোর নরমালাইজেশন (Z-score Normalization) বলা হয়।

গণিতের ভাষায়, একটি ডেটা পয়েন্ট $x$ এর জন্য স্ট্যান্ডার্ডাইজড মান $z$ নিম্নোক্ত সূত্র ব্যবহার করে গণনা করা হয়: z=(x−μ)/σ​
যেখানে:

• $x$ হলো মূল ডেটা পয়েন্ট
• $mu$ (মু) হলো বৈশিষ্ট্যের গড় (mean)
• $sigma$ (সিগমা) হলো বৈশিষ্ট্যের স্ট্যান্ডার্ড ডেভিয়েশন (standard deviation)

এই রূপান্তরের ফলে ডেটা একটি স্ট্যান্ডার্ড নরমালাইজড ডিস্ট্রিবিউশনে (standard normal distribution) চলে আসে, যেখানে ডেটার আকৃতি (যেমন আউটলায়ার্স) বজায় থাকে, কিন্তু স্কেল পরিবর্তিত হয়।
 

StandardScaler এর উদাহরণ (Example of StandardScaler)

ধরা যাক, আমাদের কাছে কিছু শিক্ষার্থীর দুটি ভিন্ন বিষয়ের নম্বর আছে:

যদি আমরা এই ডেটাগুলোকে সরাসরি কোনো মেশিন লার্নিং মডেলে (যেমন K-Means বা সাপোর্ট ভেক্টর মেশিন) ব্যবহার করি, তাহলে ‘বিষয় A’-এর বড় মানগুলোর কারণে অ্যালগরিদম ‘বিষয় B’-এর চেয়ে ‘বিষয় A’-কে বেশি গুরুত্ব দিতে পারে, যা কাঙ্ক্ষিত নয়। এখন আমরা StandardScaler ব্যবহার করে এই ডেটাগুলোকে রূপান্তর করব।

‘বিষয় A’ এর প্রথম মান (20) এর জন্য:

‘বিষয় B’ এর প্রথম মান (2) এর জন্য:

রূপান্তরের পর:

লক্ষ্য করুন, উভয় বিষয়ের জন্য প্রথম মানটি এখন প্রায় -1.41 হয়েছে। এখন উভয় বৈশিষ্ট্যের গড় 0 এবং স্ট্যান্ডার্ড ডেভিয়েশন 1। এর ফলে অ্যালগরিদম উভয় বৈশিষ্ট্যকে সমান গুরুত্ব দেবে।
 

পাইথন ব্যবহার করে StandardScaler এর উদাহরণ (Python Example of StandardScaler)

আমরা scikit-learn লাইব্রেরি থেকে StandardScaler ব্যবহার করে একটি উদাহরণ দেখাবো।

 

StandardScaler ইন্টারপ্রেট করা (Interpreting StandardScaler)

StandardScaler প্রয়োগ করার পর, ডেটার মানগুলো সরাসরি তাদের মূল অর্থ হারায়। একটি মান যা আগে ‘৫০ বছর’ ছিল, তা এখন ‘০.৭৫’ (বা এমন কিছু) হতে পারে। এই নতুন মানটি বোঝায় যে মূল মানটি গড়ের থেকে কত স্ট্যান্ডার্ড ডেভিয়েশন উপরে বা নিচে ছিল।

• ধনাত্মক মান: নির্দেশ করে যে মূল ডেটা পয়েন্টটি তার বৈশিষ্ট্যের গড়ের চেয়ে বেশি ছিল।
• ঋণাত্মক মান: নির্দেশ করে যে মূল ডেটা পয়েন্টটি তার বৈশিষ্ট্যের গড়ের চেয়ে কম ছিল।
• 0-এর কাছাকাছি মান: নির্দেশ করে যে মূল ডেটা পয়েন্টটি তার বৈশিষ্ট্যের গড়ের কাছাকাছি ছিল।
• বৃহত্তর পরম মান: নির্দেশ করে যে মূল ডেটা পয়েন্টটি গড় থেকে অনেক দূরে ছিল (হয় অনেক বেশি বা অনেক কম)।

গুরুত্বপূর্ণ বিষয় হলো, স্ট্যান্ডার্ডাইজড ডেটা পয়েন্টগুলো সরাসরি ইন্টারপ্রেট করার চেয়ে তাদের সম্পর্ক এবং মেশিন লার্নিং অ্যালগরিদমগুলির জন্য তাদের উপযোগিতা বোঝা বেশি গুরুত্বপূর্ণ। এই মানগুলো এখন বিভিন্ন বৈশিষ্ট্য জুড়ে তুলনামূলক, যা অ্যালগরিদমগুলোকে পক্ষপাতহীনভাবে কাজ করতে সাহায্য করে।
 

StandardScaler এর গুরুত্ব (Importance of StandardScaler)

StandardScaler এর গুরুত্ব বহুবিধ:

• অ্যালগরিদমের কার্যকারিতা বৃদ্ধি: অনেক মেশিন লার্নিং অ্যালগরিদম, বিশেষ করে দূরত্ব-ভিত্তিক অ্যালগরিদম যেমন K-Means, K-Nearest Neighbors (KNN), সাপোর্ট ভেক্টর মেশিন (SVM), এবং নিউরাল নেটওয়ার্ক, ফিচারের স্কেলিং ছাড়া খারাপভাবে পারফর্ম করতে পারে। StandardScaler সমস্ত বৈশিষ্ট্যকে একই স্কেলে এনে অ্যালগরিদমগুলির কর্মক্ষমতা উন্নত করে।
• কনভারজেন্সের গতি বাড়ানো: গ্রেডিয়েন্ট ডিসেন্ট (Gradient Descent) এর উপর ভিত্তি করে কাজ করে এমন অ্যালগরিদমগুলোতে (যেমন লজিস্টিক রিগ্রেশন, নিউরাল নেটওয়ার্ক), স্ট্যান্ডার্ডাইজেশন কনভারজেন্স প্রক্রিয়াকে দ্রুততর করে। কারণ, অপটিমাইজেশন ল্যান্ডস্কেপ আরও গোলাকার হয়ে ওঠে, যা অপটিমাইজারকে দ্রুত সর্বনিম্ন বিন্দু খুঁজে পেতে সাহায্য করে।
• আউটলায়ার্স এর প্রভাব কমানো (কিছু ক্ষেত্রে): যদিও StandardScaler আউটলায়ার্সকে সরাসরি মোকাবিলা করে না, তবে এটি ডেটাকে একটি সীমিত পরিসরে নিয়ে আসে, যা চরম মানগুলির আপেক্ষিক প্রভাব কমাতে পারে যদি অন্য বৈশিষ্ট্যগুলি স্কেল করা না হয়।
• মডেলের ব্যাখ্যাযোগ্যতা উন্নত করা (কিছু ক্ষেত্রে): কিছু মডেলে, স্কেল করা বৈশিষ্ট্যগুলি সহগগুলির (coefficients) ব্যাখ্যাকে আরও সহজ করতে পারে, কারণ প্রতিটি বৈশিষ্ট্য এখন একটি তুলনামূলক ভিত্তিতে রয়েছে।

 
StandardScaler একটি অপরিহার্য টুল যখন আপনি মেশিন লার্নিং মডেল তৈরি করছেন এবং ডেটার স্কেলিং গুরুত্বপূর্ণ হয়ে ওঠে। ডেটাকে সঠিকভাবে স্কেল করা হলে মডেলের accuracy ও convergence অনেক ভালো হয়।