رگرسیون خطی یکی از شناخته‌شده‌ترین و پرکاربردترین الگوریتم‌های یادگیری ماشین و آمار است که اساساً برای مدل‌سازی و تحلیل روابط بین متغیرها به کار می‌رود. این الگوریتم، با استفاده از یک رابطه خطی، متغیر وابسته را بر اساس متغیرهای مستقل توضیح می‌دهد و تلاش می‌کند تا به ساده‌ترین شکل ممکن، تغییرات متغیر وابسته را بر اساس تغییرات متغیرهای مستقل پیش‌بینی کند. رگرسیون خطی در علوم مختلف از جمله اقتصاد، روانشناسی، زیست‌شناسی، مهندسی و علوم اجتماعی به کار گرفته می‌شود و در این حوزه‌ها ابزاری مهم برای تحلیل داده‌ها و پیش‌بینی است. در واقع، رگرسیون خطی به تحلیل‌گران این امکان را می‌دهد تا بتوانند روابط ساده و قابل‌تفسیر بین متغیرهای مختلف را شناسایی کرده و به کمک آن‌ها مدل‌هایی قابل اعتماد برای پیش‌بینی رفتار و تغییرات در داده‌ها ایجاد کنند. به دلیل سادگی و شفافیت در تفسیر، این مدل برای بسیاری از متخصصان و حتی افراد تازه‌کار در حوزه یادگیری ماشین و علوم داده، نقطه شروعی مناسب به حساب می‌آید. در حقیقت، رگرسیون خطی اولین گام در دنیای مدل‌سازی آماری محسوب می‌شود و درک صحیح آن می‌تواند کمک شایانی به فهم سایر مدل‌های پیچیده‌تر در هوش مصنوعی و یادگیری ماشین کند. در ادامه با آرتیجنسهمراه باشید.

رگرسیون خطی چیست؟

الگوریتم رگرسیون خطی یک مدل ریاضی ساده است که برای پیش‌بینی خروجی بر اساس ورودی‌های داده‌ها استفاده می‌شود. این مدل با استفاده از یک معادله خطی به شکل y=β0+β1x داده‌ها را مدل‌سازی می‌کند، که در آن y متغیر وابسته (خروجی)، x متغیر مستقل (ورودی) و β0 و β1 به ترتیب عرض از مبدأ و شیب خط هستند. هدف اصلی رگرسیون خطی، یافتن ضرایب β0 و β1 است که خط را به بهترین شکل ممکن به داده‌ها فیت کند، به گونه‌ای که مجموع خطاها به حداقل برسد.

انواع رگرسیون خطی

رگرسیون خطی که مانند الگوریتم های دیگیری مثل الگوریتم شبکه‌های عصبی مصنوعی یکی از مهمترین الگوریتم ها حوزه هوش مصنوعی و یادگیری ماشین است، در دو نوع اصلی ساده و چندگانه تقسیم می‌شود:
- رگرسیون خطی ساده: این مدل شامل تنها یک متغیر مستقل و یک متغیر وابسته است.
- رگرسیون خطی چندگانه: در این مدل، تعداد بیشتری متغیر مستقل داریم که می‌توانند به پیش‌بینی متغیر وابسته کمک کنند. در این حالت، معادله خط به صورت زیر تغییر می‌کند:

y=β0+β1x1+β2x2+⋯+βnxn

معیارهای ارزیابی رگرسیون خطی

مدل‌های رگرسیون خطی با استفاده از معیارهای متنوعی ارزیابی می‌شوند. برخی از این معیارها عبارتند از:
- مجموع مربعات خطاها (Sum of Squared Errors - SSE): این معیار بیانگر جمع مربعات فاصله‌های پیش‌بینی مدل از مقادیر واقعی است. هرچه این مقدار کمتر باشد، مدل به داده‌ها بهتر فیت شده است.
- میانگین مربعات خطاها (Mean Squared Error - MSE): میانگین مجموع مربعات خطاهاست و خطاهای بزرگتر تأثیر بیشتری بر مقدار آن دارند.
- ضریب تعیین (R-Squared): این معیار نشان‌دهنده درصد تغییرات متغیر وابسته است که توسط مدل توضیح داده می‌شود. مقادیر نزدیک به 1 نشان‌دهنده‌ی عملکرد بهتر مدل هستند.

آموزش مدل رگرسیون خطی

برای یافتن ضرایب بهینه در مدل رگرسیون خطی، روش‌های مختلفی وجود دارد. در ادامه به مهم‌ترین آن‌ها اشاره می‌کنیم:

روش حداقل مربعات (Ordinary Least Squares - OLS)

این روش پرکاربردترین و ساده‌ترین روش برای بهینه‌سازی رگرسیون خطی است. در OLS هدف این است که ضرایب β به گونه‌ای انتخاب شوند که مجموع مربعات خطاها به حداقل برسد. فرمول ضرایب بهینه در روش حداقل مربعات به صورت زیر است:
XTY1 – (XT X) = ß
که در آن X ماتریس ویژگی‌ها و Y بردار خروجی‌ها است.

روش گرادیان کاهشی (Gradient Descent)

گرادیان کاهشی یک روش بهینه‌سازی است که می‌تواند برای یافتن ضرایب در رگرسیون خطی استفاده شود، به ویژه زمانی که تعداد داده‌ها زیاد است. در این روش، ابتدا ضرایب به صورت تصادفی مقداردهی می‌شوند و سپس در هر مرحله، ضرایب با استفاده از گرادیان تابع هزینه (مجموع مربعات خطاها) به سمت مقدار بهینه حرکت می‌کنند. این روش برای مسائل با ابعاد بالا بسیار مفید است.

فرضیات مدل رگرسیون خطی

برای اینکه مدل رگرسیون خطی نتایج مناسبی ارائه دهد، فرضیات زیر باید برآورده شوند:
- رابطه خطی بین متغیر مستقل و وابسته: مدل رگرسیون خطی بر اساس فرض رابطه خطی بین متغیرها عمل می‌کند.
- نرمال بودن خطاها: توزیع خطاها باید نرمال باشد.
- هم‌خطی یا هم‌گونی واریانس (Homoscedasticity): واریانس خطاها باید در طول تمام مقادیر ورودی ثابت باشد.
- عدم هم‌خطی شدید بین متغیرها (Multicollinearity): اگر متغیرهای مستقل به شدت با هم هم‌بستگی داشته باشند، مدل دچار مشکلاتی مانند افزایش واریانس ضرایب می‌شود.

کاربردهای رگرسیون خطی

رگرسیون خطی به دلیل سادگی و قابلیت تفسیر بالا، در بسیاری از حوزه‌ها کاربرد دارد. برخی از کاربردهای رایج عبارتند از:
- پیش‌بینی فروش و درآمد: برای پیش‌بینی میزان فروش بر اساس عوامل مختلف مانند قیمت، تبلیغات و تقاضای بازار.
- تحلیل ریسک و پیش‌بینی ورشکستگی: در حوزه مالی و بانکداری برای ارزیابی ریسک اعتباری و پیش‌بینی احتمال ورشکستگی شرکت‌ها.
- تحلیل بازار و تعیین قیمت: برای تعیین قیمت کالاها و خدمات بر اساس ویژگی‌های مختلف مانند کیفیت و بازار مصرف.
- پیش‌بینی میزان آلودگی و تغییرات آب و هوا: در حوزه‌های محیط‌زیست و اقلیم‌شناسی برای پیش‌بینی میزان آلودگی هوا و تغییرات اقلیمی.

محدودیت‌های رگرسیون خطی

اگرچه رگرسیون خطی یک ابزار قدرتمند است، اما محدودیت‌هایی دارد:
- غیرخطی بودن رابطه: اگر رابطه بین متغیرها غیرخطی باشد، مدل رگرسیون خطی نتایج دقیقی ارائه نخواهد داد.
- حساسیت به داده‌های پرت: رگرسیون خطی به داده‌های پرت حساس است و می‌تواند با حضور این داده‌ها دچار خطا شود.
- فرضیات ساده‌ساز: مدل رگرسیون خطی فرضیات ساده‌ای در مورد داده‌ها دارد که ممکن است در شرایط واقعی برقرار نباشد.
پیاده‌سازی رگرسیون خطی با استفاده از کتابخانه‌های پایتون
رگرسیون خطی را می‌توان به سادگی با استفاده از کتابخانه‌های پایتون مانند Scikit-Learn پیاده‌سازی کرد. در ادامه، یک نمونه کد پایتون برای پیاده‌سازی رگرسیون خطی آورده شده است:

from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error, r2_score
import numpy as np

 داده‌های نمونه
X = np.array([[1], [2], [3], [4], [5]])
y = np.array([1.2, 2.4, 3.1, 4.2, 5.0])

 تقسیم داده‌ها به داده‌های آموزش و آزمون
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)

 ساخت مدل رگرسیون خطی و آموزش آن
model = LinearRegression()
model.fit(X_train, y_train)

 پیش‌بینی و ارزیابی مدل
y_pred = model.predict(X_test)
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)

print("Mean Squared Error:", mse)
print("R-Squared:", r2)

نتیجه‌گیری
رگرسیون خطی یک ابزار بنیادی و کارآمد در تحلیل داده‌ها و مدل‌سازی است که به دلیل سادگی و قابلیت تفسیر بالا، در بسیاری از حوزه‌ها از جمله علوم داده، مهندسی، اقتصاد و علوم اجتماعی کاربرد گسترده‌ای دارد. این مدل به پژوهشگران و تحلیل‌گران کمک می‌کند تا رابطه‌ای خطی بین متغیرهای مستقل و وابسته برقرار کرده و به کمک آن پیش‌بینی‌های دقیقی انجام دهند. همچنین به دلیل سادگی فرمول‌ها و مفاهیم ریاضی در پس این الگوریتم، بسیاری از افراد تازه‌کار در حوزه یادگیری ماشین، ابتدا با رگرسیون خطی آشنا می‌شوند. در عین حال، استفاده از رگرسیون خطی محدودیت‌هایی نیز به همراه دارد. این مدل در شرایطی که رابطه بین متغیرها غیرخطی باشد، عملکرد مطلوبی ندارد. همچنین فرضیات ساده‌ساز مدل، مانند نرمال بودن خطاها و همگونی واریانس، ممکن است همیشه در داده‌های واقعی برقرار نباشند. از این رو، در شرایطی که این فرضیات برقرار نیستند، باید از مدل‌های پیچیده‌تر یا تکنیک‌های غیرخطی استفاده شود.