Γραμμική Παλινδρόμηση

Εισαγωγή στη Γραμμική Παλινδρόμηση

Η γραμμική παλινδρόμηση (linear regression) είναι μια στατιστική μέθοδος για τη μοντελοποίηση της σχέσης μεταξύ μιας εξαρτημένης μεταβλητής $Y$ και μιας ανεξάρτητης μεταβλητής $X$. Στόχος είναι η εύρεση της «καλύτερης» ευθείας που περιγράφει τα δεδομένα.

Το Μοντέλο Απλής Γραμμικής Παλινδρόμησης

Η εξίσωση της ευθείας παλινδρόμησης είναι:

$$\hat{y} = a + bx$$

όπου:

• $\hat{y}$ = προβλεπόμενη τιμή του $Y$
• $a$ = σταθερός όρος (τεταγμένη επί την αρχή)
• $b$ = συντελεστής παλινδρόμησης (κλίση)
• $x$ = τιμή της ανεξάρτητης μεταβλητής

Μέθοδος Ελαχίστων Τετραγώνων

Οι συντελεστές $a$ και $b$ υπολογίζονται με τη μέθοδο ελαχίστων τετραγώνων, που ελαχιστοποιεί το άθροισμα των τετραγώνων των σφαλμάτων:

$$SSE = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 = \sum_{i=1}^{n} (y_i - a - bx_i)^2$$

Τύποι Υπολογισμού

Κλίση (slope):

$$b = \frac{\text{Cov}(X, Y)}{\sigma_X^2} = \frac{\sum(x_i - \bar{x})(y_i - \bar{y})}{\sum(x_i - \bar{x})^2}$$

ή ισοδύναμα:

$$b = \frac{n\sum x_i y_i - (\sum x_i)(\sum y_i)}{n\sum x_i^2 - (\sum x_i)^2}$$

Σταθερός όρος (intercept):

$$a = \bar{y} - b\bar{x}$$

Σχέση με Συσχέτιση

Ο συντελεστής παλινδρόμησης $b$ συνδέεται με τον συντελεστή συσχέτισης $r$:

$$b = r \cdot \frac{\sigma_Y}{\sigma_X}$$

Επίσης:

$$r^2 = \frac{SSR}{SST}$$

όπου:

• $SST = \sum(y_i - \bar{y})^2$ (συνολική μεταβλητότητα)
• $SSR = \sum(\hat{y}_i - \bar{y})^2$ (μεταβλητότητα που εξηγείται)
• $SSE = \sum(y_i - \hat{y}_i)^2$ (μεταβλητότητα που δεν εξηγείται)

Ισχύει: $SST = SSR + SSE$

Ιδιότητες της Ευθείας Παλινδρόμησης

Ιδιότητα 1: Περνά από το Κέντρο Βάρους

Η ευθεία παλινδρόμησης περνά πάντα από το σημείο $(\bar{x}, \bar{y})$.

Ιδιότητα 2: Άθροισμα Καταλοίπων

$$\sum_{i=1}^{n} (y_i - \hat{y}_i) = 0$$

Ιδιότητα 3: Μέση Τιμή Προβλέψεων

$$\bar{\hat{y}} = \bar{y}$$

Συντελεστής Προσδιορισμού $R^2$

Ο συντελεστής προσδιορισμού $R^2$ μετρά πόσο καλά η ευθεία εξηγεί τα δεδομένα:

$$R^2 = 1 - \frac{SSE}{SST} = \frac{SSR}{SST}$$

• $R^2 = 0$: Η ευθεία δεν εξηγεί καθόλου τη μεταβλητότητα
• $R^2 = 1$: Τέλεια προσαρμογή (όλα τα σημεία στην ευθεία)

Κατάλοιπα (Residuals)

Τα κατάλοιπα είναι οι διαφορές μεταξύ πραγματικών και προβλεπόμενων τιμών:

$$e_i = y_i - \hat{y}_i$$

Η ανάλυση καταλοίπων χρησιμοποιείται για:

• Έλεγχο καταλληλότητας του μοντέλου
• Ανίχνευση ακραίων τιμών
• Επαλήθευση υποθέσεων

Πρόβλεψη

Για μια νέα τιμή $x_0$, η πρόβλεψη είναι:

$$\hat{y}_0 = a + bx_0$$

Προσοχή: Η πρόβλεψη είναι αξιόπιστη μόνο για τιμές $x$ εντός του εύρους των δεδομένων (αποφυγή extrapolation).

Υποθέσεις του Μοντέλου

Για έγκυρη στατιστική συμπερασματολογία:

1. Γραμμικότητα: Η σχέση είναι γραμμική
2. Ανεξαρτησία: Οι παρατηρήσεις είναι ανεξάρτητες
3. Ομοσκεδαστικότητα: Σταθερή διασπορά σφαλμάτων
4. Κανονικότητα: Τα σφάλματα ακολουθούν κανονική κατανομή