phsk

How To: Lineare Regression, Polynomregression 8 feb 2010

Zum Drucken: .pdf oder .tex

Hier wird die Methode vorgestellt, eine Linearkombination beliebiger Funktionen fj(x)∈R so auszuwählen, dass sie eine Menge von Punkten möglichst genau annähert (Fitfunktion).

Eine solche Lineare Regression eignet sich demzufolge insbesondere für Polynomregressionen. Verwendet wird die Gaußsche Methode, welche das mittlere Fehlerquadrat minimiert. Weiter unten befindet sich ein Beispiel.

Das Verfahren nennt sich übrigens Lineare Regression, weil es sich auf eine Linearkombination bezieht. Früher dachte ich immer, das bezöge sich nur auf lineare Fits, also Geraden. Stimmt aber nicht.

Zunächst einigen wir uns auf die zu verwendenden Größen und Indexkonventionen. Gegeben sind:

Die Punkte sollen nun möglichst genau durch die Gesamtfunktion F(x) beschrieben werden. Diese kann, je nach Bedürfnis, ein Polynom beliebigen Grades sein, oder eine Linearkombination anderer Funktionen.

F(x) = Summe(a_j * f_j)

Wir versuchen, die Koeffizienten aj so zu wählen, dass dies klappt. Der Trick liegt darin, die Standardabweichung σ zu minimieren.

Standardabweichung

Hierbei genügt es bereits, den Wert der Summe zu minimieren, denn die Wurzel und der konstante Faktor 1/n verändern die Extremaleigenschaften nicht.

Da der Wert der Summe ausschließlich über die Koeffizienten aj variiert wird, müssen die Ableitungen nach den Koeffizienten Null ergeben. Nur in diesem Fall liegt ein Extremum vor.

Ableitung

Führen wir innere und äußere Ableitung aus, so ergibt sich das folgende lineare Gleichungssystem:

Lineares Gleichungssystem

Das sieht zwar ganz furchtbar aus, ist es aber gar nicht. Es handelt sich um m lineare Gleichungen (k=1…m), die nach den Unbekannten aj aufgelöst werden müssen. Dies geschieht ganz einfach mit Hilfe einer Erweiterten Koeffizientenmatrix. Diese hat

Unsere Matrix sieht für m=3 Funktionen konkret folgendermaßen aus:

Koeffizientenmatrix

Jedes Matrixelement besteht aus einer Summe über alle gegebenen Wertepaare (xi, yi). Mittels Gauß-Jordan-Verfahren bringen wir diese Matrix nun auf Diagonalform und erhalten die gesuchten Koeffizienten aj.

Diagonalform


Beispiel

Wir wollen die Punkte

Wertepaare

durch eine Funktion

F(x)

beschreiben. Das heißt, wir haben diese drei Teilfunktionen:

f1, f2, f3

Unsere Koeffizientenmatrix sieht deshalb folgendermaßen aus. Beim Berechnen des Sinus aufpassen: wir rechnen in Radianten, nicht in Grad!

Erweiterte Koeffizientenmatrix

Diese Matrix muss nun mittels Gauß-Jordan-Verfahren auf Diagonalform gebracht werden.

Gauss-Jordan-Verfahren

Damit haben wir die gesuchten Koeffizienten gefunden und können die Fitfunktion F(x) aufstellen.

Resultat

Als graphische Darstellung sieht unser Ergebnis nun folgendermaßen aus. Ich gebe zu, dass es völlig sinnlos war, nur zwei Wertepaare zu fitten, und die Fitfunktion ist sicherlich auch nicht optimal. Das Beispiel zeigt dennoch, wie das Prinzip funktioniert.

Diagramm Regression

Bitte schreibt mir, falls ihr Anregungen habt oder ich mich peinlicherweise verrechnet habe. Auch für mathematische Richtigstellungen bin ich dankbar.

 
tagged math, phys, regression and howto