howto

How To: Lineare Regression, Polynomregression 8 feb 2010

Zum Drucken: .pdf oder .tex

Hier wird die Methode vorgestellt, eine Linearkombination beliebiger Funktionen f_j(x)∈R so auszuwählen, dass sie eine Menge von Punkten möglichst genau annähert (Fitfunktion).

Eine solche Lineare Regression eignet sich demzufolge insbesondere für Polynomregressionen. Verwendet wird die Gaußsche Methode, welche das mittlere Fehlerquadrat minimiert. Weiter unten befindet sich ein Beispiel.

Das Verfahren nennt sich übrigens Lineare Regression, weil es sich auf eine Linearkombination bezieht. Früher dachte ich immer, das bezöge sich nur auf lineare Fits, also Geraden. Stimmt aber nicht.

Zunächst einigen wir uns auf die zu verwendenden Größen und Indexkonventionen. Gegeben sind:

• n Wertepaare (x_i, y_i)
• m Funktionen f_j, jeweils mit zu ermittelnden Koeffizienten a_j

Die Punkte sollen nun möglichst genau durch die Gesamtfunktion F(x) beschrieben werden. Diese kann, je nach Bedürfnis, ein Polynom beliebigen Grades sein, oder eine Linearkombination anderer Funktionen.

Wir versuchen, die Koeffizienten a_j so zu wählen, dass dies klappt. Der Trick liegt darin, die Standardabweichung σ zu minimieren.

Hierbei genügt es bereits, den Wert der Summe zu minimieren, denn die Wurzel und der konstante Faktor 1/n verändern die Extremaleigenschaften nicht.

Da der Wert der Summe ausschließlich über die Koeffizienten a_j variiert wird, müssen die Ableitungen nach den Koeffizienten Null ergeben. Nur in diesem Fall liegt ein Extremum vor.

Führen wir innere und äußere Ableitung aus, so ergibt sich das folgende lineare Gleichungssystem:

Das sieht zwar ganz furchtbar aus, ist es aber gar nicht. Es handelt sich um m lineare Gleichungen (k=1…m), die nach den Unbekannten a_j aufgelöst werden müssen. Dies geschieht ganz einfach mit Hilfe einer Erweiterten Koeffizientenmatrix. Diese hat

• m+1 Spalten (j=1…m links sowie die Konstantenspalte rechts)
• m Zeilen (k=1…m)

Unsere Matrix sieht für m=3 Funktionen konkret folgendermaßen aus:

Jedes Matrixelement besteht aus einer Summe über alle gegebenen Wertepaare (x_i, y_i). Mittels Gauß-Jordan-Verfahren bringen wir diese Matrix nun auf Diagonalform und erhalten die gesuchten Koeffizienten a_j.

Beispiel

Wir wollen die Punkte

durch eine Funktion

beschreiben. Das heißt, wir haben diese drei Teilfunktionen:

Unsere Koeffizientenmatrix sieht deshalb folgendermaßen aus. Beim Berechnen des Sinus aufpassen: wir rechnen in Radianten, nicht in Grad!

Diese Matrix muss nun mittels Gauß-Jordan-Verfahren auf Diagonalform gebracht werden.

Damit haben wir die gesuchten Koeffizienten gefunden und können die Fitfunktion F(x) aufstellen.

Als graphische Darstellung sieht unser Ergebnis nun folgendermaßen aus. Ich gebe zu, dass es völlig sinnlos war, nur zwei Wertepaare zu fitten, und die Fitfunktion ist sicherlich auch nicht optimal. Das Beispiel zeigt dennoch, wie das Prinzip funktioniert.

Bitte schreibt mir, falls ihr Anregungen habt oder ich mich peinlicherweise verrechnet habe. Auch für mathematische Richtigstellungen bin ich dankbar.