Methode der kleinsten Quadrate für lineare Gleichungen. Lineare paarweise Regressionsanalyse. Erstellen einer Prognose mithilfe der Methode der kleinsten Quadrate. Beispiel einer Problemlösung

Wenn eine bestimmte physikalische Größe von einer anderen Größe abhängt, kann diese Abhängigkeit untersucht werden, indem y bei verschiedenen x-Werten gemessen wird. Als Ergebnis von Messungen werden eine Reihe von Werten erhalten:

x 1, x 2, ..., x i, ..., x n;

y 1 , y 2 , ..., y i , ... , y n .

Basierend auf den Daten eines solchen Experiments ist es möglich, einen Graphen der Abhängigkeit y = ƒ(x) zu erstellen. Die resultierende Kurve ermöglicht es, die Form der Funktion ƒ(x) zu beurteilen. Allerdings bleiben die konstanten Koeffizienten, die in diese Funktion eingehen, unbekannt. Sie können mit der Methode der kleinsten Quadrate ermittelt werden. Experimentelle Punkte liegen in der Regel nicht genau auf der Kurve. Die Methode der kleinsten Quadrate erfordert, dass die Summe der Quadrate der Abweichungen der experimentellen Punkte von der Kurve, d. h. 2 war die kleinste.

In der Praxis wird diese Methode am häufigsten (und am einfachsten) bei einem linearen Zusammenhang angewendet, d. h. Wann

y = kx oder y = a + bx.

Die lineare Abhängigkeit ist in der Physik weit verbreitet. Und selbst wenn die Beziehung nichtlinear ist, versuchen sie normalerweise, ein Diagramm so zu konstruieren, dass eine gerade Linie entsteht. Wenn beispielsweise davon ausgegangen wird, dass der Brechungsindex von Glas n über die Beziehung n = a + b/λ 2 mit der Lichtwellenlänge λ zusammenhängt, wird die Abhängigkeit von n von λ -2 im Diagramm aufgetragen.

Bedenken Sie die Abhängigkeit y = kx(eine gerade Linie, die durch den Ursprung geht). Bilden wir den Wert φ aus der Summe der Quadrate der Abweichungen unserer Punkte von der Geraden

Der Wert von φ ist immer positiv und fällt umso kleiner aus, je näher unsere Punkte an der Geraden liegen. Die Methode der kleinsten Quadrate besagt, dass der Wert für k so gewählt werden sollte, dass φ ein Minimum aufweist

oder
(19)

Die Berechnung zeigt, dass der quadratische Mittelfehler bei der Bestimmung des Werts von k gleich ist

, (20)
wobei n die Anzahl der Messungen ist.

Betrachten wir nun einen etwas schwierigeren Fall, bei dem die Punkte die Formel erfüllen müssen y = a + bx(eine gerade Linie, die nicht durch den Ursprung geht).

Die Aufgabe besteht darin, aus der verfügbaren Wertemenge x i, y i die besten Werte von a und b zu finden.

Stellen wir erneut die quadratische Form φ zusammen, die der Summe der quadratischen Abweichungen der Punkte x i, y i von der Geraden entspricht

und finden Sie die Werte von a und b, für die φ ein Minimum hat

;

.

.

Die gemeinsame Lösung dieser Gleichungen ergibt

(21)

Die quadratischen Mittelfehler der Bestimmung von a und b sind gleich

(23)

.  (24)

Bei der Verarbeitung von Messergebnissen mit dieser Methode ist es sinnvoll, alle Daten in einer Tabelle zusammenzufassen, in der alle in den Formeln (19)(24) enthaltenen Beträge vorläufig berechnet werden. Die Formen dieser Tabellen sind in den folgenden Beispielen angegeben.

Beispiel 1. Die Grundgleichung der Dynamik der Rotationsbewegung ε = M/J (eine gerade Linie durch den Ursprung) wurde untersucht. Bei verschiedenen Werten des Moments M wurde die Winkelbeschleunigung ε eines bestimmten Körpers gemessen. Es ist erforderlich, das Trägheitsmoment dieses Körpers zu bestimmen. In der zweiten und dritten Spalte sind die Ergebnisse der Messungen des Kraftmoments und der Winkelbeschleunigung aufgeführt Tabelle 5.

Tabelle 5

N	M, N m	ε, s -1	M 2	M ε	ε - kM	(ε - kM) 2
1	1.44	0.52	2.0736	0.7488	0.039432	0.001555
2	3.12	1.06	9.7344	3.3072	0.018768	0.000352
3	4.59	1.45	21.0681	6.6555	-0.08181	0.006693
4	5.90	1.92	34.81	11.328	-0.049	0.002401
5	7.45	2.56	55.5025	19.072	0.073725	0.005435
∑	–	–	123.1886	41.1115	–	0.016436

Mit Formel (19) ermitteln wir:

.

Um den quadratischen Mittelwertfehler zu bestimmen, verwenden wir Formel (20)

0.005775kg-1 · M -2 .

Nach Formel (18) gilt

; .

SJ = (2,996 0,005775)/0,3337 = 0,05185 kg m2.

Nachdem wir die Zuverlässigkeit P = 0,95 festgelegt haben, finden wir unter Verwendung der Tabelle der Student-Koeffizienten für n = 5 t = 2,78 und bestimmen den absoluten Fehler ΔJ = 2,78 0,05185 = 0,1441 ≈ 0,2 kg m2.

Schreiben wir die Ergebnisse in das Formular:

J = (3,0 ± 0,2) kg m2;

Beispiel 2. Berechnen wir den Temperaturkoeffizienten des Metallwiderstands mithilfe der Methode der kleinsten Quadrate. Der Widerstand hängt linear von der Temperatur ab

R t = R 0 (1 + α t°) = R 0 + R 0 α t°.

Der freie Term bestimmt den Widerstand R 0 bei einer Temperatur von 0 °C und der Steigungskoeffizient ist das Produkt aus dem Temperaturkoeffizienten α und dem Widerstand R 0 .

Die Ergebnisse der Messungen und Berechnungen sind in der Tabelle aufgeführt ( siehe Tabelle 6).

Tabelle 6

N	t°, s	r, Ohm	t-¯t	(t-¯t) 2	(t-¯t)r	r - bt - a	(r - bt - a) 2 .10 -6
1	23	1.242	-62.8333	3948.028	-78.039	0.007673	58.8722
2	59	1.326	-26.8333	720.0278	-35.581	-0.00353	12.4959
3	84	1.386	-1.83333	3.361111	-2.541	-0.00965	93.1506
4	96	1.417	10.16667	103.3611	14.40617	-0.01039	107.898
5	120	1.512	34.16667	1167.361	51.66	0.021141	446.932
6	133	1.520	47.16667	2224.694	71.69333	-0.00524	27.4556
∑	515	8.403	–	8166.833	21.5985	–	746.804
∑/n	85.83333	1.4005	–	–	–	–	–

Mit den Formeln (21), (22) ermitteln wir

R 0 = ¯ R- α R 0 ¯ t = 1,4005 - 0,002645 85,83333 = 1,1735 Ohm.

Finden wir einen Fehler in der Definition von α. Da gilt dann nach Formel (18):

.

Mit den Formeln (23), (24) haben wir

;

0.014126 Ohm.

Nachdem wir die Zuverlässigkeit auf P = 0,95 eingestellt haben und die Tabelle der Student-Koeffizienten für n = 6 verwenden, finden wir t = 2,57 und bestimmen den absoluten Fehler Δα = 2,57 0,000132 = 0,000338 Grad -1.

α = (23 ± 4) 10 -4 Hagel-1 bei P = 0,95.

Beispiel 3. Es ist erforderlich, den Krümmungsradius der Linse mithilfe der Newtonschen Ringe zu bestimmen. Die Radien r m der Newtonschen Ringe wurden gemessen und die Anzahl dieser Ringe m bestimmt. Die Radien der Newtonschen Ringe hängen durch die Gleichung mit dem Krümmungsradius der Linse R und der Ringzahl zusammen

r 2 m = mλR - 2d 0 R,

wobei d 0 die Dicke des Spaltes zwischen Linse und planparalleler Platte (bzw. die Verformung der Linse) ist,

λ Wellenlänge des einfallenden Lichts.

λ = (600 ± 6) nm;
r 2 m = y;
m = x;
λR = b;
-2d 0 R = a,

dann nimmt die Gleichung die Form an y = a + bx.

.

Die Ergebnisse von Messungen und Berechnungen werden eingetragen Tabelle 7.

Tabelle 7

N	x = m	y = r 2, 10 -2 mm 2	m -¯ m	(m -¯m) 2	(m -¯ m)y	y - bx - a, 10 -4	(y - bx - a) 2 , 10 -6
1	1	6.101	-2.5	6.25	-0.152525	12.01	1.44229
2	2	11.834	-1.5	2.25	-0.17751	-9.6	0.930766
3	3	17.808	-0.5	0.25	-0.08904	-7.2	0.519086
4	4	23.814	0.5	0.25	0.11907	-1.6	0.0243955
5	5	29.812	1.5	2.25	0.44718	3.28	0.107646
6	6	35.760	2.5	6.25	0.894	3.12	0.0975819
∑	21	125.129	–	17.5	1.041175	–	3.12176
∑/n	3.5	20.8548333	–	–	–	–	–

Nach der Nivellierung erhalten wir eine Funktion der folgenden Form: g (x) = x + 1 3 + 1 .

Wir können diese Daten mithilfe der linearen Beziehung y = a x + b annähern, indem wir die entsprechenden Parameter berechnen. Dazu müssen wir die sogenannte Methode der kleinsten Quadrate anwenden. Sie müssen außerdem eine Zeichnung anfertigen, um zu prüfen, welche Linie die experimentellen Daten am besten ausrichtet.

Yandex.RTB R-A-339285-1

Was genau ist OLS (Methode der kleinsten Quadrate)?

Das Wichtigste, was wir tun müssen, ist, solche linearen Abhängigkeitskoeffizienten zu finden, bei denen der Wert der Funktion zweier Variablen F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 sein wird am kleinsten. Mit anderen Worten, für bestimmte Werte von a und b wird die Summe der quadrierten Abweichungen der dargestellten Daten von der resultierenden Geraden einen Mindestwert haben. Dies ist die Bedeutung der Methode der kleinsten Quadrate. Um das Beispiel zu lösen, müssen wir lediglich das Extremum der Funktion zweier Variablen ermitteln.

So leiten Sie Formeln zur Berechnung von Koeffizienten ab

Um Formeln zur Berechnung von Koeffizienten abzuleiten, müssen Sie ein Gleichungssystem mit zwei Variablen erstellen und lösen. Dazu berechnen wir die partiellen Ableitungen des Ausdrucks F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 nach a und b und setzen sie mit 0 gleich.

δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ i = 1 n y i ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i

Um ein Gleichungssystem zu lösen, können Sie beliebige Methoden verwenden, beispielsweise die Substitution oder die Cramer-Methode. Als Ergebnis sollten wir über Formeln verfügen, mit denen sich Koeffizienten mithilfe der Methode der kleinsten Quadrate berechnen lassen.

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n

Wir haben die Werte der Variablen berechnet, bei denen die Funktion vorliegt
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 nimmt den Minimalwert an. Im dritten Absatz werden wir beweisen, warum es genau so ist.

Dies ist die praktische Anwendung der Methode der kleinsten Quadrate. Seine Formel, die zum Ermitteln des Parameters a verwendet wird, umfasst ∑ i = 1 n x i, ∑ i = 1 n y i, ∑ i = 1 n x i y i, ∑ i = 1 n x i 2 sowie den Parameter
n – es bezeichnet die Menge der experimentellen Daten. Wir empfehlen Ihnen, jeden Betrag separat zu berechnen. Der Wert des Koeffizienten b wird unmittelbar nach a berechnet.

Kehren wir zum ursprünglichen Beispiel zurück.

Beispiel 1

Hier ist n gleich fünf. Um die Berechnung der in den Koeffizientenformeln enthaltenen erforderlichen Beträge einfacher zu gestalten, füllen wir die Tabelle aus.

	ich = 1	i=2	i=3	i=4	ich=5	∑ i = 1 5
x i	0	1	2	4	5	12
y i	2 , 1	2 , 4	2 , 6	2 , 8	3	12 , 9
x i y i	0	2 , 4	5 , 2	11 , 2	15	33 , 8
x i 2	0	1	4	16	25	46

Lösung

Die vierte Zeile enthält die Daten, die durch Multiplikation der Werte aus der zweiten Zeile mit den Werten der dritten Zeile für jedes einzelne i erhalten werden. Die fünfte Zeile enthält die Daten aus der zweiten, quadriert. Die letzte Spalte zeigt die Summen der Werte einzelner Zeilen.

Lassen Sie uns die Methode der kleinsten Quadrate verwenden, um die benötigten Koeffizienten a und b zu berechnen. Ersetzen Sie dazu die erforderlichen Werte aus der letzten Spalte und berechnen Sie die Beträge:

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n ⇒ a = 5 33, 8 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184

Es stellt sich heraus, dass die erforderliche Näherungsgerade wie folgt aussehen wird: y = 0, 165 x + 2, 184. Jetzt müssen wir bestimmen, welche Linie die Daten besser annähert – g (x) = x + 1 3 + 1 oder 0, 165 x + 2, 184. Lassen Sie uns mit der Methode der kleinsten Quadrate schätzen.

Um den Fehler zu berechnen, müssen wir die Summe der quadratischen Abweichungen der Daten von den Geraden σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 und σ 2 = ∑ i = 1 n (y i) ermitteln - g (x i)) 2, der Mindestwert entspricht einer geeigneteren Linie.

σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0, 165 x i + 2, 184)) 2 ≈ 0, 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0,096

Antwort: da σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0,165 x + 2,184.

Die Methode der kleinsten Quadrate ist in der grafischen Darstellung deutlich dargestellt. Die rote Linie markiert die Gerade g(x) = x + 1 3 + 1, die blaue Linie markiert y = 0, 165 x + 2, 184. Die Originaldaten sind durch rosa Punkte gekennzeichnet.

Lassen Sie uns erklären, warum genau solche Näherungen benötigt werden.

Sie können bei Aufgaben eingesetzt werden, die eine Datenglättung erfordern, sowie bei Aufgaben, bei denen Daten interpoliert oder extrapoliert werden müssen. Beispielsweise könnte man in dem oben diskutierten Problem den Wert der beobachteten Größe y bei x = 3 oder bei x = 6 finden. Solchen Beispielen haben wir einen eigenen Artikel gewidmet.

Beweis der OLS-Methode

Damit die Funktion bei der Berechnung von a und b einen Mindestwert annimmt, ist es notwendig, dass an einem bestimmten Punkt die Matrix der quadratischen Form des Differentials der Funktion der Form F (a, b) = ∑ i = ist 1 n (y i - (a x i + b)) 2 ist positiv definit. Wir zeigen Ihnen, wie es aussehen sollte.

Beispiel 2

Wir haben ein Differential zweiter Ordnung der folgenden Form:

d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2 b

Lösung

δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a; b) δ a δ b = δ δ F (a; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n

Mit anderen Worten, wir können es so schreiben: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b.

Wir haben eine Matrix der quadratischen Form M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n erhalten.

In diesem Fall ändern sich die Werte einzelner Elemente in Abhängigkeit von a und b nicht. Ist diese Matrix positiv definit? Um diese Frage zu beantworten, prüfen wir, ob die Winkelminorwerte positiv sind.

Wir berechnen den Nebenwinkel erster Ordnung: 2 ∑ i = 1 n (x i) 2 > 0 . Da die Punkte x i nicht zusammenfallen, ist die Ungleichung streng. Wir werden dies bei weiteren Berechnungen berücksichtigen.

Wir berechnen den Minor-Winkel zweiter Ordnung:

d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2

Danach beweisen wir die Ungleichung n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 mithilfe mathematischer Induktion.

1. Prüfen wir, ob diese Ungleichung für ein beliebiges n gilt. Nehmen wir 2 und berechnen:

2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Wir haben eine korrekte Gleichheit erhalten (wenn die Werte x 1 und x 2 nicht übereinstimmen).

1. Nehmen wir an, dass diese Ungleichung für n gilt, d. h. n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – wahr.
2. Jetzt werden wir die Gültigkeit für n + 1 beweisen, d.h. dass (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0, wenn n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .

Wir berechnen:

(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1 n x i + ∑ i = 1 n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1 - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

Der in geschweifte Klammern eingeschlossene Ausdruck ist größer als 0 (basierend auf dem, was wir in Schritt 2 angenommen haben), und die übrigen Terme sind größer als 0, da es sich bei ihnen alles um Zahlenquadrate handelt. Wir haben die Ungleichheit bewiesen.

Antwort: Die gefundenen a und b entsprechen dem kleinsten Wert der Funktion F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2, was bedeutet, dass sie die erforderlichen Parameter der Methode der kleinsten Quadrate sind (LSM).

Wenn Sie einen Fehler im Text bemerken, markieren Sie ihn bitte und drücken Sie Strg+Eingabetaste

Mit der Methode der kleinsten Quadrate (OLS) können Sie verschiedene Größen anhand der Ergebnisse vieler Messungen schätzen, die zufällige Fehler enthalten.

Merkmale multinationaler Unternehmen

Der Grundgedanke dieser Methode besteht darin, dass die Summe der Fehlerquadrate als Kriterium für die Genauigkeit der Problemlösung betrachtet wird, die angestrebt wird, zu minimieren. Bei der Anwendung dieser Methode können sowohl numerische als auch analytische Ansätze verwendet werden.

Als numerische Implementierung geht es bei der Methode der kleinsten Quadrate insbesondere darum, möglichst viele Messungen einer unbekannten Zufallsvariablen vorzunehmen. Darüber hinaus ist die Lösung umso genauer, je mehr Berechnungen durchgeführt werden. Basierend auf diesem Berechnungssatz (Ausgangsdaten) wird ein weiterer Satz geschätzter Lösungen ermittelt, aus denen dann die beste ausgewählt wird. Wenn die Lösungsmenge parametrisiert ist, reduziert sich die Methode der kleinsten Quadrate darauf, den optimalen Wert der Parameter zu finden.

Als analytischer Ansatz zur Implementierung von LSM wird anhand eines Satzes von Ausgangsdaten (Messungen) und eines erwarteten Satzes von Lösungen ein bestimmter (funktionaler) Satz bestimmt, der durch eine Formel ausgedrückt werden kann, die als bestimmte Hypothese erhalten wird, die einer Bestätigung bedarf. In diesem Fall kommt es bei der Methode der kleinsten Quadrate darauf an, das Minimum dieser Funktion auf der Menge der quadratischen Fehler der Originaldaten zu finden.

Bitte beachten Sie, dass es sich nicht um die Fehler selbst handelt, sondern um die Fehlerquadrate. Warum? Tatsache ist, dass Abweichungen der Messwerte vom exakten Wert oft sowohl positiv als auch negativ sind. Bei der Ermittlung des Durchschnitts kann eine einfache Summierung zu einer falschen Schlussfolgerung über die Qualität der Schätzung führen, da die Aufhebung positiver und negativer Werte die Aussagekraft der Stichprobenziehung mehrerer Messungen verringert. Und damit auch die Genauigkeit der Beurteilung.

Um dies zu verhindern, werden die quadrierten Abweichungen aufsummiert. Darüber hinaus wird die Summe der quadrierten Fehler extrahiert, um die Dimension des Messwerts und der endgültigen Schätzung anzugleichen

Einige Anwendungen von MNC

MNC wird in verschiedenen Bereichen häufig eingesetzt. In der Wahrscheinlichkeitstheorie und der mathematischen Statistik wird die Methode beispielsweise verwendet, um ein Merkmal einer Zufallsvariablen wie die Standardabweichung zu bestimmen, die die Breite des Wertebereichs der Zufallsvariablen bestimmt.

Die Methode der kleinsten Quadrate ist ein mathematisches Verfahren zur Konstruktion einer linearen Gleichung, die am besten zu einer Menge geordneter Paare passt, indem die Werte für a und b, die Koeffizienten in der Geradengleichung, ermittelt werden. Das Ziel der Methode der kleinsten Quadrate besteht darin, den gesamten quadratischen Fehler zwischen den Werten von y und ŷ zu minimieren. Wenn wir für jeden Punkt den Fehler ŷ bestimmen, minimiert die Methode der kleinsten Quadrate:

wobei n = Anzahl der geordneten Paare um die Linie. so nah wie möglich an den Daten.

Dieses Konzept wird in der Abbildung veranschaulicht

Basierend auf der Abbildung minimiert die Linie, die am besten zu den Daten passt, die Regressionslinie, den gesamten quadratischen Fehler der vier Punkte im Diagramm. Ich zeige Ihnen anhand des folgenden Beispiels, wie Sie dies anhand der Methode der kleinsten Quadrate ermitteln können.

Stellen Sie sich ein junges Paar vor, das kürzlich zusammengezogen ist und sich einen Schminktisch im Badezimmer teilt. Der junge Mann bemerkte, dass die Hälfte seines Tisches unaufhaltsam schrumpfte und durch Haarschaum und Sojakomplexe an Boden verlor. In den letzten Monaten hatte der Mann genau beobachtet, wie sich die Anzahl der Gegenstände auf ihrer Seite des Tisches erhöhte. Die folgende Tabelle zeigt die Anzahl der Gegenstände, die sich in den letzten Monaten auf dem Badezimmerwaschtisch des Mädchens angesammelt haben.

Da unser Ziel darin besteht, herauszufinden, ob die Anzahl der Elemente im Laufe der Zeit zunimmt, ist „Monat“ die unabhängige Variable und „Anzahl der Elemente“ die abhängige Variable.

Mit der Methode der kleinsten Quadrate ermitteln wir die Gleichung, die am besten zu den Daten passt, indem wir die Werte von a, dem y-Achsenabschnitt, und b, der Steigung der Geraden, berechnen:

a = y Durchschnitt - bx Durchschnitt

Dabei ist x avg der Durchschnittswert von x, der unabhängigen Variablen, und y avg der Durchschnittswert von y, der unabhängigen Variablen.

Die folgende Tabelle fasst die für diese Gleichungen erforderlichen Berechnungen zusammen.

Die Wirkungskurve für unser Badewannenbeispiel würde sich durch die folgende Gleichung ergeben:

Da unsere Gleichung eine positive Steigung von 0,976 hat, hat der Mann Beweise dafür, dass die Anzahl der Artikel auf dem Tisch im Laufe der Zeit um durchschnittlich 1 Artikel pro Monat zunimmt. Die Grafik zeigt die Wirkungskurve mit geordneten Paaren.

Die Erwartung für die Anzahl der Artikel in den nächsten sechs Monaten (Monat 16) wird wie folgt berechnet:

ŷ = 5,13 + 0,976x = 5,13 + 0,976(16) ~ 20,7 = 21 Elemente

Es ist also an der Zeit, dass unser Held etwas unternimmt.

TREND-Funktion in Excel

Wie Sie wahrscheinlich schon vermutet haben, verfügt Excel über eine Funktion zum Berechnen von Werten nach Methode der kleinsten Quadrate. Diese Funktion heißt TREND. Seine Syntax ist wie folgt:

TREND (bekannte Y-Werte; bekannte X-Werte; neue X-Werte; Konstante)

bekannte Y-Werte – ein Array abhängiger Variablen, in unserem Fall die Anzahl der Objekte in der Tabelle

bekannte Werte X – ein Array unabhängiger Variablen, in unserem Fall ist dies der Monat

neue X-Werte – neue X-Werte (Monate) für die TREND-Funktion gibt den erwarteten Wert der abhängigen Variablen zurück (Anzahl der Elemente)

const – optional. Ein boolescher Wert, der angibt, ob die Konstante b 0 sein muss.

Die Abbildung zeigt beispielsweise die TREND-Funktion, mit der die erwartete Anzahl von Gegenständen auf einem Badezimmerwaschtisch für den 16. Monat ermittelt wird.

Methode der kleinsten Quadrate

Methode der kleinsten Quadrate ( OLS, OLS, gewöhnliche kleinste Quadrate) - eine der grundlegenden Methoden der Regressionsanalyse zur Schätzung unbekannter Parameter von Regressionsmodellen anhand von Beispieldaten. Die Methode basiert auf der Minimierung der Summe der Quadrate der Regressionsresiduen.

Es ist zu beachten, dass die Methode der kleinsten Quadrate selbst als Methode zur Lösung eines Problems in einem beliebigen Bereich bezeichnet werden kann, wenn die Lösung in einem Kriterium zur Minimierung der Quadratsumme einiger Funktionen der erforderlichen Variablen liegt oder dieses erfüllt. Daher kann die Methode der kleinsten Quadrate auch für eine ungefähre Darstellung (Approximation) einer bestimmten Funktion durch andere (einfachere) Funktionen verwendet werden, wenn eine Menge von Größen gefunden wird, die Gleichungen oder Einschränkungen erfüllen, deren Anzahl die Anzahl dieser Größen übersteigt , usw.

Die Essenz von MNC

Gegeben sei ein (parametrisches) Modell einer probabilistischen (Regressions-)Beziehung zwischen der (erklärten) Variablen j und viele Faktoren (erklärende Variablen) X

Wo ist der Vektor unbekannter Modellparameter?

- Zufälliger Modellfehler.

Lassen Sie es auch Beispielbeobachtungen der Werte dieser Variablen geben. Sei die Beobachtungszahl (). Dann sind die Werte der Variablen in der Beobachtung. Dann ist es für gegebene Werte der Parameter b möglich, die theoretischen (Modell-)Werte der erklärten Variablen y zu berechnen:

Die Größe der Residuen hängt von den Werten der Parameter b ab.

Das Wesen der Methode der kleinsten Quadrate (gewöhnlich, klassisch) besteht darin, Parameter b zu finden, für die die Summe der Quadrate der Residuen (eng. Restquadratsumme) wird minimal sein:

Im Allgemeinen kann dieses Problem durch numerische Optimierungs- (Minimierungs-)Methoden gelöst werden. In diesem Fall reden sie darüber nichtlineare kleinste Quadrate(NLS oder NLS – Englisch) Nichtlineare kleinste Quadrate). In vielen Fällen ist es möglich, eine analytische Lösung zu erhalten. Um das Minimierungsproblem zu lösen, ist es notwendig, stationäre Punkte der Funktion zu finden, indem man sie nach den unbekannten Parametern b differenziert, die Ableitungen mit Null gleichsetzt und das resultierende Gleichungssystem löst:

Wenn die Zufallsfehler des Modells normalverteilt sind, die gleiche Varianz aufweisen und unkorreliert sind, sind die OLS-Parameterschätzungen dieselben wie die Maximum-Likelihood-Schätzungen (MLM).

OLS im Fall eines linearen Modells

Die Regressionsabhängigkeit sei linear:

Lassen j ist ein Spaltenvektor von Beobachtungen der erklärten Variablen und eine Matrix von Faktorbeobachtungen (die Zeilen der Matrix sind die Vektoren der Faktorwerte in einer bestimmten Beobachtung, die Spalten sind der Vektor der Werte eines bestimmten Faktors in allen Beobachtungen). Die Matrixdarstellung des linearen Modells lautet:

Dann sind der Vektor der Schätzungen der erklärten Variablen und der Vektor der Regressionsresiduen gleich

Dementsprechend ist die Summe der Quadrate der Regressionsresiduen gleich

Wenn wir diese Funktion nach dem Parametervektor differenzieren und die Ableitungen mit Null gleichsetzen, erhalten wir ein Gleichungssystem (in Matrixform):

.

Die Lösung dieses Gleichungssystems ergibt die allgemeine Formel für Schätzungen der kleinsten Quadrate für ein lineares Modell:

Für analytische Zwecke ist die letztere Darstellung dieser Formel nützlich. Wenn in einem Regressionsmodell die Daten zentriert, dann hat in dieser Darstellung die erste Matrix die Bedeutung einer Stichproben-Kovarianzmatrix von Faktoren und die zweite ist ein Vektor von Kovarianzen von Faktoren mit der abhängigen Variablen. Wenn zusätzlich die Daten auch sind normalisiert zu MSE (das heißt letztendlich standardisiert), dann hat die erste Matrix die Bedeutung einer Stichprobenkorrelationsmatrix von Faktoren, der zweite Vektor - ein Vektor von Stichprobenkorrelationen von Faktoren mit der abhängigen Variablen.

Eine wichtige Eigenschaft von OLS-Schätzungen für Modelle mit Konstante- Die Linie der konstruierten Regression verläuft durch den Schwerpunkt der Stichprobendaten, d. h. die Gleichheit ist erfüllt:

Insbesondere im Extremfall, wenn der einzige Regressor eine Konstante ist, stellen wir fest, dass die OLS-Schätzung des einzigen Parameters (der Konstante selbst) gleich dem Durchschnittswert der erklärten Variablen ist. Das heißt, das arithmetische Mittel, das für seine guten Eigenschaften aus den Gesetzen der großen Zahlen bekannt ist, ist auch eine Schätzung der kleinsten Quadrate – es erfüllt das Kriterium der minimalen Summe der quadratischen Abweichungen davon.

Beispiel: einfachste (paarweise) Regression

Bei der gepaarten linearen Regression werden die Berechnungsformeln vereinfacht (Sie können auf Matrixalgebra verzichten):

Eigenschaften von OLS-Schätzern

Zunächst stellen wir fest, dass es sich bei den OLS-Schätzungen für lineare Modelle um lineare Schätzungen handelt, wie aus der obigen Formel hervorgeht. Für unverzerrte OLS-Schätzungen ist es notwendig und ausreichend, die wichtigste Bedingung der Regressionsanalyse zu erfüllen: Die mathematische Erwartung eines zufälligen Fehlers, bedingt durch die Faktoren, muss gleich Null sein. Diese Bedingung ist insbesondere dann erfüllt, wenn

1. die mathematische Erwartung zufälliger Fehler ist Null und
2. Faktoren und Zufallsfehler sind unabhängige Zufallsvariablen.

Die zweite Bedingung – die Bedingung der Exogenität der Faktoren – ist grundlegend. Wenn diese Eigenschaft nicht erfüllt ist, können wir davon ausgehen, dass fast alle Schätzungen äußerst unbefriedigend sind: Sie sind nicht einmal konsistent (d. h. selbst eine sehr große Datenmenge ermöglicht es uns in diesem Fall nicht, qualitativ hochwertige Schätzungen zu erhalten ). Im klassischen Fall wird im Gegensatz zu einem Zufallsfehler eine stärkere Annahme über den Determinismus der Faktoren getroffen, was automatisch bedeutet, dass die Exogenitätsbedingung erfüllt ist. Im allgemeinen Fall reicht es für die Konsistenz der Schätzungen aus, die Exogenitätsbedingung zusammen mit der Konvergenz der Matrix zu einer nicht singulären Matrix zu erfüllen, wenn die Stichprobengröße bis ins Unendliche ansteigt.

Damit Schätzungen der (gewöhnlichen) kleinsten Quadrate neben Konsistenz und Unvoreingenommenheit auch effektiv sind (die besten in der Klasse der linearen unvoreingenommenen Schätzungen), müssen zusätzliche Eigenschaften des Zufallsfehlers erfüllt sein:

Diese Annahmen können für die Kovarianzmatrix des Zufallsfehlervektors formuliert werden

Ein lineares Modell, das diese Bedingungen erfüllt, heißt klassisch. OLS-Schätzungen für die klassische lineare Regression sind erwartungstreue, konsistente und die effektivsten Schätzungen in der Klasse aller linearen erwartungstreuen Schätzungen (in der englischen Literatur wird die Abkürzung manchmal verwendet). BLAU (Bester linearer, unvermittelter Schätzer) – die beste lineare unverzerrte Schätzung; in der russischen Literatur wird häufiger das Gauß-Markov-Theorem zitiert). Wie leicht zu zeigen ist, ist die Kovarianzmatrix des Vektors der Koeffizientenschätzungen gleich:

Generalisiertes OLS

Die Methode der kleinsten Quadrate ermöglicht eine breite Verallgemeinerung. Anstatt die Summe der Quadrate der Residuen zu minimieren, kann man eine positiv definite quadratische Form des Residuenvektors minimieren, bei der es sich um eine symmetrische positiv definite Gewichtsmatrix handelt. Ein Sonderfall dieses Ansatzes ist die konventionelle Methode der kleinsten Quadrate, bei der die Gewichtsmatrix proportional zur Identitätsmatrix ist. Wie aus der Theorie der symmetrischen Matrizen (oder Operatoren) bekannt ist, gibt es für solche Matrizen eine Zerlegung. Folglich kann das angegebene Funktional wie folgt dargestellt werden, das heißt, dieses Funktional kann als Summe der Quadrate einiger transformierter „Reste“ dargestellt werden. Somit können wir eine Klasse von Methoden der kleinsten Quadrate unterscheiden – LS-Methoden (Least Squares).

Es wurde bewiesen (Theorem von Aitken), dass für ein verallgemeinertes lineares Regressionsmodell (bei dem keine Einschränkungen für die Kovarianzmatrix zufälliger Fehler gelten) die sogenannten Schätzungen am effektivsten (in der Klasse der linearen unverzerrten Schätzungen) sind. verallgemeinerte kleinste Quadrate (GLS – Generalized Least Squares)- LS-Methode mit einer Gewichtsmatrix, die der inversen Kovarianzmatrix zufälliger Fehler entspricht: .

Es kann gezeigt werden, dass die Formel für GLS-Schätzungen der Parameter eines linearen Modells die Form hat

Die Kovarianzmatrix dieser Schätzungen ist dementsprechend gleich

Tatsächlich liegt das Wesen von OLS in einer bestimmten (linearen) Transformation (P) der Originaldaten und der Anwendung gewöhnlicher OLS auf die transformierten Daten. Der Zweck dieser Transformation besteht darin, dass für die transformierten Daten die Zufallsfehler bereits die klassischen Annahmen erfüllen.

Gewichtetes OLS

Im Fall einer diagonalen Gewichtsmatrix (und damit einer Kovarianzmatrix zufälliger Fehler) haben wir die sogenannten gewichteten kleinsten Quadrate (WLS). In diesem Fall wird die gewichtete Quadratsumme der Modellresiduen minimiert, d. h. jede Beobachtung erhält ein „Gewicht“, das umgekehrt proportional zur Varianz des Zufallsfehlers in dieser Beobachtung ist: . Tatsächlich werden die Daten durch Gewichtung der Beobachtungen transformiert (Dividierung durch einen Betrag, der proportional zur geschätzten Standardabweichung der Zufallsfehler ist), und auf die gewichteten Daten wird gewöhnliches OLS angewendet.

Einige Sonderfälle der Verwendung von MNC in der Praxis

Annäherung der linearen Abhängigkeit

Betrachten wir den Fall, wenn wir als Ergebnis der Untersuchung der Abhängigkeit einer bestimmten skalaren Größe von einer bestimmten skalaren Größe (dies könnte beispielsweise die Abhängigkeit der Spannung von der Stromstärke sein: , wobei ein konstanter Wert ist, der Widerstand von des Leiters) wurden Messungen dieser Größen durchgeführt, wodurch die Werte und die entsprechenden Werte ermittelt wurden. Die Messdaten müssen in einer Tabelle erfasst werden.

Tisch. Messergebnisse.

Messnr.
1
2
3
4
5
6

Die Frage ist: Welcher Wert des Koeffizienten kann gewählt werden, um die Abhängigkeit am besten zu beschreiben? Nach der Methode der kleinsten Quadrate sollte dieser Wert so sein, dass er die Summe der quadrierten Abweichungen der Werte von den Werten darstellt

war minimal

Die Summe der quadratischen Abweichungen hat ein Extremum – ein Minimum, was uns die Verwendung dieser Formel ermöglicht. Lassen Sie uns aus dieser Formel den Wert des Koeffizienten ermitteln. Dazu transformieren wir seine linke Seite wie folgt:

Mit der letzten Formel können wir den Wert des Koeffizienten ermitteln, der für das Problem erforderlich war.

Geschichte

Bis zum Beginn des 19. Jahrhunderts. Wissenschaftler hatten keine bestimmten Regeln zum Lösen eines Gleichungssystems, in dem die Anzahl der Unbekannten geringer ist als die Anzahl der Gleichungen; Bis zu diesem Zeitpunkt wurden private Techniken verwendet, die von der Art der Gleichungen und vom Scharfsinn der Rechner abhingen, und daher kamen verschiedene Rechner, die auf denselben Beobachtungsdaten basierten, zu unterschiedlichen Schlussfolgerungen. Gauß (1795) war der erste, der die Methode anwendete, und Legendre (1805) entdeckte sie unabhängig und veröffentlichte sie unter ihrem modernen Namen (französisch). Methode der geringsten Streitigkeiten ). Laplace bezog die Methode auf die Wahrscheinlichkeitstheorie, und der amerikanische Mathematiker Adrain (1808) befasste sich mit ihren Anwendungen. Die Methode fand weite Verbreitung und wurde durch weitere Forschungen von Encke, Bessel, Hansen und anderen verbessert.

Alternative Verwendungsmöglichkeiten von OLS

Die Idee der Methode der kleinsten Quadrate kann auch in anderen Fällen verwendet werden, die nicht direkt mit der Regressionsanalyse zusammenhängen. Tatsache ist, dass die Quadratsumme eines der gebräuchlichsten Näherungsmaße für Vektoren ist (euklidische Metrik in endlichdimensionalen Räumen).

Eine Anwendung ist die „Lösung“ linearer Gleichungssysteme, bei denen die Anzahl der Gleichungen größer ist als die Anzahl der Variablen

wobei die Matrix nicht quadratisch, sondern rechteckig ist.

Ein solches Gleichungssystem hat im allgemeinen Fall keine Lösung (sofern der Rang tatsächlich größer ist als die Anzahl der Variablen). Daher kann dieses System nur in dem Sinne „gelöst“ werden, dass ein solcher Vektor so gewählt wird, dass der „Abstand“ zwischen den Vektoren und minimiert wird. Dazu können Sie das Kriterium der Minimierung der Quadratsumme der Differenzen zwischen der linken und rechten Seite der Systemgleichungen anwenden. Es lässt sich leicht zeigen, dass die Lösung dieses Minimierungsproblems zur Lösung des folgenden Gleichungssystems führt