Tisch 4

x n

y n

Tisch 5

y i

0,705

0,495

0,426

0,357

0,368

0,406

0,549

0,768

Tabelle 6

№0

X

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

j

3,030

3,142

3,358

3,463

3,772

3,251

3,170

3,665

№ 1

3,314

3,278

3,262

3,292

3,332

3,397

3,487

3,563

№ 2

1,045

1,162

1,264

1,172

1,070

0,898

0,656

0,344

№ 3

6,715

6,735

6,750

6,741

6,645

6,639

6,647

6,612

№ 4

2,325

2,515

2,638

2,700

2,696

2,626

2,491

2,291

№ 5

1.752

1,762

1,777

1,797

1,821

1,850

1,884

1,944

№ 6

1,924

1,710

1,525

1,370

1,264

1,190

1,148

1,127

№ 7

1,025

1,144

1,336

1,419

1,479

1,530

1,568

1,248

№ 8

5,785

5,685

5,605

5,545

5,505

5,480

5,495

5,510

№ 9

4,052

4,092

4,152

4,234

4,338

4,468

4,599

Es wird in der Ökonometrie häufig in Form einer klaren ökonomischen Interpretation seiner Parameter verwendet.

Bei der linearen Regression kommt es darauf an, eine Gleichung der Form zu finden

oder

Gleichung des Formulars erlaubt basierend auf angegebenen Parameterwerten X theoretische Werte des resultierenden Merkmals haben und die tatsächlichen Werte des Faktors darin ersetzen X.

Bei der Konstruktion der linearen Regression geht es darum, ihre Parameter zu schätzen – A Und V. Schätzungen linearer Regressionsparameter können mit verschiedenen Methoden ermittelt werden.

Der klassische Ansatz zur Schätzung linearer Regressionsparameter basiert auf Methode der kleinsten Quadrate(MNC).

Die Methode der kleinsten Quadrate ermöglicht es uns, solche Parameterschätzungen zu erhalten A Und V, bei dem die Summe der quadrierten Abweichungen der tatsächlichen Werte des resultierenden Merkmals ist (y) aus berechnet (theoretisch) Minimum:

Um das Minimum einer Funktion zu ermitteln, müssen Sie die partiellen Ableitungen für jeden Parameter berechnen A Und B und setze sie gleich Null.

Bezeichnen wir durch S, dann:

Durch Umformung der Formel erhalten wir das folgende System normaler Gleichungen zur Parameterschätzung A Und V:

Wenn wir das System normaler Gleichungen (3.5) entweder mit der Methode der sequentiellen Eliminierung von Variablen oder mit der Methode der Determinanten lösen, finden wir die erforderlichen Schätzungen der Parameter A Und V.

Parameter V wird als Regressionskoeffizient bezeichnet. Sein Wert zeigt die durchschnittliche Änderung des Ergebnisses bei einer Änderung des Faktors um eine Einheit.

Die Regressionsgleichung wird immer um einen Indikator für die Nähe des Zusammenhangs ergänzt. Bei Verwendung der linearen Regression ist ein solcher Indikator der lineare Korrelationskoeffizient. Es gibt verschiedene Modifikationen der linearen Korrelationskoeffizientenformel. Einige davon sind unten aufgeführt:

Der lineare Korrelationskoeffizient liegt bekanntlich innerhalb der Grenzen: -1 ≤ ≤ 1.

Um die Qualität der Auswahl einer linearen Funktion zu beurteilen, wird das Quadrat berechnet

Linearer Korrelationskoeffizient genannt Bestimmtheitsmaß. Das Bestimmtheitsmaß charakterisiert den Varianzanteil des resultierenden Merkmals ja, erklärt durch Regression, in der Gesamtvarianz des resultierenden Merkmals:

Dementsprechend charakterisiert der Wert 1 den Varianzanteil ja, verursacht durch den Einfluss anderer Faktoren, die im Modell nicht berücksichtigt werden.

Fragen zur Selbstkontrolle

1. Die Essenz der Methode der kleinsten Quadrate?

2. Wie viele Variablen liefert die paarweise Regression?

3. Welcher Koeffizient bestimmt die Nähe des Zusammenhangs zwischen Änderungen?

4. Innerhalb welcher Grenzen wird das Bestimmtheitsmaß bestimmt?

5. Schätzung des Parameters b in der Korrelations-Regressionsanalyse?

1. Christopher Dougherty. Einführung in die Ökonometrie. - M.: INFRA - M, 2001 - 402 S.

2. S.A. Boroditsch. Ökonometrie. Minsk LLC „Neues Wissen“ 2001.

3. R.U. Rakhmetova Kurzkurs in Ökonometrie. Lernprogramm. Almaty. 2004. -78p.

4. I.I. Eliseeva. Ökonometrie. - M.: „Finanzen und Statistik“, 2002

5. Monatliches Informations- und Analysemagazin.

Nichtlineare Wirtschaftsmodelle. Nichtlineare Regressionsmodelle. Transformation von Variablen.

Nichtlineare Wirtschaftsmodelle.

Transformation von Variablen.

Elastizitätskoeffizient.

Wenn es nichtlineare Beziehungen zwischen wirtschaftlichen Phänomenen gibt, werden diese durch die entsprechenden nichtlinearen Funktionen ausgedrückt: zum Beispiel eine gleichseitige Hyperbel , Parabeln zweiten Grades usw.

Es gibt zwei Klassen nichtlinearer Regressionen:

1. Regressionen, die nichtlinear in Bezug auf die in die Analyse einbezogenen erklärenden Variablen, aber linear in Bezug auf die geschätzten Parameter sind, zum Beispiel:

Polynome unterschiedlichen Grades - , ;

Gleichseitige Hyperbel - ;

Halblogarithmische Funktion - .

2. Regressionen, die in den geschätzten Parametern nichtlinear sind, zum Beispiel:

Leistung - ;

Demonstrativ - ;

Exponentiell - .

Die Gesamtsumme der quadrierten Abweichungen einzelner Werte des resultierenden Merkmals bei Die Abweichung vom Durchschnittswert wird durch den Einfluss vieler Gründe verursacht. Teilen wir die gesamte Reihe von Gründen bedingt in zwei Gruppen ein: untersuchter Faktor x Und andere Faktoren.

Wenn der Faktor das Ergebnis nicht beeinflusst, verläuft die Regressionsgerade im Diagramm parallel zur Achse Oh Und

Dann ist die gesamte Varianz des resultierenden Merkmals auf den Einfluss anderer Faktoren zurückzuführen und die Gesamtsumme der quadratischen Abweichungen stimmt mit dem Residuum überein. Wenn andere Faktoren das Ergebnis nicht beeinflussen, dann Du bist gebunden Mit X funktional und die Restquadratsumme ist Null. In diesem Fall ist die Summe der durch die Regression erklärten quadratischen Abweichungen dieselbe wie die Gesamtsumme der Quadrate.

Da nicht alle Punkte des Korrelationsfeldes auf der Regressionsgeraden liegen, erfolgt deren Streuung immer durch den Einfluss des Faktors X, also Regression bei Von X, und durch andere Ursachen verursacht (unerklärliche Variation). Die Eignung einer Regressionsgeraden für die Vorhersage hängt davon ab, welcher Teil der Gesamtvariation des Merkmals ist bei erklärt die erläuterte Variation

Wenn die Summe der quadrierten Abweichungen aufgrund der Regression größer ist als die Restsumme der Quadrate, dann ist die Regressionsgleichung offensichtlich statistisch signifikant und der Faktor X hat einen erheblichen Einfluss auf das Ergebnis u.

, also mit der Freiheitszahl der unabhängigen Variation eines Merkmals. Die Anzahl der Freiheitsgrade hängt mit der Anzahl der Einheiten der Grundgesamtheit n und der daraus ermittelten Anzahl der Konstanten zusammen. Bezogen auf das zu untersuchende Problem soll die Anzahl der Freiheitsgrade zeigen, wie viele unabhängige Abweichungen davon vorliegen P

Die Einschätzung der Bedeutung der Regressionsgleichung insgesamt erfolgt anhand F-Fisher-Kriterium. In diesem Fall wird eine Nullhypothese aufgestellt, dass der Regressionskoeffizient gleich Null ist, d.h. b = 0 und damit der Faktor X hat keinen Einfluss auf das Ergebnis u.

Der unmittelbaren Berechnung des F-Tests geht eine Varianzanalyse voraus. Den zentralen Platz nimmt dabei die Zerlegung der Gesamtsumme der quadrierten Abweichungen einer Variablen ein bei vom Durchschnittswert bei in zwei Teile – „erklärt“ und „unerklärt“:

- Gesamtsumme der quadrierten Abweichungen;

- die Summe der durch Regression erklärten quadratischen Abweichungen;

- Restsumme der quadrierten Abweichungen.

Jede Summe quadrierter Abweichungen hängt mit der Anzahl der Freiheitsgrade zusammen , also mit der Freiheitszahl der unabhängigen Variation eines Merkmals. Die Anzahl der Freiheitsgrade hängt von der Anzahl der Bevölkerungseinheiten ab N und mit der daraus ermittelten Anzahl der Konstanten. Bezogen auf das zu untersuchende Problem soll die Anzahl der Freiheitsgrade zeigen, wie viele unabhängige Abweichungen davon vorliegen P möglichst erforderlich, um eine gegebene Quadratsumme zu bilden.

Streuung pro FreiheitsgradD.

F-Verhältnisse (F-Test):

Wenn die Nullhypothese wahr ist, dann unterscheiden sich Faktor- und Restvarianz nicht voneinander. Für H 0 ist eine Widerlegung notwendig, damit die Faktorstreuung die Reststreuung um ein Vielfaches übersteigt. Der englische Statistiker Snedekor entwickelte Tabellen mit kritischen Werten F-Beziehungen auf unterschiedlichen Signifikanzebenen der Nullhypothese und unterschiedlich vielen Freiheitsgraden. Tabellenwert F-Kriterium ist der Maximalwert des Varianzverhältnisses, das im Falle einer zufälligen Divergenz für ein gegebenes Wahrscheinlichkeitsniveau für das Vorliegen der Nullhypothese auftreten kann. Berechneter Wert F-Beziehungen gelten als zuverlässig, wenn o größer als die Tabelle ist.

In diesem Fall wird die Nullhypothese über das Fehlen einer Beziehung zwischen Zeichen verworfen und eine Schlussfolgerung über die Bedeutung dieser Beziehung gezogen: F-Fakt > F-Tabelle H 0 wird verworfen.

Wenn der Wert kleiner als der tabellierte Wert ist F-Fakt ‹, F-Tabelle, dann ist die Wahrscheinlichkeit der Nullhypothese höher als ein festgelegtes Niveau und kann nicht verworfen werden, ohne dass das ernsthafte Risiko besteht, dass falsche Schlussfolgerungen über das Vorliegen einer Beziehung gezogen werden. In diesem Fall wird die Regressionsgleichung als statistisch unbedeutend angesehen. Aber er weicht nicht ab.

Standardfehler des Regressionskoeffizienten

Um die Signifikanz des Regressionskoeffizienten zu beurteilen, wird sein Wert mit seinem Standardfehler verglichen, also der tatsächliche Wert ermittelt T-Studententest: der dann mit dem Tabellenwert bei einem bestimmten Signifikanzniveau und einer bestimmten Anzahl an Freiheitsgraden verglichen wird ( N- 2).

Standardparameterfehler A:

Die Signifikanz des linearen Korrelationskoeffizienten wird anhand der Größe des Fehlers überprüft Korrelationskoeffizient t r:

Gesamte Merkmalsvarianz X:

Multiple lineare Regression

Modellbau

Multiple Regression stellt eine Regression eines effektiven Merkmals mit zwei oder mehr Faktoren dar, also ein Modell der Form

Die Regression kann bei der Modellierung gute Ergebnisse liefern, wenn der Einfluss anderer Faktoren, die den Untersuchungsgegenstand beeinflussen, vernachlässigt werden kann. Das Verhalten einzelner Wirtschaftsvariablen ist nicht kontrollierbar, d.h. es ist nicht möglich, die Gleichheit aller anderen Bedingungen zur Beurteilung des Einflusses eines untersuchten Faktors sicherzustellen. In diesem Fall sollten Sie versuchen, den Einfluss anderer Faktoren zu identifizieren, indem Sie diese in das Modell einführen, d. h. eine multiple Regressionsgleichung erstellen: y = a+b 1 x 1 +b 2 +…+b p x p + .

Das Hauptziel der multiplen Regression besteht darin, ein Modell mit einer großen Anzahl von Faktoren zu erstellen und gleichzeitig den Einfluss jedes einzelnen von ihnen sowie ihren kombinierten Einfluss auf den modellierten Indikator zu bestimmen. Die Spezifikation des Modells umfasst zwei Themenbereiche: die Auswahl der Faktoren und die Wahl des Typs der Regressionsgleichung

Approximieren wir die Funktion durch ein Polynom vom Grad 2. Dazu berechnen wir die Koeffizienten des Normalgleichungssystems:

, ,

Lassen Sie uns ein normales System der kleinsten Quadrate erstellen, das die Form hat:

Die Lösung des Systems ist leicht zu finden: , , .

Somit wird ein Polynom 2. Grades gefunden: .

Theoretische Informationen

Zurück zur Seite<Введение в вычислительную математику. Примеры>

Beispiel 2. Den optimalen Grad eines Polynoms finden.

Zurück zur Seite<Введение в вычислительную математику. Примеры>

Beispiel 3. Herleitung eines normalen Gleichungssystems zur Ermittlung der Parameter der empirischen Abhängigkeit.

Lassen Sie uns ein Gleichungssystem ableiten, um die Koeffizienten und Funktionen zu bestimmen , das die quadratische Mittelwertnäherung einer gegebenen Funktion durch Punkte durchführt. Lassen Sie uns eine Funktion erstellen und notieren Sie die dafür notwendige Extremumbedingung:

Dann nimmt das normale System die Form an:

Wir haben ein lineares Gleichungssystem für unbekannte Parameter erhalten, das leicht zu lösen ist.

Theoretische Informationen

Zurück zur Seite<Введение в вычислительную математику. Примеры>

Beispiel.

Experimentelle Daten zu den Werten von Variablen X Und bei sind in der Tabelle angegeben.

Durch ihre Ausrichtung ergibt sich die Funktion

Benutzen Methode der kleinsten Quadrate, approximieren Sie diese Daten durch eine lineare Abhängigkeit y=ax+b(Parameter finden A Und B). Finden Sie heraus, welche der beiden Linien (im Sinne der Methode der kleinsten Quadrate) die experimentellen Daten besser anpasst. Fertige eine Zeichnung an.

Die Essenz der Methode der kleinsten Quadrate (LSM).

Die Aufgabe besteht darin, die linearen Abhängigkeitskoeffizienten zu finden, bei denen die Funktion zweier Variablen vorliegt A Und Bnimmt den kleinsten Wert an. Das heißt, gegeben A Und B die Summe der quadratischen Abweichungen der experimentellen Daten von der gefundenen Geraden wird am kleinsten sein. Das ist der Sinn der Methode der kleinsten Quadrate.

Bei der Lösung des Beispiels geht es also darum, das Extremum einer Funktion zweier Variablen zu finden.

Ableitung von Formeln zum Finden von Koeffizienten.

Ein System aus zwei Gleichungen mit zwei Unbekannten wird erstellt und gelöst. Ermitteln der partiellen Ableitungen einer Funktion nach Variablen A Und B, setzen wir diese Ableitungen mit Null gleich.

Wir lösen das resultierende Gleichungssystem mit einer beliebigen Methode (z. B durch Substitutionsmethode oder Cramers Methode) und erhalten Sie Formeln zum Ermitteln von Koeffizienten mithilfe der Methode der kleinsten Quadrate (LSM).

Gegeben A Und B Funktion nimmt den kleinsten Wert an. Der Beweis dieser Tatsache wird unten im Text am Ende der Seite gegeben.

Das ist die ganze Methode der kleinsten Quadrate. Formel zum Finden des Parameters A enthält die Summen , , und Parameter N— Menge experimenteller Daten. Wir empfehlen, die Werte dieser Beträge separat zu berechnen.

Koeffizient B nach Berechnung gefunden A.

Es ist Zeit, sich an das ursprüngliche Beispiel zu erinnern.

Lösung.

In unserem Beispiel n=5. Wir füllen die Tabelle aus, um die Berechnung der Beträge zu erleichtern, die in den Formeln der erforderlichen Koeffizienten enthalten sind.

Die Werte in der vierten Zeile der Tabelle werden durch Multiplikation der Werte der 2. Zeile mit den Werten der 3. Zeile für jede Zahl erhalten ich.

Die Werte in der fünften Zeile der Tabelle werden durch Quadrieren der Werte in der 2. Zeile für jede Zahl erhalten ich.

Die Werte in der letzten Spalte der Tabelle sind die Summen der Werte in den Zeilen.

Um die Koeffizienten zu ermitteln, verwenden wir die Formeln der Methode der kleinsten Quadrate A Und B. Wir ersetzen darin die entsprechenden Werte aus der letzten Spalte der Tabelle:

Somit, y = 0,165x+2,184— die gewünschte annähernde Gerade.

Es bleibt abzuwarten, welche der Zeilen y = 0,165x+2,184 oder nähert sich den Originaldaten besser an, d. h. es wird eine Schätzung mithilfe der Methode der kleinsten Quadrate vorgenommen.

Fehlerschätzung der Methode der kleinsten Quadrate.

Dazu müssen Sie die Summe der quadrierten Abweichungen der Originaldaten von diesen Linien berechnen Und , ein kleinerer Wert entspricht einer Linie, die den Originaldaten im Sinne der Methode der kleinsten Quadrate besser entspricht.

Seit , dann gerade y = 0,165x+2,184 nähert sich den Originaldaten besser an.

Grafische Darstellung der Methode der kleinsten Quadrate (LS).

In den Grafiken ist alles deutlich sichtbar. Die rote Linie ist die gefundene Gerade y = 0,165x+2,184, die blaue Linie ist , rosa Punkte sind die Originaldaten.

Warum ist das notwendig, warum all diese Näherungen?

Ich persönlich verwende es, um Probleme der Datenglättung, Interpolation und Extrapolation zu lösen (im ursprünglichen Beispiel könnte es darum gehen, den Wert eines beobachteten Werts zu ermitteln). j bei x=3 oder wann x=6 unter Verwendung der Methode der kleinsten Quadrate). Aber wir werden später in einem anderen Abschnitt der Website mehr darüber sprechen.

Seitenanfang

Nachweisen.

So dass, wenn gefunden A Und B Da die Funktion den kleinsten Wert annimmt, muss an dieser Stelle die Matrix der quadratischen Form des Differentials zweiter Ordnung für die Funktion vorliegen war eindeutig positiv. Zeigen wir es.

Das Differential zweiter Ordnung hat die Form:

Also

Daher hat die Matrix quadratischer Form die Form

und die Werte der Elemente hängen nicht davon ab A Und B.

Zeigen wir, dass die Matrix positiv definit ist. Dazu müssen die eckigen Nebenwerte positiv sein.

Winkel-Moll erster Ordnung . Die Ungleichung ist streng, da die Punkte nicht übereinstimmen. Im Folgenden werden wir dies andeuten.

Winkelmoll zweiter Ordnung

Lasst uns das beweisen nach der Methode der mathematischen Induktion.

Abschluss: Werte gefunden A Und B entsprechen dem kleinsten Wert der Funktion sind daher die erforderlichen Parameter für die Methode der kleinsten Quadrate.

Keine Zeit, es herauszufinden?
Bestellen Sie eine Lösung

Seitenanfang

Erstellen einer Prognose mithilfe der Methode der kleinsten Quadrate. Beispiel einer Problemlösung

Extrapolation ist eine Methode der wissenschaftlichen Forschung, die auf der Verbreitung vergangener und gegenwärtiger Trends, Muster und Zusammenhänge mit der zukünftigen Entwicklung des Prognoseobjekts basiert. Extrapolationsmethoden umfassen Methode des gleitenden Durchschnitts, Methode der exponentiellen Glättung, Methode der kleinsten Quadrate.

Wesen Methode der kleinsten Quadrate besteht darin, die Summe der quadratischen Abweichungen zwischen beobachteten und berechneten Werten zu minimieren. Die berechneten Werte werden anhand der ausgewählten Gleichung – der Regressionsgleichung – ermittelt. Je geringer der Abstand zwischen den tatsächlichen Werten und den berechneten ist, desto genauer ist die Prognose auf Basis der Regressionsgleichung.

Als Grundlage für die Auswahl einer Kurve dient eine theoretische Analyse des Wesens des untersuchten Phänomens, dessen Veränderung sich in einer Zeitreihe widerspiegelt. Manchmal werden Überlegungen zur Art des Anstiegs der Reihenniveaus berücksichtigt. Wenn also ein Produktionswachstum in einer arithmetischen Folge erwartet wird, erfolgt die Glättung in einer geraden Linie. Wenn sich herausstellt, dass das Wachstum geometrisch fortschreitet, muss eine Glättung mithilfe einer Exponentialfunktion erfolgen.

Arbeitsformel für die Methode der kleinsten Quadrate : Y t+1 = a*X + b, wo t + 1 – Prognosezeitraum; Уt+1 – vorhergesagter Indikator; a und b sind Koeffizienten; X ist ein Symbol der Zeit.

Die Berechnung der Koeffizienten a und b erfolgt nach folgenden Formeln:

wo, Uf – tatsächliche Werte der Dynamikreihe; n – Anzahl der Zeitreihenebenen;

Die Glättung von Zeitreihen mithilfe der Methode der kleinsten Quadrate dient dazu, das Entwicklungsmuster des untersuchten Phänomens widerzuspiegeln. Bei der analytischen Darstellung eines Trends wird die Zeit als unabhängige Variable betrachtet und die Niveaus der Reihe fungieren als Funktion dieser unabhängigen Variablen.

Die Entwicklung eines Phänomens hängt nicht davon ab, wie viele Jahre seit seinem Beginn vergangen sind, sondern davon, welche Faktoren seine Entwicklung in welche Richtung und mit welcher Intensität beeinflusst haben. Daraus wird deutlich, dass die Entwicklung eines Phänomens im Laufe der Zeit das Ergebnis der Wirkung dieser Faktoren ist.

Die korrekte Bestimmung des Kurventyps und der Art der analytischen Abhängigkeit von der Zeit ist eine der schwierigsten Aufgaben der prädiktiven Analyse .

Die Auswahl des Typs der den Trend beschreibenden Funktion, deren Parameter nach der Methode der kleinsten Quadrate bestimmt werden, erfolgt in den meisten Fällen empirisch, indem eine Reihe von Funktionen konstruiert und entsprechend dem Wert der Funktion miteinander verglichen werden mittlerer quadratischer Fehler, berechnet nach der Formel:

wobei UV die tatsächlichen Werte der Dynamikreihe sind; Ur – berechnete (geglättete) Werte der Dynamikreihe; n – Anzahl der Zeitreihenebenen; p – die Anzahl der Parameter, die in Formeln definiert sind, die den Trend (Entwicklungstrend) beschreiben.

Nachteile der Methode der kleinsten Quadrate :

• Wenn versucht wird, das untersuchte Wirtschaftsphänomen mithilfe einer mathematischen Gleichung zu beschreiben, ist die Prognose für einen kurzen Zeitraum genau und die Regressionsgleichung sollte neu berechnet werden, sobald neue Informationen verfügbar sind.
• die Komplexität der Auswahl einer Regressionsgleichung, die mit Standard-Computerprogrammen lösbar ist.

Ein Beispiel für die Verwendung der Methode der kleinsten Quadrate zur Entwicklung einer Prognose

Aufgabe . Es liegen Daten vor, die die Arbeitslosenquote in der Region charakterisieren, %

• Erstellen Sie eine Prognose der Arbeitslosenquote in der Region für November, Dezember und Januar unter Verwendung der folgenden Methoden: gleitender Durchschnitt, exponentielle Glättung, kleinste Quadrate.
• Berechnen Sie die Fehler in den resultierenden Prognosen mit jeder Methode.
• Vergleichen Sie die Ergebnisse und ziehen Sie Schlussfolgerungen.

Lösung der kleinsten Quadrate

Um dieses Problem zu lösen, erstellen wir eine Tabelle, in der wir die notwendigen Berechnungen durchführen:

ε = 28,63/10 = 2,86 % Prognosegenauigkeit hoch.

Abschluss : Vergleich der Ergebnisse der Berechnungen Methode des gleitenden Durchschnitts , exponentielle Glättungsmethode und der Methode der kleinsten Quadrate können wir sagen, dass der durchschnittliche relative Fehler bei der Berechnung mit der Methode der exponentiellen Glättung im Bereich von 20–50 % liegt. Das bedeutet, dass die Genauigkeit der Prognose in diesem Fall nur zufriedenstellend ist.

Im ersten und dritten Fall ist die Prognosegenauigkeit hoch, da der durchschnittliche relative Fehler weniger als 10 % beträgt. Die Methode des gleitenden Durchschnitts ermöglichte es jedoch, zuverlässigere Ergebnisse zu erhalten (Prognose für November – 1,52 %, Prognose für Dezember – 1,53 %, Prognose für Januar – 1,49 %), da der durchschnittliche relative Fehler bei Verwendung dieser Methode am kleinsten ist – 1 ,13 %.

Methode der kleinsten Quadrate

Weitere Artikel zu diesem Thema:

Liste der verwendeten Quellen

1. Wissenschaftliche und methodische Empfehlungen zur Diagnose gesellschaftlicher Risiken und zur Prognose von Herausforderungen, Bedrohungen und gesellschaftlichen Folgen. Russische Staatliche Sozialuniversität. Moskau. 2010;
2. Vladimirova L.P. Prognose und Planung unter Marktbedingungen: Lehrbuch. Zuschuss. M.: Verlag „Dashkov and Co“, 2001;
3. Novikova N.V., Pozdeeva O.G. Prognose der Volkswirtschaft: Lehr- und Methodenhandbuch. Jekaterinburg: Ural-Verlag. Zustand ökon. Univ., 2007;
4. Slutskin L.N. MBA-Kurs zum Thema Geschäftsprognose. M.: Alpina Business Books, 2006.

MNC-Programm

Daten eingeben

Daten und Näherung y = a + b x

ich- Anzahl der Versuchspunkte;
x i- Wert eines festen Parameters an einem Punkt ich;
y i- Wert des gemessenen Parameters an einem Punkt ich;
ωi- Gewicht an einem Punkt messen ich;
y i, kalk.- Differenz zwischen gemessenem und regressionsberechnetem Wert j am Punkt ich;
S x i (x i)- Fehlerschätzung x i beim Messen j am Punkt ich.

Daten und Näherung y = k x

Klicken Sie auf das Diagramm

Benutzerhandbuch für das MNC-Onlineprogramm.

Geben Sie im Datenfeld in jeder einzelnen Zeile die Werte von „x“ und „y“ an einem experimentellen Punkt ein. Werte müssen durch ein Leerzeichen (Leerzeichen oder Tabulator) getrennt werden.

Der dritte Wert könnte das Gewicht des Punktes „w“ sein. Wenn das Gewicht eines Punktes nicht angegeben ist, ist es gleich eins. In den allermeisten Fällen sind die Gewichte der experimentellen Punkte unbekannt oder werden nicht berechnet, d. h. Alle experimentellen Daten gelten als gleichwertig. Manchmal sind die Gewichte im untersuchten Wertebereich absolut nicht gleichwertig und lassen sich sogar theoretisch berechnen. Beispielsweise können in der Spektrophotometrie Gewichte mit einfachen Formeln berechnet werden, obwohl dies aus Gründen der Arbeitskostenreduzierung meist vernachlässigt wird.

Daten können über die Zwischenablage aus einer Tabellenkalkulation in einer Office-Suite wie Excel von Microsoft Office oder Calc von Open Office eingefügt werden. Wählen Sie dazu in der Tabelle den zu kopierenden Datenbereich aus, kopieren Sie ihn in die Zwischenablage und fügen Sie die Daten in das Datenfeld auf dieser Seite ein.

Um mit der Methode der kleinsten Quadrate zu berechnen, sind mindestens zwei Punkte erforderlich, um zwei Koeffizienten „b“ – den Tangens des Neigungswinkels der Linie – und „a“ – den Wert, der von der Linie auf der „y“-Achse geschnitten wird, zu bestimmen.

Um den Fehler der berechneten Regressionskoeffizienten abzuschätzen, müssen Sie die Anzahl der experimentellen Punkte auf mehr als zwei festlegen.

Methode der kleinsten Quadrate (LSM).

Je größer die Anzahl der Versuchspunkte, desto genauer ist die statistische Bewertung der Koeffizienten (aufgrund einer Abnahme des Student-Koeffizienten) und desto näher kommt die Schätzung der Schätzung der Gesamtstichprobe.

Die Ermittlung von Werten an jedem Versuchspunkt ist oft mit erheblichen Arbeitskosten verbunden, daher wird oft eine Kompromisszahl von Experimenten durchgeführt, die eine überschaubare Schätzung liefert und nicht zu übermäßigen Arbeitskosten führt. In der Regel wird die Anzahl der experimentellen Punkte für eine lineare Abhängigkeit der kleinsten Quadrate mit zwei Koeffizienten im Bereich von 5–7 Punkten gewählt.

Eine kurze Theorie der kleinsten Quadrate für lineare Beziehungen

Nehmen wir an, wir haben einen Satz experimenteller Daten in Form von Wertepaaren [`y_i`, `x_i`], wobei `i` die Nummer einer experimentellen Messung von 1 bis `n` ist; „y_i“ – der Wert des gemessenen Werts am Punkt „i“; „x_i“ – der Wert des Parameters, den wir am Punkt „i“ festlegen.

Betrachten Sie als Beispiel die Wirkungsweise des Ohmschen Gesetzes. Indem wir die Spannung (Potenzialdifferenz) zwischen Abschnitten eines Stromkreises ändern, messen wir die Strommenge, die durch diesen Abschnitt fließt. Die Physik gibt uns eine experimentell gefundene Abhängigkeit:

„I = U/R“,
wobei „Ich“ die aktuelle Stärke ist; „R“ – Widerstand; „U“ – Spannung.

In diesem Fall ist „y_i“ der gemessene Stromwert und „x_i“ der Spannungswert.

Betrachten Sie als weiteres Beispiel die Absorption von Licht durch eine Lösung einer Substanz in Lösung. Die Chemie gibt uns die Formel:

`A = ε l C`,
wobei „A“ die optische Dichte der Lösung ist; „ε“ – Durchlässigkeit des gelösten Stoffes; „l“ – Weglänge, wenn Licht durch eine Küvette mit einer Lösung geht; „C“ ist die Konzentration des gelösten Stoffes.

In diesem Fall ist „y_i“ der gemessene Wert der optischen Dichte „A“ und „x_i“ der Konzentrationswert der von uns angegebenen Substanz.

Wir betrachten den Fall, dass der relative Fehler in der Spezifikation „x_i“ deutlich kleiner ist als der relative Fehler in der Messung „y_i“. Wir gehen außerdem davon aus, dass alle gemessenen Werte „y_i“ zufällig und normalverteilt sind, d. h. gehorchen dem Normalverteilungsgesetz.

Im Fall einer linearen Abhängigkeit von „y“ von „x“ können wir die theoretische Abhängigkeit schreiben:
`y = a + b x`.

Aus geometrischer Sicht bezeichnet der Koeffizient „b“ den Tangens des Neigungswinkels der Linie zur „x“-Achse und der Koeffizient „a“ den Wert von „y“ am Schnittpunkt der Linie mit der „y“-Achse (bei „x = 0“).

Ermitteln der Parameter der Regressionslinie.

In einem Experiment können die Messwerte von „y_i“ aufgrund von Messfehlern, die im wirklichen Leben immer inhärent sind, nicht genau auf der theoretischen Geraden liegen. Daher muss eine lineare Gleichung durch ein Gleichungssystem dargestellt werden:
`y_i = a + b x_i + ε_i` (1),
wobei „ε_i“ der unbekannte Messfehler von „y“ im „i“-ten Experiment ist.

Abhängigkeit (1) wird auch aufgerufen Rückschritt, d.h. die Abhängigkeit zweier Größen voneinander mit statistischer Signifikanz.

Die Aufgabe der Wiederherstellung der Abhängigkeit besteht darin, die Koeffizienten „a“ und „b“ aus den experimentellen Punkten [„y_i“, „x_i““ zu finden.

Um die Koeffizienten „a“ und „b“ zu finden, wird es normalerweise verwendet Methode der kleinsten Quadrate(MNC). Es handelt sich um einen Sonderfall des Maximum-Likelihood-Prinzips.

Schreiben wir (1) in der Form „ε_i = y_i – a – b x_i“ um.

Dann beträgt die Summe der quadrierten Fehler
`Φ = sum_(i=1)^(n) ε_i^2 = sum_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

Das Prinzip der kleinsten Quadrate (kleinste Quadrate) besteht darin, die Summe (2) in Bezug auf die Parameter „a“ und „b“ zu minimieren.

Das Minimum wird erreicht, wenn die partiellen Ableitungen der Summe (2) nach den Koeffizienten „a“ und „b“ gleich Null sind:
`frac(partielles Φ)(partielles a) = frac(partielle Summe_(i=1)^(n) (y_i - a - b x_i)^2)(partielles a) = 0`
`frac(partielles Φ)(partielles b) = frac(partielle Summe_(i=1)^(n) (y_i - a - b x_i)^2)(partielles b) = 0`

Wenn wir die Ableitungen erweitern, erhalten wir ein System aus zwei Gleichungen mit zwei Unbekannten:
`sum_(i=1)^(n) (2a + 2bx_i — 2y_i) = sum_(i=1)^(n) (a + bx_i — y_i) = 0`
`sum_(i=1)^(n) (2bx_i^2 + 2ax_i — 2x_iy_i) = sum_(i=1)^(n) (bx_i^2 + ax_i — x_iy_i) = 0`

Wir öffnen die Klammern und übertragen die Summen unabhängig von den geforderten Koeffizienten auf die andere Hälfte, wir erhalten ein System linearer Gleichungen:
`sum_(i=1)^(n) y_i = a n + b sum_(i=1)^(n) bx_i`
`sum_(i=1)^(n) x_iy_i = a sum_(i=1)^(n) x_i + b sum_(i=1)^(n) x_i^2`

Wenn wir das resultierende System lösen, finden wir Formeln für die Koeffizienten „a“ und „b“:

`a = frac(sum_(i=1)^(n) y_i sum_(i=1)^(n) x_i^2 — sum_(i=1)^(n) x_i sum_(i=1)^(n ) x_iy_i) (n sum_(i=1)^(n) x_i^2 — (sum_(i=1)^(n) x_i)^2)` (3.1)

`b = frac(n sum_(i=1)^(n) x_iy_i — sum_(i=1)^(n) x_i sum_(i=1)^(n) y_i) (n sum_(i=1)^ (n) x_i^2 — (sum_(i=1)^(n) x_i)^2)` (3.2)

Diese Formeln haben Lösungen, wenn „n > 1“ (die Linie kann aus mindestens 2 Punkten konstruiert werden) und wenn die Determinante „D = n sum_(i=1)^(n) x_i^2 – (sum_(i= 1 )^(n) x_i)^2 != 0`, d.h. wenn die „x_i“-Punkte im Experiment unterschiedlich sind (d. h. wenn die Linie nicht vertikal ist).

Schätzung der Fehler der Regressionslinienkoeffizienten

Für eine genauere Beurteilung des Fehlers bei der Berechnung der Koeffizienten „a“ und „b“ ist eine große Anzahl experimenteller Punkte wünschenswert. Bei „n = 2“ ist es unmöglich, den Fehler der Koeffizienten abzuschätzen, weil Die Näherungslinie verläuft eindeutig durch zwei Punkte.

Der Fehler der Zufallsvariablen „V“ wird bestimmt Gesetz der Fehlerakkumulation
`S_V^2 = sum_(i=1)^p (frac(partielles f)(partielles z_i))^2 S_(z_i)^2`,
wobei „p“ die Anzahl der Parameter „z_i“ mit Fehler „S_(z_i)“ ist, die sich auf den Fehler „S_V“ auswirken;
„f“ ist eine Funktion der Abhängigkeit von „V“ von „z_i“.

Schreiben wir das Gesetz der Fehlerakkumulation für den Fehler der Koeffizienten „a“ und „b“ auf
`S_a^2 = sum_(i=1)^(n)(frac(partial a)(partial y_i))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(partial a )(partielles x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(partielles a)(partielles y_i))^2 `,
`S_b^2 = sum_(i=1)^(n)(frac(partial b)(partial y_i))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(partial b )(partielles x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(partielles b)(partielles y_i))^2 `,
Weil „S_(x_i)^2 = 0“ (wir haben zuvor einen Vorbehalt gemacht, dass der Fehler „x“ vernachlässigbar ist).

„S_y^2 = S_(y_i)^2“ – Fehler (Varianz, quadratische Standardabweichung) bei der Messung von „y“, unter der Annahme, dass der Fehler für alle Werte von „y“ einheitlich ist.

Wenn wir Formeln zur Berechnung von „a“ und „b“ in die resultierenden Ausdrücke einsetzen, erhalten wir

`S_a^2 = S_y^2 frac(sum_(i=1)^(n) (sum_(i=1)^(n) x_i^2 — x_i sum_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n sum_(i=1)^(n) x_i^2 — (sum_(i=1)^(n) x_i)^2) sum_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(sum_(i=1)^(n) x_i^2) (D)` (4.1)

`S_b^2 = S_y^2 frac(sum_(i=1)^(n) (n x_i — sum_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n sum_(i=1)^(n) x_i^2 — (sum_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) ` (4.2)

In den meisten realen Experimenten wird der Wert von „Sy“ nicht gemessen. Hierzu ist es notwendig, mehrere parallele Messungen (Experimente) an einem oder mehreren Punkten im Plan durchzuführen, was die Zeit (und möglicherweise auch die Kosten) des Experiments erhöht. Daher wird üblicherweise angenommen, dass die Abweichung von „y“ von der Regressionsgeraden als zufällig angesehen werden kann. Die Schätzung der Varianz „y“ wird in diesem Fall anhand der Formel berechnet.

„S_y^2 = S_(y, rest)^2 = frac(sum_(i=1)^n (y_i – a – b x_i)^2) (n-2)“.

Der „n-2“-Teiler erscheint, weil unsere Anzahl an Freiheitsgraden aufgrund der Berechnung von zwei Koeffizienten unter Verwendung derselben Stichprobe experimenteller Daten abgenommen hat.

Diese Schätzung wird auch als Restvarianz relativ zur Regressionslinie „S_(y, rest)^2“ bezeichnet.

Die Signifikanz der Koeffizienten wird mithilfe des Student-t-Tests bewertet

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

Wenn die berechneten Kriterien „t_a“, „t_b“ kleiner sind als die tabellierten Kriterien „t(P, n-2)“, dann wird davon ausgegangen, dass der entsprechende Koeffizient mit einer gegebenen Wahrscheinlichkeit „P“ nicht signifikant von Null abweicht.

Um die Qualität der Beschreibung einer linearen Beziehung zu beurteilen, können Sie „S_(y, rest)^2“ und „S_(bar y)“ relativ zum Mittelwert mithilfe des Fisher-Kriteriums vergleichen.

`S_(bar y) = frac(sum_(i=1)^n (y_i — bar y)^2) (n-1) = frac(sum_(i=1)^n (y_i — (sum_(i= 1)^n y_i) /n)^2) (n-1)` – Stichprobenschätzung der Varianz „y“ relativ zum Mittelwert.

Um die Wirksamkeit der Regressionsgleichung zur Beschreibung der Abhängigkeit zu beurteilen, wird der Fisher-Koeffizient berechnet
`F = S_(bar y) / S_(y, rest)^2`,
der mit dem tabellarischen Fisher-Koeffizienten „F(p, n-1, n-2)“ verglichen wird.

Wenn „F > F(P, n-1, n-2)“, wird der Unterschied zwischen der Beschreibung der Beziehung „y = f(x)“ mithilfe der Regressionsgleichung und der Beschreibung mithilfe des Mittelwerts mit Wahrscheinlichkeit als statistisch signifikant angesehen „P“. Diese. Die Regression beschreibt die Abhängigkeit besser als die Streuung von „y“ um den Mittelwert.

Klicken Sie auf das Diagramm
um Werte zur Tabelle hinzuzufügen

Methode der kleinsten Quadrate. Die Methode der kleinsten Quadrate bedeutet die Bestimmung unbekannter Parameter a, b, c, der akzeptierten funktionalen Abhängigkeit

Die Methode der kleinsten Quadrate bezieht sich auf die Bestimmung unbekannter Parameter a, b, c,… akzeptierte funktionale Abhängigkeit

y = f(x,a,b,c,…),

was ein Minimum des mittleren Quadrats (Varianz) des Fehlers liefern würde

, (24)

wobei x i, y i eine Menge von Zahlenpaaren ist, die aus dem Experiment erhalten wurden.

Da die Bedingung für das Extremum einer Funktion mehrerer Variablen die Bedingung ist, dass ihre partiellen Ableitungen gleich Null sind, dann sind die Parameter a, b, c,… werden aus dem Gleichungssystem ermittelt:

; ; ; … (25)

Es muss beachtet werden, dass die Methode der kleinsten Quadrate verwendet wird, um Parameter nach dem Funktionstyp auszuwählen y = f(x) definiert

Wenn aus theoretischen Überlegungen keine Rückschlüsse auf die empirische Formel gezogen werden können, muss man sich an visuellen Darstellungen orientieren, vor allem an grafischen Darstellungen der beobachteten Daten.

In der Praxis beschränken sie sich meist auf die folgenden Funktionstypen:

1) linear ;

2) quadratisch a.

Nachdem Sie den Typ der Regressionsfunktion ausgewählt haben, d. h. Je nach Art des betrachteten Modells der Abhängigkeit von Y von X (oder X von Y), beispielsweise einem linearen Modell y x =a+bx, müssen die spezifischen Werte der Modellkoeffizienten bestimmt werden.

Für unterschiedliche Werte von a und b ist es möglich, unendlich viele Abhängigkeiten der Form y x = a + bx zu konstruieren, d.h. es gibt unendlich viele Geraden auf der Koordinatenebene, aber wir brauchen eine Abhängigkeit, die am besten ist entspricht den beobachteten Werten. Die Aufgabe besteht also darin, die besten Koeffizienten auszuwählen.

Wir suchen nach der linearen Funktion a+bx nur basierend auf einer bestimmten Anzahl verfügbarer Beobachtungen. Um die Funktion mit der besten Anpassung an die beobachteten Werte zu finden, verwenden wir die Methode der kleinsten Quadrate.

Bezeichnen wir: Y i – der durch die Gleichung berechnete Wert Y i =a+bx i. y i - gemessener Wert, ε i =y i -Y i - Differenz zwischen gemessenen und berechneten Werten unter Verwendung der Gleichung, ε i =y i -a-bx i .

Die Methode der kleinsten Quadrate erfordert, dass ε i, die Differenz zwischen dem gemessenen y i und den aus der Gleichung berechneten Werten Y i, minimal ist. Daher finden wir die Koeffizienten a und b so, dass die Summe der quadratischen Abweichungen der beobachteten Werte von den Werten auf der geraden Regressionsgeraden am kleinsten ist:

Indem wir diese Funktion der Argumente a und für Extremum mithilfe von Ableitungen untersuchen, können wir beweisen, dass die Funktion einen Minimalwert annimmt, wenn die Koeffizienten a und b Lösungen des Systems sind:

(2)

Wenn wir beide Seiten der Normalgleichungen durch n dividieren, erhalten wir:

Bedenkt, dass (3)

Wir bekommen Wenn wir von hier aus den Wert von a in die erste Gleichung einsetzen, erhalten wir:

In diesem Fall wird b als Regressionskoeffizient bezeichnet; a wird als freier Term der Regressionsgleichung bezeichnet und nach folgender Formel berechnet:

Die resultierende Gerade ist eine Schätzung für die theoretische Regressionsgerade. Wir haben:

Also, ist eine lineare Regressionsgleichung.

Die Regression kann direkt (b>0) und umgekehrt (b Beispiel 1) sein. Die Ergebnisse der Messung der Werte von X und Y sind in der Tabelle aufgeführt:

Unter der Annahme, dass zwischen X und Y eine lineare Beziehung y=a+bx besteht, bestimmen Sie die Koeffizienten a und b mithilfe der Methode der kleinsten Quadrate.

Lösung. Hier ist n=5
x i =-2+0+1+2+4=5;
x i 2 =4+0+1+4+16=25
x i y i =-2 0,5+0 1+1 1,5+2 2+4 3=16,5
y i =0,5+1+1,5+2+3=8

und das normale System (2) hat die Form

Wenn wir dieses System lösen, erhalten wir: b=0,425, a=1,175. Daher ist y=1,175+0,425x.

Beispiel 2. Es gibt eine Stichprobe von 10 Beobachtungen der Wirtschaftsindikatoren (X) und (Y).

Sie müssen eine Beispiel-Regressionsgleichung von Y auf X finden. Konstruieren Sie eine Beispiel-Regressionslinie von Y auf X.

Lösung. 1. Sortieren wir die Daten nach den Werten x i und y i . Wir bekommen eine neue Tabelle:

Um die Berechnungen zu vereinfachen, erstellen wir eine Berechnungstabelle, in die wir die notwendigen Zahlenwerte eintragen.

Nach Formel (4) berechnen wir den Regressionskoeffizienten

und nach Formel (5)

Somit lautet die Beispielregressionsgleichung y=-59,34+1,3804x.
Zeichnen wir die Punkte (x i ; y i) auf der Koordinatenebene ein und markieren die Regressionslinie.

Abb. 4

Abbildung 4 zeigt, wie die beobachteten Werte relativ zur Regressionsgeraden liegen. Um die Abweichungen von y i von Y i numerisch zu bewerten, wobei y i beobachtet wird und Y i durch Regression bestimmte Werte sind, erstellen wir eine Tabelle:

Yi-Werte werden gemäß der Regressionsgleichung berechnet.

Die auffällige Abweichung einiger beobachteter Werte von der Regressionsgeraden erklärt sich aus der geringen Anzahl an Beobachtungen. Bei der Untersuchung des Grades der linearen Abhängigkeit von Y von X wird die Anzahl der Beobachtungen berücksichtigt. Die Stärke der Abhängigkeit wird durch den Wert des Korrelationskoeffizienten bestimmt.

• Lernprogramm

Einführung

Ich bin Mathematiker und Programmierer. Der größte Sprung in meiner Karriere war, als ich sagen lernte: "Ich verstehe nichts!" Jetzt schäme ich mich nicht, der Koryphäe der Wissenschaft zu sagen, dass er mir einen Vortrag hält, dass ich nicht verstehe, was er, die Koryphäe, mir sagt. Und es ist sehr schwierig. Ja, es ist schwierig und peinlich, seine Unwissenheit zuzugeben. Wer gibt gerne zu, dass er die Grundlagen einer Sache nicht kennt? Berufsbedingt muss ich sehr viele Präsentationen und Vorträge besuchen, bei denen ich, zugegebenermaßen, in den allermeisten Fällen schlafen möchte, weil ich nichts verstehe. Aber ich verstehe es nicht, denn das große Problem der aktuellen Situation in der Wissenschaft liegt in der Mathematik. Es wird davon ausgegangen, dass alle Zuhörer mit absolut allen Bereichen der Mathematik vertraut sind (was absurd ist). Zuzugeben, dass man nicht weiß, was ein Derivat ist (wir werden etwas später darüber sprechen), was es ist, ist beschämend.

Aber ich habe gelernt zu sagen, dass ich nicht weiß, was Multiplikation ist. Ja, ich weiß nicht, was eine Subalgebra über einer Lie-Algebra ist. Ja, ich weiß nicht, warum man im Leben quadratische Gleichungen braucht. Übrigens, wenn Sie sicher sind, dass Sie es wissen, dann haben wir etwas zu besprechen! Mathematik ist eine Reihe von Tricks. Mathematiker versuchen, die Öffentlichkeit zu verwirren und einzuschüchtern; Wo es keine Verwirrung gibt, gibt es keinen Ruf, keine Autorität. Ja, es ist prestigeträchtig, in einer möglichst abstrakten Sprache zu sprechen, was völliger Unsinn ist.

Wissen Sie, was ein Derivat ist? Höchstwahrscheinlich werden Sie mir etwas über die Grenze des Differenzverhältnisses sagen. Im ersten Jahr des Mathematik- und Mechanikstudiums an der Staatlichen Universität St. Petersburg erzählte mir Viktor Petrowitsch Chawin bestimmt Ableitung als Koeffizient des ersten Termes der Taylor-Reihe der Funktion an einem Punkt (dies war eine separate Übung zur Bestimmung der Taylor-Reihe ohne Ableitungen). Ich habe lange über diese Definition gelacht, bis ich endlich verstand, worum es ging. Die Ableitung ist nichts anderes als ein einfaches Maß dafür, wie ähnlich die Funktion, die wir differenzieren, der Funktion y=x, y=x^2, y=x^3 ist.

Ich habe jetzt die Ehre, vor Studenten Vorlesungen zu halten besorgt Mathematik. Wenn Sie Angst vor Mathematik haben, sind wir auf dem gleichen Weg. Sobald Sie versuchen, einen Text zu lesen, und es Ihnen vorkommt, dass er zu kompliziert ist, wissen Sie, dass er schlecht geschrieben ist. Ich behaupte, dass es keinen einzigen Bereich der Mathematik gibt, der nicht „an den Fingern“ diskutiert werden kann, ohne an Genauigkeit zu verlieren.

Aufgabe für die nahe Zukunft: Ich habe meinen Schülern aufgetragen, zu verstehen, was ein linearer quadratischer Regler ist. Seien Sie nicht schüchtern, verbringen Sie drei Minuten Ihres Lebens und folgen Sie dem Link. Wenn Sie nichts verstehen, sind wir auf dem gleichen Weg. Ich (ein professioneller Mathematiker und Programmierer) habe auch nichts verstanden. Und ich versichere Ihnen, Sie können es „an Ihren Fingern“ herausfinden. Im Moment weiß ich nicht, was es ist, aber ich versichere Ihnen, dass wir es herausfinden können.

Die erste Vorlesung, die ich meinen Studenten halten werde, nachdem sie voller Entsetzen auf mich zugerannt kommen und sagen, dass ein linear-quadratischer Regler eine schreckliche Sache ist, die man in seinem Leben nie beherrschen wird, lautet: Methoden der kleinsten Quadrate. Können Sie lineare Gleichungen lösen? Wenn Sie diesen Text lesen, dann höchstwahrscheinlich nicht.

Wenn also zwei Punkte (x0, y0), (x1, y1), zum Beispiel (1,1) und (3,2), gegeben sind, besteht die Aufgabe darin, die Gleichung der Geraden zu finden, die durch diese beiden Punkte verläuft:

Illustration

Diese Zeile sollte eine Gleichung wie die folgende haben:

Hier sind uns Alpha und Beta unbekannt, aber zwei Punkte dieser Linie sind bekannt:

Wir können diese Gleichung in Matrixform schreiben:

Hier sollten wir einen lyrischen Exkurs machen: Was ist eine Matrix? Eine Matrix ist nichts anderes als ein zweidimensionales Array. Dies ist eine Art der Datenspeicherung; es sollten keine weiteren Bedeutungen damit verbunden werden. Es hängt von uns ab, wie wir eine bestimmte Matrix genau interpretieren. In regelmäßigen Abständen interpretiere ich es als lineare Abbildung, in regelmäßigen Abständen als quadratische Form und manchmal einfach als eine Menge von Vektoren. Dies alles wird im Kontext geklärt.

Ersetzen wir konkrete Matrizen durch ihre symbolische Darstellung:

Dann kann (Alpha, Beta) leicht gefunden werden:

Genauer gesagt für unsere vorherigen Daten:

Was zu der folgenden Gleichung der Geraden führt, die durch die Punkte (1,1) und (3,2) verläuft:

Okay, hier ist alles klar. Finden wir die Gleichung der durchgehenden Geraden drei Punkte: (x0,y0), (x1,y1) und (x2,y2):

Oh-oh-oh, aber wir haben drei Gleichungen für zwei Unbekannte! Ein normaler Mathematiker wird sagen, dass es keine Lösung gibt. Was wird der Programmierer sagen? Und er wird zunächst das bisherige Gleichungssystem in folgender Form umschreiben:

In unserem Fall sind die Vektoren i, j, b dreidimensional, daher gibt es (im allgemeinen Fall) keine Lösung für dieses System. Jeder Vektor (alpha\*i + beta\*j) liegt in der Ebene, die von den Vektoren (i, j) aufgespannt wird. Wenn b nicht zu dieser Ebene gehört, gibt es keine Lösung (Gleichheit kann in der Gleichung nicht erreicht werden). Was zu tun ist? Suchen wir nach einem Kompromiss. Bezeichnen wir mit e(Alpha, Beta) genau, wie weit wir die Gleichberechtigung noch nicht erreicht haben:

Und wir werden versuchen, diesen Fehler zu minimieren:

Warum quadratisch?

Wir suchen nicht nur nach dem Minimum der Norm, sondern nach dem Minimum des Quadrats der Norm. Warum? Der Minimalpunkt selbst fällt zusammen und das Quadrat ergibt eine glatte Funktion (eine quadratische Funktion der Argumente (Alpha, Beta)), während einfach die Länge eine kegelförmige Funktion ergibt, die am Minimalpunkt nicht differenzierbar ist. Brr. Ein Quadrat ist bequemer.

Offensichtlich wird der Fehler minimiert, wenn der Vektor e orthogonal zu der von den Vektoren aufgespannten Ebene ich Und J.

Illustration

Mit anderen Worten: Wir suchen eine Gerade, bei der die Summe der Quadratlängen der Abstände aller Punkte zu dieser Geraden minimal ist:

UPDATE: Ich habe hier ein Problem, der Abstand zur Geraden sollte vertikal gemessen werden und nicht durch orthogonale Projektion. Der Kommentator hat recht.

Illustration

Mit ganz anderen Worten (vorsichtig, schlecht formalisiert, aber es sollte klar sein): Wir nehmen alle möglichen Linien zwischen allen Punktpaaren und suchen nach der Durchschnittslinie zwischen allen:

Illustration

Eine andere Erklärung ist einfach: Wir befestigen eine Feder zwischen allen Datenpunkten (hier haben wir drei) und der geraden Linie, nach der wir suchen, und die gerade Linie des Gleichgewichtszustands ist genau das, was wir suchen.

Minimale quadratische Form

Mit anderen Worten, wir suchen nach einem Vektor x=(Alpha, Beta), so dass:

Ich möchte Sie daran erinnern, dass dieser Vektor x=(alpha, beta) das Minimum der quadratischen Funktion ||e(alpha, beta)||^2 ist:

Hier ist es nützlich, sich daran zu erinnern, dass die Matrix auch als quadratische Form interpretiert werden kann, beispielsweise kann die Identitätsmatrix ((1,0),(0,1)) als Funktion x^2 + y^ interpretiert werden 2:

quadratische Form

All diese Gymnastik ist unter dem Namen lineare Regression bekannt.

Laplace-Gleichung mit Dirichlet-Randbedingung

Der ursprüngliche Commit ist verfügbar. Um externe Abhängigkeiten zu minimieren, habe ich den Code meines Software-Renderers übernommen, bereits auf Habré. Um ein lineares System zu lösen, verwende ich OpenNL. Dies ist ein hervorragender Löser, der jedoch sehr schwierig zu installieren ist: Sie müssen zwei Dateien (.h+.c) in den Ordner mit Ihrem Projekt kopieren. Die gesamte Glättung erfolgt mit dem folgenden Code:

Für (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&face = faces[i]; für (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

Die X-, Y- und Z-Koordinaten sind trennbar, ich glätte sie separat. Das heißt, ich löse drei lineare Gleichungssysteme mit jeweils einer Anzahl von Variablen, die der Anzahl der Eckpunkte in meinem Modell entspricht. Die ersten n Zeilen der Matrix A haben nur eine 1 pro Zeile, und die ersten n Zeilen des Vektors b haben die ursprünglichen Modellkoordinaten. Das heißt, ich binde eine Feder zwischen der neuen Position des Scheitelpunkts und der alten Position des Scheitelpunkts – die neuen sollten sich nicht zu weit von den alten entfernen.

Alle nachfolgenden Zeilen der Matrix A (faces.size()*3 = Anzahl der Kanten aller Dreiecke im Netz) haben ein Vorkommen von 1 und ein Vorkommen von -1, wobei der Vektor b null entgegengesetzte Komponenten hat. Das bedeutet, dass ich an jeder Kante unseres Dreiecksnetzes eine Feder anlege: Alle Kanten versuchen, den gleichen Scheitelpunkt wie ihr Start- und Endpunkt zu erreichen.

Noch einmal: Alle Scheitelpunkte sind Variablen und können sich nicht weit von ihrer ursprünglichen Position entfernen, aber gleichzeitig versuchen sie, einander ähnlich zu werden.

Hier ist das Ergebnis:

Alles wäre in Ordnung, das Modell ist wirklich geglättet, aber es hat sich von seiner ursprünglichen Kante entfernt. Ändern wir den Code ein wenig:

Für (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

In unserer Matrix A füge ich für die Eckpunkte, die am Rand liegen, keine Zeile aus der Kategorie v_i = verts[i][d] hinzu, sondern 1000*v_i = 1000*verts[i][d]. Was ändert sich? Und das verändert unsere quadratische Form des Fehlers. Nun kostet eine einzelne Abweichung von oben am Rand nicht wie bisher eine Einheit, sondern 1000*1000 Einheiten. Das heißt, wir haben an den äußersten Scheitelpunkten eine stärkere Feder aufgehängt, die Lösung wird es vorziehen, die anderen stärker zu dehnen. Hier ist das Ergebnis:

Verdoppeln wir die Federkraft zwischen den Eckpunkten:
nlCoefficient(face[ j ], 2); nlCoefficient(face[(j+1)%3], -2);

Logisch, dass die Oberfläche glatter geworden ist:

Und jetzt noch hundertmal stärker:

Was ist das? Stellen Sie sich vor, wir hätten einen Drahtring in Seifenwasser getaucht. Infolgedessen wird der resultierende Seifenfilm versuchen, die geringstmögliche Krümmung aufzuweisen und den Rand – unseren Drahtring – zu berühren. Genau das haben wir erreicht, indem wir den Rand fixiert und innen eine glatte Oberfläche gewünscht haben. Herzlichen Glückwunsch, wir haben gerade die Laplace-Gleichung mit Dirichlet-Randbedingungen gelöst. Hört sich cool an? Aber in Wirklichkeit müssen Sie nur ein lineares Gleichungssystem lösen.

Poisson-Gleichung

Nehmen wir an, ich habe ein Bild wie dieses:

Sieht für alle gut aus, aber mir gefällt der Stuhl nicht.

Ich schneide das Bild in zwei Hälften:

Und ich werde mit meinen Händen einen Stuhl auswählen:

Dann ziehe ich alles, was in der Maske weiß ist, auf die linke Seite des Bildes und sage gleichzeitig im gesamten Bild, dass die Differenz zwischen zwei benachbarten Pixeln gleich der Differenz zwischen zwei benachbarten Pixeln auf der rechten Seite sein sollte Bild:

Für (int i=0; i

Hier ist das Ergebnis:

Code und Bilder verfügbar

Zusammenhängende Posts:

Nikolai Pirogov Arzt Nikolai Ivanovich Pirogov Zitate darüber, was wichtig ist. Aphorismen über Zitate. Das ist der Punkt Ogareva; fgbou in „msu im Die besten Englischlehrbücher zur Verbesserung Ihres Wortschatzes Exotisches Land Australien