Datenanalyse mit der Methode der kleinsten Quadrate. Mathematik an den Fingern: Methoden der kleinsten Quadrate. Ein paar Worte zur Richtigkeit der für die Vorhersage verwendeten Ausgangsdaten

Methode der kleinsten Quadrate

Methode der kleinsten Quadrate ( OLS, OLS, gewöhnliche kleinste Quadrate) - eine der grundlegenden Methoden der Regressionsanalyse zur Schätzung unbekannter Parameter von Regressionsmodellen anhand von Beispieldaten. Die Methode basiert auf der Minimierung der Summe der Quadrate der Regressionsresiduen.

Es ist zu beachten, dass die Methode der kleinsten Quadrate selbst als Methode zur Lösung eines Problems in einem beliebigen Bereich bezeichnet werden kann, wenn die Lösung in einem Kriterium zur Minimierung der Quadratsumme einiger Funktionen der erforderlichen Variablen liegt oder dieses erfüllt. Daher kann die Methode der kleinsten Quadrate auch für eine ungefähre Darstellung (Approximation) einer bestimmten Funktion durch andere (einfachere) Funktionen verwendet werden, wenn eine Menge von Größen gefunden wird, die Gleichungen oder Einschränkungen erfüllen, deren Anzahl die Anzahl dieser Größen übersteigt , usw.

Die Essenz von MNC

Gegeben sei ein (parametrisches) Modell einer probabilistischen (Regressions-)Beziehung zwischen der (erklärten) Variablen j und viele Faktoren (erklärende Variablen) X

Wo ist der Vektor unbekannter Modellparameter?

- Zufälliger Modellfehler.

Lassen Sie es auch Beispielbeobachtungen der Werte dieser Variablen geben. Sei die Beobachtungszahl (). Dann sind die Werte der Variablen in der Beobachtung. Dann ist es für gegebene Werte der Parameter b möglich, die theoretischen (Modell-)Werte der erklärten Variablen y zu berechnen:

Die Größe der Residuen hängt von den Werten der Parameter b ab.

Das Wesen der Methode der kleinsten Quadrate (gewöhnlich, klassisch) besteht darin, Parameter b zu finden, für die die Summe der Quadrate der Residuen (eng. Restquadratsumme) wird minimal sein:

Im Allgemeinen kann dieses Problem durch numerische Optimierungs- (Minimierungs-)Methoden gelöst werden. In diesem Fall reden sie darüber nichtlineare kleinste Quadrate(NLS oder NLS – Englisch) Nichtlineare kleinste Quadrate). In vielen Fällen ist es möglich, eine analytische Lösung zu erhalten. Um das Minimierungsproblem zu lösen, ist es notwendig, stationäre Punkte der Funktion zu finden, indem man sie nach den unbekannten Parametern b differenziert, die Ableitungen mit Null gleichsetzt und das resultierende Gleichungssystem löst:

Wenn die Zufallsfehler des Modells normalverteilt sind, die gleiche Varianz aufweisen und unkorreliert sind, sind die OLS-Parameterschätzungen dieselben wie die Maximum-Likelihood-Schätzungen (MLM).

OLS im Fall eines linearen Modells

Die Regressionsabhängigkeit sei linear:

Lassen j ist ein Spaltenvektor von Beobachtungen der erklärten Variablen und eine Matrix von Faktorbeobachtungen (die Zeilen der Matrix sind die Vektoren der Faktorwerte in einer bestimmten Beobachtung, die Spalten sind der Vektor der Werte eines bestimmten Faktors in allen Beobachtungen). Die Matrixdarstellung des linearen Modells lautet:

Dann sind der Vektor der Schätzungen der erklärten Variablen und der Vektor der Regressionsresiduen gleich

Dementsprechend ist die Summe der Quadrate der Regressionsresiduen gleich

Wenn wir diese Funktion nach dem Parametervektor differenzieren und die Ableitungen mit Null gleichsetzen, erhalten wir ein Gleichungssystem (in Matrixform):

.

Die Lösung dieses Gleichungssystems ergibt die allgemeine Formel für Schätzungen der kleinsten Quadrate für ein lineares Modell:

Für analytische Zwecke ist die letztere Darstellung dieser Formel nützlich. Wenn in einem Regressionsmodell die Daten zentriert, dann hat in dieser Darstellung die erste Matrix die Bedeutung einer Stichproben-Kovarianzmatrix von Faktoren und die zweite ist ein Vektor von Kovarianzen von Faktoren mit der abhängigen Variablen. Wenn zusätzlich die Daten auch sind normalisiert zu MSE (das heißt letztendlich standardisiert), dann hat die erste Matrix die Bedeutung einer Stichprobenkorrelationsmatrix von Faktoren, der zweite Vektor - ein Vektor von Stichprobenkorrelationen von Faktoren mit der abhängigen Variablen.

Eine wichtige Eigenschaft von OLS-Schätzungen für Modelle mit Konstante- Die konstruierte Regressionslinie verläuft durch den Schwerpunkt der Stichprobendaten, d. h. die Gleichheit ist erfüllt:

Insbesondere im Extremfall, wenn der einzige Regressor eine Konstante ist, stellen wir fest, dass die OLS-Schätzung des einzigen Parameters (der Konstante selbst) gleich dem Durchschnittswert der erklärten Variablen ist. Das heißt, das arithmetische Mittel, das für seine guten Eigenschaften aus den Gesetzen der großen Zahlen bekannt ist, ist auch eine Schätzung der kleinsten Quadrate – es erfüllt das Kriterium der minimalen Summe der quadratischen Abweichungen davon.

Beispiel: einfachste (paarweise) Regression

Bei der gepaarten linearen Regression werden die Berechnungsformeln vereinfacht (Sie können auf Matrixalgebra verzichten):

Eigenschaften von OLS-Schätzern

Zunächst stellen wir fest, dass es sich bei den OLS-Schätzungen für lineare Modelle um lineare Schätzungen handelt, wie aus der obigen Formel hervorgeht. Für unverzerrte OLS-Schätzungen ist es notwendig und ausreichend, die wichtigste Bedingung der Regressionsanalyse zu erfüllen: Die mathematische Erwartung eines zufälligen Fehlers, bedingt durch die Faktoren, muss gleich Null sein. Diese Bedingung ist insbesondere dann erfüllt, wenn

1. die mathematische Erwartung zufälliger Fehler ist Null und
2. Faktoren und Zufallsfehler sind unabhängige Zufallsvariablen.

Die zweite Bedingung – die Bedingung der Exogenität der Faktoren – ist grundlegend. Wenn diese Eigenschaft nicht erfüllt ist, können wir davon ausgehen, dass fast alle Schätzungen äußerst unbefriedigend sind: Sie sind nicht einmal konsistent (d. h. selbst eine sehr große Datenmenge ermöglicht es uns in diesem Fall nicht, qualitativ hochwertige Schätzungen zu erhalten ). Im klassischen Fall wird im Gegensatz zu einem Zufallsfehler eine stärkere Annahme über den Determinismus der Faktoren getroffen, was automatisch bedeutet, dass die Exogenitätsbedingung erfüllt ist. Im allgemeinen Fall reicht es für die Konsistenz der Schätzungen aus, die Exogenitätsbedingung zusammen mit der Konvergenz der Matrix zu einer nicht singulären Matrix zu erfüllen, wenn die Stichprobengröße bis ins Unendliche ansteigt.

Damit Schätzungen der (gewöhnlichen) kleinsten Quadrate neben Konsistenz und Unvoreingenommenheit auch effektiv sind (die besten in der Klasse der linearen unvoreingenommenen Schätzungen), müssen zusätzliche Eigenschaften des Zufallsfehlers erfüllt sein:

Diese Annahmen können für die Kovarianzmatrix des Zufallsfehlervektors formuliert werden

Ein lineares Modell, das diese Bedingungen erfüllt, heißt klassisch. OLS-Schätzungen für die klassische lineare Regression sind erwartungstreue, konsistente und die effektivsten Schätzungen in der Klasse aller linearen erwartungstreuen Schätzungen (in der englischen Literatur wird die Abkürzung manchmal verwendet). BLAU (Bester linearer, unvermittelter Schätzer) – die beste lineare unverzerrte Schätzung; in der russischen Literatur wird häufiger das Gauß-Markov-Theorem zitiert). Wie leicht zu zeigen ist, ist die Kovarianzmatrix des Vektors der Koeffizientenschätzungen gleich:

Generalisiertes OLS

Die Methode der kleinsten Quadrate ermöglicht eine breite Verallgemeinerung. Anstatt die Summe der Quadrate der Residuen zu minimieren, kann man eine positiv definite quadratische Form des Residuenvektors minimieren, bei der es sich um eine symmetrische positiv definite Gewichtsmatrix handelt. Ein Sonderfall dieses Ansatzes ist die konventionelle Methode der kleinsten Quadrate, bei der die Gewichtsmatrix proportional zur Identitätsmatrix ist. Wie aus der Theorie der symmetrischen Matrizen (oder Operatoren) bekannt ist, gibt es für solche Matrizen eine Zerlegung. Folglich kann das angegebene Funktional wie folgt dargestellt werden, das heißt, dieses Funktional kann als Summe der Quadrate einiger transformierter „Reste“ dargestellt werden. Somit können wir eine Klasse von Methoden der kleinsten Quadrate unterscheiden – LS-Methoden (Least Squares).

Es wurde bewiesen (Theorem von Aitken), dass für ein verallgemeinertes lineares Regressionsmodell (bei dem keine Einschränkungen für die Kovarianzmatrix zufälliger Fehler gelten) die sogenannten Schätzungen am effektivsten (in der Klasse der linearen unverzerrten Schätzungen) sind. verallgemeinerte kleinste Quadrate (GLS – Generalized Least Squares)- LS-Methode mit einer Gewichtsmatrix, die der inversen Kovarianzmatrix zufälliger Fehler entspricht: .

Es kann gezeigt werden, dass die Formel für GLS-Schätzungen der Parameter eines linearen Modells die Form hat

Die Kovarianzmatrix dieser Schätzungen ist dementsprechend gleich

Tatsächlich liegt das Wesen von OLS in einer bestimmten (linearen) Transformation (P) der Originaldaten und der Anwendung gewöhnlicher OLS auf die transformierten Daten. Der Zweck dieser Transformation besteht darin, dass für die transformierten Daten die Zufallsfehler bereits die klassischen Annahmen erfüllen.

Gewichtetes OLS

Im Fall einer diagonalen Gewichtsmatrix (und damit einer Kovarianzmatrix zufälliger Fehler) haben wir die sogenannten gewichteten kleinsten Quadrate (WLS). In diesem Fall wird die gewichtete Quadratsumme der Modellresiduen minimiert, d. h. jede Beobachtung erhält ein „Gewicht“, das umgekehrt proportional zur Varianz des Zufallsfehlers in dieser Beobachtung ist: . Tatsächlich werden die Daten durch Gewichtung der Beobachtungen transformiert (Dividierung durch einen Betrag, der proportional zur geschätzten Standardabweichung der Zufallsfehler ist), und auf die gewichteten Daten wird gewöhnliches OLS angewendet.

Einige Sonderfälle der Verwendung von MNC in der Praxis

Annäherung der linearen Abhängigkeit

Betrachten wir den Fall, wenn wir als Ergebnis der Untersuchung der Abhängigkeit einer bestimmten skalaren Größe von einer bestimmten skalaren Größe (dies könnte beispielsweise die Abhängigkeit der Spannung von der Stromstärke sein: , wobei ein konstanter Wert ist, der Widerstand von des Leiters) wurden Messungen dieser Größen durchgeführt, wodurch die Werte und die entsprechenden Werte ermittelt wurden. Die Messdaten müssen in einer Tabelle erfasst werden.

Tisch. Messergebnisse.

Messung Nr.
1
2
3
4
5
6

Die Frage ist: Welcher Wert des Koeffizienten kann gewählt werden, um die Abhängigkeit am besten zu beschreiben? Nach der Methode der kleinsten Quadrate sollte dieser Wert so sein, dass er die Summe der quadrierten Abweichungen der Werte von den Werten darstellt

war minimal

Die Summe der quadratischen Abweichungen hat ein Extremum – ein Minimum, was uns die Verwendung dieser Formel ermöglicht. Lassen Sie uns aus dieser Formel den Wert des Koeffizienten ermitteln. Dazu transformieren wir seine linke Seite wie folgt:

Mit der letzten Formel können wir den Wert des Koeffizienten ermitteln, der für das Problem erforderlich war.

Geschichte

Bis zum Beginn des 19. Jahrhunderts. Wissenschaftler hatten keine bestimmten Regeln zum Lösen eines Gleichungssystems, in dem die Anzahl der Unbekannten geringer ist als die Anzahl der Gleichungen; Bis zu diesem Zeitpunkt wurden private Techniken verwendet, die von der Art der Gleichungen und vom Scharfsinn der Rechner abhingen, und daher kamen verschiedene Rechner, die auf denselben Beobachtungsdaten basierten, zu unterschiedlichen Schlussfolgerungen. Gauß (1795) war der erste, der die Methode verwendete, und Legendre (1805) entdeckte sie unabhängig und veröffentlichte sie unter ihrem modernen Namen (französisch). Methode der geringsten Streitigkeiten ). Laplace bezog die Methode auf die Wahrscheinlichkeitstheorie, und der amerikanische Mathematiker Adrain (1808) befasste sich mit ihren Anwendungen. Die Methode fand weite Verbreitung und wurde durch weitere Forschungen von Encke, Bessel, Hansen und anderen verbessert.

Alternative Verwendungsmöglichkeiten von OLS

Die Idee der Methode der kleinsten Quadrate kann auch in anderen Fällen verwendet werden, die nicht direkt mit der Regressionsanalyse zusammenhängen. Tatsache ist, dass die Quadratsumme eines der gebräuchlichsten Näherungsmaße für Vektoren ist (euklidische Metrik in endlichdimensionalen Räumen).

Eine Anwendung ist die „Lösung“ linearer Gleichungssysteme, bei denen die Anzahl der Gleichungen größer ist als die Anzahl der Variablen

wobei die Matrix nicht quadratisch, sondern rechteckig ist.

Ein solches Gleichungssystem hat im allgemeinen Fall keine Lösung (sofern der Rang tatsächlich größer ist als die Anzahl der Variablen). Daher kann dieses System nur in dem Sinne „gelöst“ werden, dass ein solcher Vektor so gewählt wird, dass der „Abstand“ zwischen den Vektoren und minimiert wird. Dazu können Sie das Kriterium der Minimierung der Quadratsumme der Differenzen zwischen der linken und rechten Seite der Systemgleichungen anwenden. Es lässt sich leicht zeigen, dass die Lösung dieses Minimierungsproblems zur Lösung des folgenden Gleichungssystems führt

Was die breiteste Anwendung in verschiedenen Bereichen der Wissenschaft und der praktischen Tätigkeit findet. Das können Physik, Chemie, Biologie, Wirtschaftswissenschaften, Soziologie, Psychologie usw. sein. Durch den Willen des Schicksals muss ich mich oft mit der Wirtschaft auseinandersetzen, und deshalb werde ich heute für Sie eine Reise in ein erstaunliches Land namens arrangieren Ökonometrie=) ...Wie kann man es nicht wollen?! Es ist dort sehr gut – man muss sich nur entscheiden! ...Aber was Sie wahrscheinlich auf jeden Fall wollen, ist zu lernen, wie man Probleme löst Methode der kleinsten Quadrate. Und besonders fleißige Leser werden lernen, sie nicht nur präzise, ​​sondern auch SEHR SCHNELL zu lösen ;-) Aber zuerst allgemeine Darstellung des Problems+ begleitendes Beispiel:

Angenommen, in einem bestimmten Fachgebiet werden Indikatoren untersucht, die einen quantitativen Ausdruck haben. Gleichzeitig gibt es allen Grund zu der Annahme, dass der Indikator vom Indikator abhängt. Diese Annahme kann entweder eine wissenschaftliche Hypothese sein oder auf dem gesunden Menschenverstand basieren. Lassen wir die Wissenschaft jedoch beiseite und erkunden appetitlichere Bereiche – nämlich Lebensmittelgeschäfte. Bezeichnen wir mit:

– Verkaufsfläche eines Lebensmittelgeschäfts, qm,
– Jahresumsatz eines Lebensmittelgeschäfts, Millionen Rubel.

Es ist völlig klar, dass der Umsatz in den meisten Fällen umso größer ist, je größer die Ladenfläche ist.

Nehmen wir an, dass uns nach der Durchführung von Beobachtungen/Experimenten/Berechnungen/Tänzen mit einem Tamburin numerische Daten zur Verfügung stehen:

Bei Lebensmittelgeschäften ist meiner Meinung nach alles klar: - das ist die Fläche des 1. Ladens, - sein Jahresumsatz, - die Fläche des 2. Ladens, - sein Jahresumsatz usw. Übrigens ist es überhaupt nicht notwendig, Zugang zu geheimen Materialien zu haben – eine ziemlich genaue Einschätzung des Handelsumsatzes kann dadurch erhalten werden mathematische Statistik. Aber lassen wir uns nicht ablenken, der Wirtschaftsspionagekurs ist bereits bezahlt =)

Tabellarische Daten können auch in Form von Punkten geschrieben und in der bekannten Form dargestellt werden Kartesisches System .

Beantworten wir eine wichtige Frage: Wie viele Punkte werden für eine qualitative Studie benötigt?

Je mehr desto besser. Der akzeptable Mindestsatz besteht aus 5-6 Punkten. Darüber hinaus können „anomale“ Ergebnisse nicht in die Stichprobe aufgenommen werden, wenn die Datenmenge gering ist. So kann beispielsweise ein kleiner Elite-Laden um Größenordnungen mehr verdienen als „seine Kollegen“, wodurch das allgemeine Muster, das Sie finden müssen, verzerrt wird!

Um es ganz einfach auszudrücken: Wir müssen eine Funktion auswählen, Zeitplan die so nah wie möglich an den Punkten vorbeiführt . Diese Funktion wird aufgerufen annähernd (Näherung - Näherung) oder theoretische Funktion . Im Allgemeinen taucht hier sofort ein offensichtlicher „Anwärter“ auf – ein Polynom höheren Grades, dessen Graph ALLE Punkte durchläuft. Diese Option ist jedoch kompliziert und oft einfach falsch. (da die Grafik ständig eine „Schleife“ durchläuft und den Haupttrend schlecht widerspiegelt).

Die gesuchte Funktion muss also recht einfach sein und gleichzeitig die Abhängigkeit angemessen widerspiegeln. Wie Sie vielleicht erraten haben, heißt eine der Methoden zum Finden solcher Funktionen aufgerufen Methode der kleinsten Quadrate. Schauen wir uns zunächst das Wesentliche allgemein an. Lassen Sie einige Funktionen experimentelle Daten annähern:


Wie lässt sich die Genauigkeit dieser Näherung beurteilen? Berechnen wir auch die Unterschiede (Abweichungen) zwischen den experimentellen und funktionalen Werten (wir studieren die Zeichnung). Der erste Gedanke, der mir in den Sinn kommt, ist, abzuschätzen, wie groß die Summe ist, aber das Problem besteht darin, dass die Unterschiede negativ sein können (Zum Beispiel, ) und Abweichungen als Ergebnis einer solchen Summierung heben sich gegenseitig auf. Um die Genauigkeit der Näherung abzuschätzen, muss daher die Summe herangezogen werden Module Abweichungen:

oder zusammengebrochen: (Falls es jemand nicht weiß: – das ist das Summensymbol und – eine Hilfsvariable „Zähler“, die Werte von 1 bis annimmt).

Indem wir experimentelle Punkte mit unterschiedlichen Funktionen approximieren, erhalten wir unterschiedliche Werte, und offensichtlich ist diese Funktion genauer, wenn diese Summe kleiner ist.

Eine solche Methode existiert und wird aufgerufen Methode des kleinsten Moduls. In der Praxis hat es jedoch eine viel größere Verbreitung gefunden Methode der kleinsten Quadrate, bei dem mögliche negative Werte nicht durch den Modul, sondern durch Quadrieren der Abweichungen eliminiert werden:

Danach zielen die Bemühungen darauf ab, eine Funktion auszuwählen, die die Summe der quadrierten Abweichungen darstellt war so klein wie möglich. Daher stammt eigentlich auch der Name der Methode.

Und nun kommen wir zu einem weiteren wichtigen Punkt zurück: Wie oben erwähnt, sollte die ausgewählte Funktion recht einfach sein – es gibt aber auch viele solcher Funktionen: linear , hyperbolisch, exponentiell, logarithmisch, quadratisch usw. Und natürlich möchte ich hier gleich „das Tätigkeitsfeld reduzieren“. Welche Funktionsklasse sollte ich für die Forschung wählen? Eine primitive, aber effektive Technik:

– Der einfachste Weg ist die Darstellung von Punkten auf der Zeichnung und analysieren Sie ihre Position. Wenn sie dazu neigen, in einer geraden Linie zu verlaufen, dann sollten Sie danach suchen Gleichung einer Geraden mit optimalen Werten und . Mit anderen Worten besteht die Aufgabe darin, SOLCHE Koeffizienten zu finden, sodass die Summe der quadratischen Abweichungen am kleinsten ist.

Wenn die Punkte beispielsweise entlang liegen Hyperbel, dann ist offensichtlich klar, dass die lineare Funktion eine schlechte Näherung liefert. In diesem Fall suchen wir nach den „günstigsten“ Koeffizienten für die Hyperbelgleichung – diejenigen, die die minimale Quadratsumme ergeben .

Beachten Sie nun, dass wir in beiden Fällen darüber sprechen Funktionen zweier Variablen, deren Argumente sind gesuchte Abhängigkeitsparameter:

Und im Wesentlichen müssen wir ein Standardproblem lösen – finden Minimalfunktion zweier Variablen.

Erinnern wir uns an unser Beispiel: Nehmen wir an, dass „Laden“-Punkte in der Regel in einer geraden Linie liegen und es allen Grund gibt, an deren Vorhandensein zu glauben lineare Abhängigkeit Umsatz aus Verkaufsflächen. Finden wir SOLCHE Koeffizienten „a“ und „be“, sodass die Summe der quadrierten Abweichungen entsteht war der Kleinste. Alles ist wie immer – zunächst einmal Partielle Ableitungen 1. Ordnung. Entsprechend Linearitätsregel Direkt unter dem Summensymbol können Sie unterscheiden:

Wenn Sie diese Informationen für einen Aufsatz oder eine Hausarbeit verwenden möchten, bin ich für den Link im Quellenverzeichnis sehr dankbar. Solche detaillierten Berechnungen finden Sie an wenigen Stellen:

Lassen Sie uns ein Standardsystem erstellen:

Wir reduzieren jede Gleichung um „zwei“ und „brechen“ zusätzlich die Summen auf:

Notiz : Analysieren Sie unabhängig, warum „a“ und „be“ über das Summensymbol hinaus entfernt werden können. Formal lässt sich das übrigens mit der Summe machen

Schreiben wir das System in „angewandter“ Form um:

Danach beginnt sich der Algorithmus zur Lösung unseres Problems abzuzeichnen:

Kennen wir die Koordinaten der Punkte? Wir wissen. Beträge Können wir es finden? Leicht. Machen wir es am einfachsten System zweier linearer Gleichungen in zwei Unbekannten(„a“ und „be“). Wir lösen das System zum Beispiel, Cramers Methode, wodurch wir einen stationären Punkt erhalten. Überprüfung ausreichende Bedingung für ein Extremum, können wir an dieser Stelle die Funktion überprüfen erreicht genau Minimum. Die Prüfung erfordert zusätzliche Berechnungen und wird daher nicht durchgeführt (Bei Bedarf kann der fehlende Rahmen eingesehen werden). Wir ziehen das abschließende Fazit:

Funktion der beste Weg (zumindest im Vergleich zu jeder anderen linearen Funktion) bringt experimentelle Punkte näher . Grob gesagt verläuft sein Graph so nah wie möglich an diesen Punkten. In Tradition Ökonometrie die resultierende Näherungsfunktion wird auch aufgerufen gepaarte lineare Regressionsgleichung .

Das betrachtete Problem ist von großer praktischer Bedeutung. In unserer Beispielsituation gilt Gl. ermöglicht es Ihnen, den Handelsumsatz vorherzusagen („Igrek“) Der Laden wird den einen oder anderen Wert der Verkaufsfläche haben (die eine oder andere Bedeutung von „x“). Ja, die resultierende Prognose wird nur eine Prognose sein, aber in vielen Fällen wird sie sich als recht genau erweisen.

Ich werde nur ein Problem mit „echten“ Zahlen analysieren, da es keine Schwierigkeiten bereitet – alle Berechnungen erfolgen auf dem Niveau des Lehrplans der 7. bis 8. Klasse. In 95 Prozent der Fälle werden Sie aufgefordert, nur eine lineare Funktion zu finden, aber ganz am Ende des Artikels werde ich zeigen, dass es nicht schwieriger ist, die Gleichungen der optimalen Hyperbel-, Exponential- und einiger anderer Funktionen zu finden.

Eigentlich müssen Sie nur noch die versprochenen Leckereien verteilen – damit Sie lernen, solche Beispiele nicht nur genau, sondern auch schnell zu lösen. Wir studieren den Standard sorgfältig:

Aufgabe

Als Ergebnis der Untersuchung der Beziehung zwischen zwei Indikatoren wurden die folgenden Zahlenpaare erhalten:

Finden Sie mithilfe der Methode der kleinsten Quadrate die lineare Funktion, die der empirischen Funktion am besten entspricht (erfahren) Daten. Erstellen Sie eine Zeichnung, auf der Sie experimentelle Punkte und einen Graphen der Näherungsfunktion in einem kartesischen rechtwinkligen Koordinatensystem konstruieren . Ermitteln Sie die Summe der quadratischen Abweichungen zwischen den empirischen und theoretischen Werten. Finden Sie heraus, ob die Funktion besser wäre (aus Sicht der Methode der kleinsten Quadrate) Bringen Sie experimentelle Punkte näher.

Bitte beachten Sie, dass die „x“-Bedeutungen natürlich sind und eine charakteristische Bedeutung haben, auf die ich etwas später eingehen werde; aber sie können natürlich auch gebrochen sein. Darüber hinaus können je nach Inhalt einer bestimmten Aufgabe sowohl die Werte „X“ als auch „Spiel“ ganz oder teilweise negativ sein. Nun, uns wurde eine „gesichtslose“ Aufgabe gegeben, und wir beginnen damit Lösung:

Wir finden die Koeffizienten der optimalen Funktion als Lösung des Systems:

Zwecks kompakterer Aufzeichnung kann die Variable „Zähler“ weggelassen werden, da bereits klar ist, dass die Summierung von 1 bis erfolgt.

Bequemer ist es, die benötigten Beträge tabellarisch zu berechnen:


Berechnungen können mit einem Mikrorechner durchgeführt werden, viel besser ist jedoch die Verwendung von Excel – sowohl schneller als auch fehlerfrei; Sehen Sie sich ein kurzes Video an:

Somit erhalten wir Folgendes System:

Hier können Sie die zweite Gleichung mit 3 multiplizieren und Subtrahieren Sie Term für Term den 2. von der 1. Gleichung. Aber das ist Glück – in der Praxis sind Systeme oft kein Geschenk, und in solchen Fällen spart es Cramers Methode:
, was bedeutet, dass das System über eine einzigartige Lösung verfügt.

Lass uns das Prüfen. Ich verstehe, dass Sie das nicht wollen, aber warum sollten Sie Fehler überspringen, wenn sie absolut nicht übersehen werden können? Setzen wir die gefundene Lösung in die linke Seite jeder Gleichung des Systems ein:

Man erhält die rechten Seiten der entsprechenden Gleichungen, was bedeutet, dass das System korrekt gelöst ist.

Somit ist die gewünschte Näherungsfunktion: – von alle linearen Funktionen Sie ist es, die die experimentellen Daten am besten annähert.

Im Gegensatz zu gerade Abhängigkeit des Umsatzes des Ladens von seiner Fläche, die gefundene Abhängigkeit ist umkehren (Prinzip „je mehr, desto weniger“), und diese Tatsache wird durch das Negativ sofort offenbart Neigung. Funktion sagt uns, dass mit einer Erhöhung eines bestimmten Indikators um 1 Einheit der Wert des abhängigen Indikators abnimmt im mittleren um 0,65 Einheiten. Man sagt: Je höher der Buchweizenpreis, desto weniger wird er verkauft.

Um die Näherungsfunktion darzustellen, ermitteln wir ihre beiden Werte:

und führen Sie die Zeichnung aus:


Die konstruierte Gerade heißt Trendlinie (nämlich eine lineare Trendlinie, d. h. im Allgemeinen ist ein Trend nicht unbedingt eine gerade Linie). Jeder kennt den Ausdruck „im Trend sein“, und ich denke, dieser Begriff bedarf keiner weiteren Kommentare.

Berechnen wir die Summe der quadrierten Abweichungen zwischen empirischen und theoretischen Werten. Geometrisch gesehen ist dies die Summe der Quadrate der Längen der „Himbeer“-Segmente (zwei davon sind so klein, dass sie nicht einmal sichtbar sind).

Fassen wir die Berechnungen in einer Tabelle zusammen:


Auch hier können sie für alle Fälle manuell durchgeführt werden. Für den ersten Punkt gebe ich ein Beispiel:

aber es ist viel effektiver, es auf die bereits bekannte Weise zu tun:

Wir wiederholen noch einmal: Welche Bedeutung hat das erhaltene Ergebnis? Aus alle linearen Funktionen y-Funktion Der Indikator ist der kleinste, d. h. in seiner Familie ist er die beste Näherung. Und hier ist übrigens die letzte Frage des Problems nicht zufällig: Was wäre, wenn die vorgeschlagene Exponentialfunktion wäre? Wäre es besser, die experimentellen Punkte näher zusammenzubringen?

Finden wir die entsprechende Summe der quadratischen Abweichungen – zur Unterscheidung bezeichne ich sie mit dem Buchstaben „Epsilon“. Die Technik ist genau die gleiche:


Und noch einmal, nur für den Fall, Berechnungen für den 1. Punkt:

In Excel verwenden wir die Standardfunktion EXP (Syntax finden Sie in der Excel-Hilfe).

Abschluss: , was bedeutet, dass die Exponentialfunktion die experimentellen Punkte schlechter annähert als eine Gerade .

Aber hier ist zu beachten, dass es „schlimmer“ ist bedeutet noch nicht, Was ist falsch. Jetzt habe ich einen Graphen dieser Exponentialfunktion erstellt – und er verläuft auch in der Nähe der Punkte - so sehr, dass es ohne analytische Forschung schwierig ist zu sagen, welche Funktion genauer ist.

Damit ist die Lösung abgeschlossen und ich kehre zur Frage nach den natürlichen Werten des Arguments zurück. In verschiedenen Studien, meist wirtschaftlicher oder soziologischer Art, werden natürliche „X“ zur Nummerierung von Monaten, Jahren oder anderen gleichen Zeitintervallen verwendet. Betrachten Sie zum Beispiel das folgende Problem.

Die Approximation experimenteller Daten ist eine Methode, die auf dem Ersetzen experimentell erhaltener Daten durch eine analytische Funktion basiert, die den ursprünglichen Werten (Daten, die während eines Experiments oder Experiments erhalten wurden) am nächsten kommt oder an Knotenpunkten mit ihnen übereinstimmt. Derzeit gibt es zwei Möglichkeiten, eine analytische Funktion zu definieren:

Durch die Konstruktion eines n-Grad-Interpolationspolynoms, das besteht direkt durch alle Punkte ein gegebenes Datenarray. In diesem Fall wird die Näherungsfunktion in Form eines Interpolationspolynoms in Lagrange-Form oder eines Interpolationspolynoms in Newton-Form dargestellt.

Durch die Konstruktion eines Approximationspolynoms n-ten Grades, das erfüllt ist in unmittelbarer Nähe zu Punkten aus einem gegebenen Datenarray. Somit glättet die Näherungsfunktion alle zufälligen Störungen (oder Fehler), die während des Experiments auftreten können: Die Messwerte während des Experiments hängen von Zufallsfaktoren ab, die nach ihren eigenen Zufallsgesetzen schwanken (Mess- oder Gerätefehler, Ungenauigkeit oder experimentell). Fehler). In diesem Fall wird die Näherungsfunktion mithilfe der Methode der kleinsten Quadrate ermittelt.

Methode der kleinsten Quadrate(in der englischsprachigen Literatur Ordinary Least Squares, OLS) ist eine mathematische Methode, die auf der Bestimmung der Näherungsfunktion basiert, die in der nächsten Nähe zu Punkten aus einem gegebenen Array experimenteller Daten konstruiert wird. Die Nähe der ursprünglichen und der Näherungsfunktion F(x) wird durch ein numerisches Maß bestimmt, nämlich: Die Summe der quadratischen Abweichungen der experimentellen Daten von der Näherungskurve F(x) sollte am kleinsten sein.

Näherungskurve, erstellt mit der Methode der kleinsten Quadrate

Es wird die Methode der kleinsten Quadrate verwendet:

Überbestimmte Gleichungssysteme lösen, wenn die Anzahl der Gleichungen die Anzahl der Unbekannten übersteigt;

Eine Lösung für gewöhnliche (nicht überbestimmte) nichtlineare Gleichungssysteme finden;

Punktwerte mit einer Näherungsfunktion approximieren.

Die Näherungsfunktion unter Verwendung der Methode der kleinsten Quadrate wird aus der Bedingung der minimalen Summe der quadratischen Abweichungen der berechneten Näherungsfunktion von einer gegebenen Reihe experimenteller Daten bestimmt. Dieses Kriterium der Methode der kleinsten Quadrate wird als folgender Ausdruck geschrieben:

Die Werte der berechneten Näherungsfunktion an den Knotenpunkten,

Ein gegebenes Array experimenteller Daten an Knotenpunkten.

Das quadratische Kriterium verfügt über eine Reihe „guter“ Eigenschaften, wie z. B. Differenzierbarkeit und die Bereitstellung einer einzigartigen Lösung des Approximationsproblems mit polynomialen Approximationsfunktionen.

Abhängig von den Bedingungen des Problems ist die Näherungsfunktion ein Polynom vom Grad m

Der Grad der Näherungsfunktion hängt nicht von der Anzahl der Knotenpunkte ab, ihre Dimension muss jedoch immer kleiner sein als die Dimension (Anzahl der Punkte) eines bestimmten experimentellen Datenarrays.

∙ Wenn der Grad der Näherungsfunktion m=1 ist, dann approximieren wir die Tabellenfunktion mit einer Geraden (lineare Regression).

∙ Wenn der Grad der Näherungsfunktion m=2 ist, dann approximieren wir die Tabellenfunktion mit einer quadratischen Parabel (quadratische Näherung).

∙ Wenn der Grad der Näherungsfunktion m=3 ist, dann approximieren wir die Tabellenfunktion mit einer kubischen Parabel (kubische Näherung).

Im allgemeinen Fall, wenn es erforderlich ist, für gegebene Tabellenwerte ein Näherungspolynom vom Grad m zu konstruieren, wird die Bedingung für das Minimum der Summe der quadratischen Abweichungen über alle Knotenpunkte in der folgenden Form umgeschrieben:

- unbekannte Koeffizienten des Approximationspolynoms vom Grad m;

Die Anzahl der angegebenen Tabellenwerte.

Eine notwendige Bedingung für die Existenz eines Minimums einer Funktion ist die Gleichheit ihrer partiellen Ableitungen nach unbekannten Variablen mit Null . Als Ergebnis erhalten wir das folgende Gleichungssystem:

Lassen Sie uns das resultierende lineare Gleichungssystem transformieren: Öffnen Sie die Klammern und verschieben Sie die freien Terme auf die rechte Seite des Ausdrucks. Als Ergebnis wird das resultierende System linearer algebraischer Ausdrücke in der folgenden Form geschrieben:

Dieses System linearer algebraischer Ausdrücke kann in Matrixform umgeschrieben werden:

Als Ergebnis wurde ein lineares Gleichungssystem der Dimension m+1 erhalten, das aus m+1 Unbekannten besteht. Dieses System kann mit jeder Methode zur Lösung linearer algebraischer Gleichungen gelöst werden (z. B. der Gaußschen Methode). Als Ergebnis der Lösung werden unbekannte Parameter der Näherungsfunktion gefunden, die die minimale Summe der quadratischen Abweichungen der Näherungsfunktion von den Originaldaten liefern, d.h. bestmögliche quadratische Näherung. Es ist zu beachten, dass bei einer Änderung auch nur eines Werts der Quelldaten alle Koeffizienten ihre Werte ändern, da sie vollständig durch die Quelldaten bestimmt werden.

Approximation von Quelldaten durch lineare Abhängigkeit

(lineare Regression)

Betrachten wir als Beispiel die Technik zur Bestimmung der Näherungsfunktion, die in Form einer linearen Abhängigkeit angegeben wird. Gemäß der Methode der kleinsten Quadrate wird die Bedingung für das Minimum der Summe der quadratischen Abweichungen in folgender Form geschrieben:

Koordinaten der Tabellenknoten;

Unbekannte Koeffizienten der Näherungsfunktion, die als lineare Abhängigkeit angegeben wird.

Eine notwendige Bedingung für die Existenz eines Minimums einer Funktion ist die Gleichheit ihrer partiellen Ableitungen nach unbekannten Variablen mit Null. Als Ergebnis erhalten wir das folgende Gleichungssystem:

Lassen Sie uns das resultierende lineare Gleichungssystem transformieren.

Wir lösen das resultierende lineare Gleichungssystem. Die Koeffizienten der Näherungsfunktion in analytischer Form werden wie folgt bestimmt (Cramer-Methode):

Diese Koeffizienten gewährleisten die Konstruktion einer linearen Näherungsfunktion nach dem Kriterium der Minimierung der Quadratsumme der Näherungsfunktion aus den gegebenen Tabellenwerten (experimentelle Daten).

Algorithmus zur Implementierung der Methode der kleinsten Quadrate

1. Ausgangsdaten:

Es wird ein Array experimenteller Daten mit der Anzahl N Messungen angegeben

Der Grad des approximierenden Polynoms (m) wird angegeben

2. Berechnungsalgorithmus:

2.1. Die Koeffizienten zum Aufbau eines Gleichungssystems mit Dimensionen werden bestimmt

Koeffizienten des Gleichungssystems (linke Seite der Gleichung)

- Index der Spaltennummer der quadratischen Matrix des Gleichungssystems

Freie Terme eines linearen Gleichungssystems (rechte Seite der Gleichung)

- Index der Zeilennummer der quadratischen Matrix des Gleichungssystems

2.2. Bildung eines Systems linearer Gleichungen mit der Dimension .

2.3. Lösen eines linearen Gleichungssystems zur Bestimmung der unbekannten Koeffizienten eines Näherungspolynoms vom Grad m.

2.4. Bestimmung der Summe der quadratischen Abweichungen des Näherungspolynoms von den Originalwerten an allen Knotenpunkten

Der gefundene Wert der Summe der quadrierten Abweichungen ist der minimal mögliche Wert.

Approximation mit anderen Funktionen

Es ist zu beachten, dass bei der Approximation der Originaldaten nach der Methode der kleinsten Quadrate manchmal die Logarithmusfunktion, die Exponentialfunktion und die Potenzfunktion als Approximationsfunktion verwendet werden.

Logarithmische Näherung

Betrachten wir den Fall, dass die Näherungsfunktion durch eine logarithmische Funktion der Form gegeben ist:

Die Essenz der Methode der kleinsten Quadrate ist beim Finden der Parameter eines Trendmodells, das die Entwicklungstendenz eines zufälligen Phänomens in Zeit oder Raum am besten beschreibt (ein Trend ist eine Linie, die die Tendenz dieser Entwicklung charakterisiert). Die Aufgabe der Methode der kleinsten Quadrate (LSM) besteht darin, nicht nur ein Trendmodell zu finden, sondern das beste oder optimale Modell zu finden. Dieses Modell ist optimal, wenn die Summe der quadratischen Abweichungen zwischen den beobachteten Istwerten und den entsprechenden berechneten Trendwerten minimal (am kleinsten) ist:

wobei die quadratische Abweichung zwischen dem beobachteten Istwert ist

und der entsprechende berechnete Trendwert,

Der tatsächliche (beobachtete) Wert des untersuchten Phänomens,

Der berechnete Wert des Trendmodells,

Die Anzahl der Beobachtungen des untersuchten Phänomens.

MNC wird recht selten allein verwendet. In der Regel wird es in Korrelationsstudien meist nur als notwendige technische Technik eingesetzt. Es ist zu beachten, dass die Informationsbasis von OLS nur eine zuverlässige statistische Reihe sein kann und die Anzahl der Beobachtungen nicht weniger als 4 betragen sollte, da sonst die Glättungsverfahren von OLS möglicherweise den gesunden Menschenverstand verlieren.

Das MNC-Toolkit lässt sich auf die folgenden Verfahren reduzieren:

Erstes Verfahren. Es stellt sich heraus, ob überhaupt eine Tendenz besteht, das resultierende Attribut zu ändern, wenn sich das ausgewählte Faktor-Argument ändert, oder mit anderen Worten: Gibt es einen Zusammenhang zwischen „ bei " Und " X ».

Zweites Verfahren. Es wird ermittelt, welche Linie (Trajektorie) diesen Trend am besten beschreiben bzw. charakterisieren kann.

Drittes Verfahren.

Beispiel. Nehmen wir an, wir haben Informationen über den durchschnittlichen Sonnenblumenertrag für den untersuchten Betrieb (Tabelle 9.1).

Tabelle 9.1

Beobachtungsnummer
Produktivität, c/ha

Da der Stand der Technik in der Sonnenblumenproduktion in unserem Land in den letzten 10 Jahren praktisch unverändert geblieben ist, bedeutet dies, dass die Ertragsschwankungen im analysierten Zeitraum offenbar stark von Schwankungen der Wetter- und Klimabedingungen abhingen. Ist das wirklich wahr?

Erstes OLS-Verfahren. Die Hypothese über die Existenz eines Trends bei den Änderungen des Sonnenblumenertrags in Abhängigkeit von Änderungen der Wetter- und Klimabedingungen in den analysierten 10 Jahren wird getestet.

In diesem Beispiel für „ j „Es ist ratsam, den Sonnenblumenertrag zu nehmen, und für“ X » – Nummer des beobachteten Jahres im analysierten Zeitraum. Testen der Hypothese über die Existenz einer Beziehung zwischen „ X " Und " j „kann auf zwei Arten erfolgen: manuell und mithilfe von Computerprogrammen. Mit der Verfügbarkeit der Computertechnologie kann dieses Problem natürlich von selbst gelöst werden. Um die MNC-Tools besser zu verstehen, ist es jedoch ratsam, die Hypothese über die Existenz eines Zusammenhangs zwischen „ X " Und " j » manuell, wenn nur ein Stift und ein gewöhnlicher Taschenrechner zur Hand sind. In solchen Fällen lässt sich die Hypothese über das Vorhandensein eines Trends am besten visuell anhand der Position des grafischen Bildes der analysierten Dynamikreihe – des Korrelationsfelds – überprüfen:

Das Korrelationsfeld liegt in unserem Beispiel um eine langsam ansteigende Linie. Dies allein weist darauf hin, dass es einen bestimmten Trend bei den Veränderungen der Sonnenblumenerträge gibt. Es ist unmöglich, nur dann über das Vorhandensein einer Tendenz zu sprechen, wenn das Korrelationsfeld wie ein Kreis, ein Kreis, eine streng vertikale oder streng horizontale Wolke aussieht oder aus chaotisch verstreuten Punkten besteht. In allen anderen Fällen ist die Hypothese über die Existenz einer Beziehung zwischen „ X " Und " j ", und setzen Sie die Forschung fort.

Zweites OLS-Verfahren. Es wird ermittelt, welche Linie (Trajektorie) den Trend der Veränderungen des Sonnenblumenertrags im analysierten Zeitraum am besten beschreiben oder charakterisieren kann.

Wenn Sie über Computertechnologie verfügen, erfolgt die Auswahl des optimalen Trends automatisch. Bei der „manuellen“ Verarbeitung erfolgt die Auswahl der optimalen Funktion in der Regel visuell – anhand der Lage des Korrelationsfeldes. Das heißt, basierend auf der Art des Diagramms wird die Gleichung der Linie ausgewählt, die am besten zum empirischen Trend (der tatsächlichen Flugbahn) passt.

Bekanntlich gibt es in der Natur eine große Vielfalt an funktionalen Abhängigkeiten, so dass es äußerst schwierig ist, auch nur einen kleinen Teil davon visuell zu analysieren. Glücklicherweise können in der realen Wirtschaftspraxis die meisten Beziehungen ziemlich genau entweder durch eine Parabel, eine Hyperbel oder eine gerade Linie beschrieben werden. Dabei kann man sich mit der „manuellen“ Möglichkeit, die beste Funktion auszuwählen, auf nur diese drei Modelle beschränken.

		Hyperbel:

Parabel zweiter Ordnung: :

Es ist leicht zu erkennen, dass sich in unserem Beispiel der Trend der Sonnenblumenertragsänderungen über die analysierten 10 Jahre am besten durch eine gerade Linie charakterisieren lässt, sodass die Regressionsgleichung die Gleichung einer geraden Linie sein wird.

Drittes Verfahren. Die Parameter der diese Linie charakterisierenden Regressionsgleichung werden berechnet, d. h. es wird eine analytische Formel ermittelt, die das beste Trendmodell beschreibt.

Das Finden der Werte der Parameter der Regressionsgleichung, in unserem Fall der Parameter und , ist der Kern des OLS. Bei diesem Prozess geht es darum, ein System normaler Gleichungen zu lösen.

(9.2)

Dieses Gleichungssystem lässt sich recht einfach mit der Gauß-Methode lösen. Erinnern wir uns daran, dass als Ergebnis der Lösung in unserem Beispiel die Werte der Parameter und gefunden werden. Somit hat die gefundene Regressionsgleichung die folgende Form:

Es wird in der Ökonometrie häufig in Form einer klaren ökonomischen Interpretation seiner Parameter verwendet.

Bei der linearen Regression kommt es darauf an, eine Gleichung der Form zu finden

oder

Gleichung des Formulars erlaubt basierend auf angegebenen Parameterwerten X theoretische Werte des resultierenden Merkmals haben und die tatsächlichen Werte des Faktors darin ersetzen X.

Bei der Konstruktion der linearen Regression geht es darum, ihre Parameter zu schätzen – A Und V. Schätzungen linearer Regressionsparameter können mit verschiedenen Methoden ermittelt werden.

Der klassische Ansatz zur Schätzung linearer Regressionsparameter basiert auf Methode der kleinsten Quadrate(MNC).

Die Methode der kleinsten Quadrate ermöglicht es uns, solche Parameterschätzungen zu erhalten A Und V, bei dem die Summe der quadrierten Abweichungen der tatsächlichen Werte des resultierenden Merkmals ist (y) aus berechnet (theoretisch) Minimum:

Um das Minimum einer Funktion zu ermitteln, müssen Sie die partiellen Ableitungen für jeden Parameter berechnen A Und B und setze sie gleich Null.

Bezeichnen wir durch S, dann:

Durch Umformung der Formel erhalten wir das folgende System normaler Gleichungen zur Parameterschätzung A Und V:

Wenn wir das System der Normalgleichungen (3.5) entweder mit der Methode der sequentiellen Eliminierung von Variablen oder mit der Methode der Determinanten lösen, finden wir die erforderlichen Schätzungen der Parameter A Und V.

Parameter V wird als Regressionskoeffizient bezeichnet. Sein Wert zeigt die durchschnittliche Änderung des Ergebnisses bei einer Änderung des Faktors um eine Einheit.

Die Regressionsgleichung wird immer um einen Indikator für die Nähe des Zusammenhangs ergänzt. Bei Verwendung der linearen Regression ist ein solcher Indikator der lineare Korrelationskoeffizient. Es gibt verschiedene Modifikationen der linearen Korrelationskoeffizientenformel. Einige davon sind unten aufgeführt:

Der lineare Korrelationskoeffizient liegt bekanntlich innerhalb der Grenzen: -1 ≤ ≤ 1.

Um die Qualität der Auswahl einer linearen Funktion zu beurteilen, wird das Quadrat berechnet

Linearer Korrelationskoeffizient genannt Bestimmtheitsmaß. Das Bestimmtheitsmaß charakterisiert den Varianzanteil des resultierenden Merkmals ja, erklärt durch Regression der Gesamtvarianz des resultierenden Merkmals:

Dementsprechend charakterisiert der Wert 1 den Varianzanteil ja, verursacht durch den Einfluss anderer Faktoren, die im Modell nicht berücksichtigt werden.

Fragen zur Selbstkontrolle

1. Die Essenz der Methode der kleinsten Quadrate?

2. Wie viele Variablen liefert die paarweise Regression?

3. Welcher Koeffizient bestimmt die Nähe des Zusammenhangs zwischen Änderungen?

4. Innerhalb welcher Grenzen wird das Bestimmtheitsmaß bestimmt?

5. Schätzung des Parameters b in der Korrelations-Regressionsanalyse?

1. Christopher Dougherty. Einführung in die Ökonometrie. - M.: INFRA - M, 2001 - 402 S.

2. S.A. Boroditsch. Ökonometrie. Minsk LLC „Neues Wissen“ 2001.

3. R.U. Rakhmetova Kurzkurs in Ökonometrie. Lernprogramm. Almaty. 2004. -78p.

4. I.I. Eliseeva. Ökonometrie. - M.: „Finanzen und Statistik“, 2002

5. Monatliches Informations- und Analysemagazin.

Nichtlineare Wirtschaftsmodelle. Nichtlineare Regressionsmodelle. Transformation von Variablen.

Nichtlineare Wirtschaftsmodelle.

Transformation von Variablen.

Elastizitätskoeffizient.

Wenn es nichtlineare Beziehungen zwischen wirtschaftlichen Phänomenen gibt, werden diese durch die entsprechenden nichtlinearen Funktionen ausgedrückt: zum Beispiel eine gleichseitige Hyperbel , Parabeln zweiten Grades usw.

Es gibt zwei Klassen nichtlinearer Regressionen:

1. Regressionen, die nichtlinear in Bezug auf die in die Analyse einbezogenen erklärenden Variablen, aber linear in Bezug auf die geschätzten Parameter sind, zum Beispiel:

Polynome unterschiedlichen Grades - , ;

Gleichseitige Hyperbel - ;

Halblogarithmische Funktion - .

2. Regressionen, die in den geschätzten Parametern nichtlinear sind, zum Beispiel:

Leistung - ;

Demonstrativ - ;

Exponentiell - .

Die Gesamtsumme der quadrierten Abweichungen einzelner Werte des resultierenden Merkmals bei Die Abweichung vom Durchschnittswert wird durch den Einfluss vieler Gründe verursacht. Teilen wir die gesamte Reihe von Gründen bedingt in zwei Gruppen ein: untersuchter Faktor x Und andere Faktoren.

Wenn der Faktor das Ergebnis nicht beeinflusst, verläuft die Regressionsgerade im Diagramm parallel zur Achse Oh Und

Dann ist die gesamte Varianz des resultierenden Merkmals auf den Einfluss anderer Faktoren zurückzuführen und die Gesamtsumme der quadratischen Abweichungen stimmt mit dem Residuum überein. Wenn andere Faktoren das Ergebnis nicht beeinflussen, dann Du bist gebunden Mit X funktional und die Restquadratsumme ist Null. In diesem Fall ist die Summe der durch die Regression erklärten quadratischen Abweichungen dieselbe wie die Gesamtsumme der Quadrate.

Da nicht alle Punkte des Korrelationsfeldes auf der Regressionsgeraden liegen, erfolgt deren Streuung immer durch den Einfluss des Faktors X, also Regression bei Von X, und durch andere Ursachen verursacht (unerklärliche Variation). Die Eignung einer Regressionsgeraden für die Vorhersage hängt davon ab, welcher Teil der Gesamtvariation des Merkmals ist bei erklärt die erläuterte Variation

Wenn die Summe der quadratischen Abweichungen aufgrund der Regression größer ist als die Restsumme der Quadrate, dann ist die Regressionsgleichung offensichtlich statistisch signifikant und der Faktor X hat einen erheblichen Einfluss auf das Ergebnis u.

, also mit der Freiheitszahl der unabhängigen Variation eines Merkmals. Die Anzahl der Freiheitsgrade hängt mit der Anzahl der Einheiten der Grundgesamtheit n und der daraus ermittelten Anzahl der Konstanten zusammen. Bezogen auf das zu untersuchende Problem soll die Anzahl der Freiheitsgrade zeigen, wie viele unabhängige Abweichungen davon vorliegen P

Die Einschätzung der Bedeutung der Regressionsgleichung insgesamt erfolgt anhand F-Fisher-Kriterium. In diesem Fall wird eine Nullhypothese aufgestellt, dass der Regressionskoeffizient gleich Null ist, d.h. b = 0 und damit der Faktor X hat keinen Einfluss auf das Ergebnis u.

Der unmittelbaren Berechnung des F-Tests geht eine Varianzanalyse voraus. Den zentralen Platz nimmt dabei die Zerlegung der Gesamtsumme der quadrierten Abweichungen einer Variablen ein bei vom Durchschnittswert bei in zwei Teile – „erklärt“ und „unerklärt“:

- Gesamtsumme der quadrierten Abweichungen;

- Summe der durch Regression erklärten quadratischen Abweichungen;

- Restsumme der quadrierten Abweichungen.

Jede Summe quadrierter Abweichungen hängt mit der Anzahl der Freiheitsgrade zusammen , also mit der Freiheitszahl der unabhängigen Variation eines Merkmals. Die Anzahl der Freiheitsgrade hängt von der Anzahl der Bevölkerungseinheiten ab N und mit der daraus ermittelten Anzahl der Konstanten. Bezogen auf das zu untersuchende Problem soll die Anzahl der Freiheitsgrade zeigen, wie viele unabhängige Abweichungen davon vorliegen P möglichst erforderlich, um eine gegebene Quadratsumme zu bilden.

Streuung pro FreiheitsgradD.

F-Verhältnisse (F-Test):

Wenn die Nullhypothese wahr ist, dann unterscheiden sich Faktor- und Restvarianz nicht voneinander. Für H0 ist eine Widerlegung notwendig, damit die Faktorstreuung die Reststreuung um ein Vielfaches übersteigt. Der englische Statistiker Snedekor entwickelte Tabellen mit kritischen Werten F-Beziehungen auf unterschiedlichen Signifikanzebenen der Nullhypothese und unterschiedlich vielen Freiheitsgraden. Tabellenwert F-Kriterium ist der Maximalwert des Varianzverhältnisses, das im Falle einer zufälligen Divergenz für ein gegebenes Wahrscheinlichkeitsniveau für das Vorliegen der Nullhypothese auftreten kann. Berechneter Wert F-Beziehungen gelten als zuverlässig, wenn o größer als die Tabelle ist.

In diesem Fall wird die Nullhypothese über das Fehlen einer Beziehung zwischen Zeichen verworfen und eine Schlussfolgerung über die Bedeutung dieser Beziehung gezogen: F-Fakt > F-Tabelle H 0 wird verworfen.

Wenn der Wert kleiner als der tabellierte Wert ist F-Fakt ‹, F-Tabelle, dann ist die Wahrscheinlichkeit der Nullhypothese höher als ein festgelegtes Niveau und kann nicht verworfen werden, ohne dass das ernsthafte Risiko besteht, dass falsche Schlussfolgerungen über das Vorliegen einer Beziehung gezogen werden. In diesem Fall wird die Regressionsgleichung als statistisch unbedeutend angesehen. Aber er weicht nicht ab.

Standardfehler des Regressionskoeffizienten

Zur Beurteilung der Signifikanz des Regressionskoeffizienten wird dessen Wert mit seinem Standardfehler verglichen, d. h. der tatsächliche Wert ermittelt T-Studententest: der dann mit dem Tabellenwert bei einem bestimmten Signifikanzniveau und einer bestimmten Anzahl an Freiheitsgraden verglichen wird ( N- 2).

Standardparameterfehler A:

Die Signifikanz des linearen Korrelationskoeffizienten wird anhand der Größe des Fehlers überprüft Korrelationskoeffizient t r:

Gesamte Merkmalsvarianz X:

Multiple lineare Regression

Modellbau

Multiple Regression stellt eine Regression eines effektiven Merkmals mit zwei oder mehr Faktoren dar, also ein Modell der Form

Die Regression kann bei der Modellierung gute Ergebnisse liefern, wenn der Einfluss anderer Faktoren, die den Untersuchungsgegenstand beeinflussen, vernachlässigt werden kann. Das Verhalten einzelner Wirtschaftsvariablen ist nicht kontrollierbar, d.h. es ist nicht möglich, die Gleichheit aller anderen Bedingungen zur Beurteilung des Einflusses eines untersuchten Faktors sicherzustellen. In diesem Fall sollten Sie versuchen, den Einfluss anderer Faktoren zu identifizieren, indem Sie diese in das Modell einführen, d. h. eine multiple Regressionsgleichung erstellen: y = a+b 1 x 1 +b 2 +…+b p x p + .

Das Hauptziel der multiplen Regression besteht darin, ein Modell mit einer großen Anzahl von Faktoren zu erstellen und gleichzeitig den Einfluss jedes einzelnen von ihnen sowie ihren kombinierten Einfluss auf den modellierten Indikator zu bestimmen. Die Spezifikation des Modells umfasst zwei Themenbereiche: die Auswahl der Faktoren und die Wahl des Typs der Regressionsgleichung