Een uitgebreide gids voor OLS-regressie: deel 1

Introductie

Gewone kleinste kwadraten is een optimalisatietechniek. OLS is dezelfde techniek die wordt gebruikt door de scikit-learn LinearRegression-klasse en de functie numpy.polyfit() achter de schermen. Voordat we ingaan op de details van de OLS-techniek, zou het de moeite waard zijn om het artikel waarover ik heb geschreven door te nemen de rol van optimalisatietechnieken bij machine learning en deep learning. In hetzelfde artikel heb ik kort de reden en context voor het bestaan ​​van de OLS-techniek uitgelegd (hoofdstuk 6). Dit artikel is in hoge mate een voortzetting van hetzelfde artikel en van de lezers wordt verwacht dat ze hiermee vertrouwd zijn.

Bron: Pixbay

Leerdoelen:

In dit artikel ga je

1. Leer wat OLS is en begrijp de wiskundige vergelijking ervan
2. Krijg een overzicht van OLS in scaler-vorm en de nadelen ervan
3. Begrijp OLS aan de hand van een real-time voorbeeld

Inhoudsopgave

1. Wat zijn optimalisatieproblemen?
2. Waarom hebben we OLS nodig?
3. De wiskunde achter het OLS-algoritme begrijpen
4. OLS-oplossing in Scaler-vorm
5. OLS in actie aan de hand van een echt voorbeeld
6. Problemen met de Scaler-vorm van OLS Solution
7. Conclusie

Wat zijn optimalisatieproblemen?

Optimalisatieproblemen zijn wiskundige problemen waarbij de beste oplossing moet worden gevonden uit een reeks mogelijke oplossingen. Deze problemen worden doorgaans geformuleerd als maximalisatie- of minimalisatieproblemen, waarbij het doel is om een ​​bepaalde doelfunctie te maximaliseren of te minimaliseren. De doelfunctie is een wiskundige uitdrukking die de te optimaliseren grootheid beschrijft, en een reeks beperkingen definieert de reeks mogelijke oplossingen.

Optimalisatieproblemen doen zich voor op verschillende gebieden, waaronder engineering, financiën, economie en operationeel onderzoek. Ze worden gebruikt om problemen zoals toewijzing van middelen, planning en portfolio-optimalisatie te modelleren en op te lossen. Optimalisatie is een cruciaal onderdeel van veel algoritmen voor machine learning. Bij machine learning wordt optimalisatie gebruikt om de beste set parameters voor een model te vinden die het verschil tussen de voorspellingen van het model en de werkelijke waarden minimaliseert. Optimalisatie is een actief onderzoeksgebied op het gebied van machine learning, waarbij nieuwe optimalisatie-algoritmen worden ontwikkeld om de snelheid en nauwkeurigheid van het trainen van machine learning-modellen te verbeteren.

Enkele voorbeelden van waar optimalisatie wordt gebruikt bij machine learning zijn:

• Bij begeleid leren, wordt optimalisatie gebruikt om de parameters van een model te vinden die het verschil tussen de voorspellingen van het model en de werkelijke waarden voor een bepaalde trainingsdataset minimaliseren. Lineaire regressie en logistische regressie gebruiken bijvoorbeeld optimalisatie om de beste waarden van de coëfficiënten van het model te vinden. Bovendien worden sommige modellen, zoals beslissingsbomen, willekeurige forests en modellen voor het stimuleren van gradiënten, gebouwd door iteratief nieuwe modellen aan het ensemble toe te voegen en de parameters van de nieuwe modellen te optimaliseren die de fout op de trainingsgegevens minimaliseren.
• Bij onbegeleid leren, helpt optimalisatie bij het vinden van de beste configuratie van clusters of het in kaart brengen van de gegevens die de onderliggende structuur in de gegevens het beste weergeven. In clustering, wordt optimalisatie gebruikt om de beste configuratie van clusters in de gegevens te vinden. Het K-Means-algoritme gebruikt bijvoorbeeld een optimalisatietechniek genaamd Lloyd's-algoritme, die iteratief gegevenspunten opnieuw toewijst aan het dichtstbijzijnde clusterzwaartepunt en de clusterzwaartepunten bijwerkt op basis van de nieuw toegewezen punten. Evenzo gebruiken andere clusteralgoritmen, zoals hiërarchische clustering, op dichtheid gebaseerde clustering en Gaussiaanse mengselmodellen, ook optimalisatietechnieken om de beste clusteroplossing te vinden. In reductie van dimensies, vindt optimalisatie de beste gegevenstoewijzing van een hoog- naar een lager-dimensionale ruimte. Principal Component Analysis (PCA) gebruikt bijvoorbeeld Singular Value Decomposition (SVD), een optimalisatietechniek, om de beste lineaire combinatie van de oorspronkelijke variabelen te vinden die de meeste variantie in de gegevens verklaart. Bovendien gebruiken andere dimensionaliteitsreductietechnieken zoals Linear Discriminant Analysis (LDA) en t-distributed Stochastic Neighbor Embedding (t-SNE) ook optimalisatietechnieken om de beste weergave van de gegevens in een lager-dimensionale ruimte te vinden.
• Bij diep leren, wordt optimalisatie gebruikt om de beste set parameters voor neurale netwerken te vinden.

Waarom hebben we OLS nodig?

Bij vervanging van Y^ ​​= w₀ + met₁X₁ in de vgl. 3 hierboven, de finale MSE-verliesfunctie (L) ziet eruit als:

                ---- (5)

Het is duidelijk dat L een functie is van modelgewichten (w₀ & w₁), waarvan we de optimale waarden moeten vinden bij het minimaliseren van L. De optimale waarden worden weergegeven door (*) in de onderstaande afbeelding.

OLS-oplossing in scaler-vorm

de vgl. 5 hierboven gegeven vertegenwoordigt de OLS Loss-functie in de scaler-vorm (waar we de optelling van fouten voor elk datapunt. Het OLS-algoritme is een analytische oplossing voor het optimalisatieprobleem dat wordt gepresenteerd in de vergelijking. 4. Deze analytische oplossing bestaat uit de volgende stappen:

Stap 1: 

Stap 2: Stel deze gradiënten gelijk aan nul en los op voor de optimale waarden van de modelcoëfficiënten w_j.

Dit betekent in feite dat de helling van de raaklijn (de geometrische interpretatie van de gradiënten) aan de verliesfunctie bij de optimale waarden (het punt waar L het minimum is) nul zal zijn, zoals weergegeven in de bovenstaande figuren.

Uit de bovenstaande vergelijkingen kunnen we de "2" verschuiven van de LHS naar de RHS; de RHS blijft 0 (aangezien 0/2 nog steeds 0 is).

Deze uitdrukkingen voor w1* en w0* zijn de uiteindelijke OLS Analytical-oplossing in de Scaler-vorm.

Stap 3: Bereken de bovenstaande gemiddelden en vervang in de uitdrukking w1* & w0*.

Laten we deze waarden voor onze dataset berekenen:

Laten we hetzelfde berekenen met behulp van Python-code:

[OUTPUT]: Dit is de vergelijking van de "Best passende" lijn: 2.675 x + 2.875

U kunt zien dat onze "met de hand berekende" waarden zeer nauw overeenkomen met de waarden van helling en onderschepping verkregen met behulp van NumPy (het kleine verschil is te wijten aan afrondingsfouten in onze handmatige berekeningen). We kunnen ook verifiëren dat dezelfde OLS "achter de schermen draait" van de klasse LinearRegression uit de scikit-leren pakket, zoals gedemonstreerd in de onderstaande code.

# importeer de LinearRegression-klasse uit het scikit-learn-pakket van sklearn.linear_model importeer LinearRegression LR = LinearRegression() # maak een instantie van de LinearRegression-klasse # definieer uw X en Y als NumPy Arrays (kolomvectoren) X = np.array([1,3,5 ,1,1]).reshape(-4.8,12.4,15.5) Y = np.array([1,1]).reshape(-0) LR.fit(X,Y) # bereken de modelcoëfficiënten LR .intercept_ # de bias of de interceptterm (wXNUMX*)

[Uitvoer]: array([2.875])

LR.coef_ # de hellingsterm (w1*) [Uitvoer]: array([[2.675]])

OLS in actie aan de hand van een echt voorbeeld

Hier gebruik ik de dataset Boston House Pricing, een van de meest voorkomende datasets tijdens het leren van Data Science. Het doel is om een Lineair regressiemodel om de mediaanwaarde van de huizenprijzen te voorspellen op basis van de 13 onderstaande kenmerken/kenmerken.

Importeer en verken de dataset.

We extraheren een enkel kenmerk RM, de gemiddelde kamergrootte in de gegeven plaats, en passen deze aan met de doelvariabele y (de mediaanwaarde van de huizenprijs).

Laten we nu pure NumPy gebruiken en de modelcoëfficiënten berekenen met behulp van de uitdrukkingen die zijn afgeleid voor de optimale waarden van de modelcoëfficiënten w0 & w1 hierboven (einde van stap 2).

Laten we tot slot de oorspronkelijke gegevens plotten samen met de best passende lijn, zoals hieronder weergegeven.

Problemen met de scaler-vorm van OLS-oplossing

Laat me tot slot het belangrijkste probleem met de bovenstaande aanpak bespreken, zoals beschreven in sectie 4. Zoals je kunt zien aan de bovengenoemde dataset, zal elke real-life dataset meerdere kenmerken hebben. De belangrijkste reden dat ik slechts één kenmerk heb genomen om de OLS-methode in de bovenstaande sectie te demonstreren, was dat naarmate het aantal kenmerken toeneemt, het aantal gradiënten ook zou toenemen, vandaar het aantal vergelijkingen dat tegelijkertijd moet worden opgelost! 

Om precies te zijn, voor 13 kenmerken (Boston dataset hierboven), hebben we 13 modelcoëfficiënten en één onderscheppingsterm, wat het totale aantal te optimaliseren variabelen op 14 brengt. Daarom verkrijgen we 14 gradiënten (de partiële afgeleide van de verliesfunctie met betrekking tot elk van deze 14 variabelen). Daarom moeten we 14 vergelijkingen oplossen (na deze 14 partiële afgeleiden gelijk te hebben gesteld aan nul, zoals beschreven in stap 2). Je hebt de complexiteit van de analytische oplossing al gerealiseerd met slechts 2 variabelen. Eerlijk gezegd heb ik geprobeerd je de MEEST uitgebreide uitleg van OLS te geven die beschikbaar is op internet, en toch is het niet gemakkelijk om de wiskunde te assimileren.

Daarom, in eenvoudige woorden, de bovenstaande analytische oplossing is NIET SCHAALBAAR!

De oplossing voor dit probleem is de "Gevectoriseerde vorm van de OLS-oplossing", die in detail zal worden besproken in een vervolgartikel (deel 2 van dit artikel), met secties 7 en 8.

Conclusie

Concluderend, de OLS-methode is een krachtig hulpmiddel voor het schatten van de parameters van een lineair regressiemodel. Het is gebaseerd op het principe van het minimaliseren van de som van de gekwadrateerde verschillen tussen de voorspelde en werkelijke waarden.

Enkele van de belangrijkste afhaalrestaurants uit het artikel zijn als volgt:

• De OLS-oplossing kan in scaler-vorm worden weergegeven, waardoor deze eenvoudig te implementeren en te interpreteren is.
• Het artikel besprak het concept van optimalisatieproblemen en de behoefte aan OLS in regressieanalyse en gaf een wiskundige formulering en een voorbeeld van OLS in actie.
• Het artikel belicht ook enkele van de beperkingen van de scaler-vorm van de OLS-oplossing, zoals schaalbaarheid en de aannames van lineariteit en constante variantie. Ik hoop dat je iets nieuws uit dit artikel hebt geleerd.

Stuur me alsjeblieft een opmerking als je vindt dat een punt/vergelijking in dit artikel uitleg behoeft of als je wilt dat ik zo gedetailleerd schrijf over een ander machine learning-algoritme.

Verwant

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. Toegang hier.
• Bron: https://www.analyticsvidhya.com/blog/2023/01/a-comprehensive-guide-to-ols-regression-part-1/