Het "gradiënt afdaling" -algoritme is uitgevonden vóór de helling. Het wordt in gelijkwaardige vorm beschreven door Cauchy in een paper van 3 pagina's in Comptes Rendus, Méthode générale pour la résolution des systèmes d'équations simultanées (1847). Hier is een Engelse vertaling. Een goede secundaire bron is Cauchy and the Gradient Method van Lemaréchal, die opmerkt:

" Cauchy wordt gemotiveerd door astronomische berekeningen die, zoals iedereen weet, zijn normaal gesproken erg omvangrijk. Om de baan van een hemellichaam te berekenen, wil hij 'niet de differentiaalvergelijkingen oplossen, maar de [algebraïsche] vergelijkingen die de beweging van dit lichaam weergeven, waarbij hij de elementen van de baan zelf als onbekenden beschouwt'. een stelsel van vergelijkingen in die dagen oplossen ',' begint men gewoonlijk door ze door opeenvolgende eliminaties tot één terug te brengen, om uiteindelijk, indien mogelijk, de resulterende vergelijking voorgoed op te lossen. Maar het is belangrijk op te merken dat 1 many in veel gevallen de eliminatie op geen enkele manier kan worden uitgevoerd; 2◦ de resulterende vergelijking is meestal erg gecompliceerd, ook al zijn de gegeven vergelijkingen vrij eenvoudig ". Er is iets anders gewenst. "

In plaats van de verloopvector werkt Cauchy gewoon met de partiële afgeleiden $ X = f'_x, Y = f'_y, Z = f'_z, ... $ . Hij pakt de kleine $ \ theta $ , stelt de vergelijking $$ \ Theta = f (X- \ theta x, Y - \ theta y, Z- \ theta z, ...), $$ en, in een van de varianten, raadt aan om $ \ theta $ te zoeken van $ \ Theta '_ \ theta = 0 $ .

[...] Eén iteratie van de gradiëntmethode wordt zo gesteld, met twee varianten: (2) (Armijo-type lijn zoeken) of (3) (steilste afdaling) ... Convergentie wordt gewoon slordig genoemd ... Cauchy lijkt niet te geloven dat de methode altijd een oplossing; toch lijkt hij het ook te hopen: zie het fragment van voet noot 4. Hoe dan ook, een eenvoudig plaatje laat zien dat de functie van de kleinste kwadraten in (4) positieve lokale minima kan vertonen en de rol van "parasitaire" oplossingen kan spelen. Aan de andere kant lijkt hij ervan overtuigd dat de reeks u-waarden naarmate ze kleiner worden, moet convergeren naar een (lokaal) minimum, of op zijn minst een stationair punt. Het bovenstaande fragment is dus vrij interessant, afkomstig van een wiskundige die tot de meest rigoureuze van zijn eeuw behoort. Toegegeven, Cauchy heeft niet diep nagedacht over het probleem: "Ik beperk me hier tot het schetsen van de principes die ten grondslag liggen aan [mijn methode], met de bedoeling om in een volgende paper nog eens over hetzelfde onderwerp terug te komen". Het "te volgen papier" lijkt echter niet te bestaan. "

Zie ook het gerelateerde bericht Wie heeft de stochastische gradiëntafdaling uitgevonden? Op Cross Validated.