Според старши учен по данни, едно от явните предимства на използването на стохастичен градиентен спускане е, че прави изчисленията по-бързо от градиентно спускане и партидно градиентно спускане … Също така на масивни набори от данни, стохастичното градиентно спускане може да се сближи по-бързо, защото извършва актуализации по-често.
За какво се използва стохастичен градиентен спускане?
Стохастичен градиентен спускане е алгоритъм за оптимизация, често използван в приложения за машинно обучение за намиране на параметрите на модела, които съответстват на най-доброто съответствие между прогнозираните и действителните резултати Това е неточна, но мощна техника. Стохастичното градиентно спускане се използва широко в приложенията за машинно обучение.
Защо трябва да използваме стохастичен градиентно спускане, а не стандартно градиентно спускане, за да обучаваме конволюционна невронна мрежа?
Стохастичен градиент на спускане актуализира параметрите за всяко наблюдение, което води до по-голям брой актуализации. Така че това е по-бърз подход, който помага за по-бързо вземане на решения. По-бързи актуализации в различни посоки могат да бъдат забелязани в тази анимация.
Защо предпочитаме градиентно спускане?
Основната причина, поради която градиентното спускане се използва за линейна регресия, е изчислителната сложност: в някои случаи е по-евтино (по-бързо) изчислително да се намери решението, използвайки градиентното спускане. Тук трябва да изчислите матрицата X′X, след което да я обърнете (вижте бележката по-долу). Това е скъпо изчисление.
Защо се използва SGD?
Стохастичното градиентно спускане (често съкратено SGD) е итеративен метод за оптимизиране на целева функция с подходящи свойства на гладкост (например диференцируема или субдиференцируема).
