Logo bg.boatexistence.com

Защо стохастично градиентно спускане?

Съдържание:

Защо стохастично градиентно спускане?
Защо стохастично градиентно спускане?

Видео: Защо стохастично градиентно спускане?

Видео: Защо стохастично градиентно спускане?
Видео: Градиентный спуск — искусственный интеллект для робототехники 2024, Може
Anonim

Според старши учен по данни, едно от явните предимства на използването на стохастичен градиентен спускане е, че прави изчисленията по-бързо от градиентно спускане и партидно градиентно спускане … Също така на масивни набори от данни, стохастичното градиентно спускане може да се сближи по-бързо, защото извършва актуализации по-често.

За какво се използва стохастичен градиентен спускане?

Стохастичен градиентен спускане е алгоритъм за оптимизация, често използван в приложения за машинно обучение за намиране на параметрите на модела, които съответстват на най-доброто съответствие между прогнозираните и действителните резултати Това е неточна, но мощна техника. Стохастичното градиентно спускане се използва широко в приложенията за машинно обучение.

Защо трябва да използваме стохастичен градиентно спускане, а не стандартно градиентно спускане, за да обучаваме конволюционна невронна мрежа?

Стохастичен градиент на спускане актуализира параметрите за всяко наблюдение, което води до по-голям брой актуализации. Така че това е по-бърз подход, който помага за по-бързо вземане на решения. По-бързи актуализации в различни посоки могат да бъдат забелязани в тази анимация.

Защо предпочитаме градиентно спускане?

Основната причина, поради която градиентното спускане се използва за линейна регресия, е изчислителната сложност: в някои случаи е по-евтино (по-бързо) изчислително да се намери решението, използвайки градиентното спускане. Тук трябва да изчислите матрицата X′X, след което да я обърнете (вижте бележката по-долу). Това е скъпо изчисление.

Защо се използва SGD?

Стохастичното градиентно спускане (често съкратено SGD) е итеративен метод за оптимизиране на целева функция с подходящи свойства на гладкост (например диференцируема или субдиференцируема).

Препоръчано: