Về phương pháp gradient Descent giải bài toán tối ưu trong học máy

Chỉ số đề mục

27.35

Lĩnh vực nghiên cứu

Toán học và thống kê

Dạng tài liệu

Tác giả

Bùi Thị Thanh Xuân⁽¹⁾, Dương Thị Nhung, Hà Thị Thanh

Nhan đề

Về phương pháp gradient Descent giải bài toán tối ưu trong học máy

Nhan đề tiếng anh

Gradient descent method solving optimization problem in machine learning

Nguồn trích

Khoa học và công nghệ (Đại học Thái Nguyên

Năm xuất bản

2016

Số

2

Trang

95-99

ISSN

1859-2171

Từ khóa

Học máy, Gradient ngẫy nhiên, Phương pháp độ dốc lớn, Tối ưu phi tuyến

Từ khóa tiếng anh

Tóm tắt

Tóm tắt tiếng anh

The gradient descent method was originally consider to be direct method for linear equations, but its favorable properties as an iterative method was soon realized, and it was later generalized to more general optimization problems. It provides a very effective way to optimize large, deterministic systems by gradient descent. Stochastic gradient descent (SGD) is a gradient descent optimization method for minimizing an objective function that is written as a sum of differentiable functions. The convergence of stochastic gradient descent has been analyzed using the theories of convex minimization and of stochastic approximation. Briefly, when the learning rates decrease with an appropriate rate, and subject to relatively mild assumptions, stochastic gradient descent converges almost surely to a global minimum when the objective function is convex or pseudo-convex, and otherwise converges almost surely to a local minimum. Stochastic gradient descent is a popular algorithm for training a wide range of models in machine learning, including (linear) support vector machines, logistic regression and graphical models.

Kí hiệu kho

TTKHCNQG, CTv 178

File toàn văn

Xem toàn văn