Đánh giá các thuật toán tối ưu đối với mô hình mạng nơ-ron tích chập trong tác vụ nhận diện hình ảnh

Chỉ số đề mục

Lĩnh vực nghiên cứu

Toán học ứng dụng

Dạng tài liệu

Tác giả

Vương Quang Phước⁽¹⁾, Nguyễn Đức Nhật Quang

Nhan đề

Đánh giá các thuật toán tối ưu đối với mô hình mạng nơ-ron tích chập trong tác vụ nhận diện hình ảnh

Nhan đề tiếng anh

Nguồn trích

Tạp chí Khoa học và công nghệ - Trường Đại học Khoa học, Đại học Huế

Năm xuất bản

2021

Số

1

Trang

71-82

ISSN

2354-0850

Từ khóa

Mạng nơ ron tích chập, Thuật toán tối ưu, Nhận diện hình ảnh, AdaGrad, AdaDelta

Từ khóa tiếng anh

Tóm tắt

Với vai trò quan trọng trong việc xây dựng và huấn luyện, đánh giá mô hình mạng nơ-ron, thuật toán tối ưu là một công cụ hữu ích trong việc tìm giá trị hàm mất mát từ đó có sự điều chỉnh mô hình mạng một cách hợp lý, góp phần tăng tỉ lệ nhận dạng đúng trong tác vụ nhận diện hình ảnh. Bài báo đưa ra cách tiếp cận gần gũi nhất về thuật toán tối ưu cũng như các thuật toán tối ưu thường được sử dụng. Để thực hiện khảo sát, chúng tôi lựa chọn mô hình mạng nơ-ron tích chập (Convolution neural network - CNN), độ hiệu quả của các thuật toán tối ưu sẽ được đánh giá dựa trên giá trị hàm mất mát và tỉ lệ nhận dạng đúng của mô hình mạng đối với hai bộ cơ sở dữ liệu là MNIST và CIFAR-10. Bên cạnh đó vai trò các tham số và các thuật toán chi phối đến kết quả như tỉ lệ học (Learning rate) số chu kì học (Epoch), hàm mất mát, hàm Entropy chéo cũng sẽ được làm rõ trong quá trình thực nghiệm.

Tóm tắt tiếng anh

Kí hiệu kho

TTKHCNQG, CVv 470

File toàn văn

Xem toàn văn

Tài liệu tham khảo

[1] Alex Krizhevsky, Vinod Nair and Geoffrey Hinton (2009), The CIFAR-10 dataset,
[2] Yann LeCun, Courant Institute (1989), The MNIST Database of Handwritten Digits,
[3] Matthew D. Zeiler (2012), Adadelta: An Adaptive Learning Rate Method,
[4] Alexandre Défossez, Léon Bottou, Francis Bach, Nicolas Usunier (2020), On the Convergence of Adam and Adagrad,
[5] Christian Igel and Michael H ̈usken (2000), Improving the RMSprop Learning Algorithm,
[6] Sutskever, I., Martens, J., Dahl, G.E. and Hinton, G.E. (2013), On the importance of initialization and momentum in deep learning,ICML (3), Vol 28, pp. 1139—1147
[7] Qian, N. (1999), On the momentum term in gradient descent learning algorithms,The Official Journal of the International Neural Network Society, 12(1), 145–151
[8] Jonathan T. Barron (2017), A General and Adaptive Robust Loss Function,
[9] Léon Bottou, Frank E. Curtis, Jorge Nocedal (2016), Optimization Methods for Large-Scale Machine Learning,