Lọc theo danh mục
  • Năm xuất bản
    Xem thêm
  • Lĩnh vực
liên kết website
Lượt truy cập
 Lượt truy cập :  22,566,133
  • Công bố khoa học và công nghệ Việt Nam

Lê Đình Nghiệp, Phạm Việt Bình, Đỗ Năng Toàn(1), Hoàng Văn Thi

HOÀN THIỆN CÁC VÙNG PHÁ HỦY HÌNH DẠNG BẤT KỲ TRONG ẢNH SỬ DỤNG KIẾN TRÚC MẠNG THẶNG DƯ VÀ NHÂN CHẬP TỪNG PHẦN

IMAGE INPAINTING FOR ARBITRARY HOLES USING CUSTUMIZED RESIDUAL BLOCK ARCHITECTURE WITH PARTIAL CONVOLUTIONS

Tạp chí Khoa học và Công nghệ - Đại học Thái Nguyên

2019

15

Ngày nay, các giải thuật dựa trên học sâu cho bài toán hoàn thiện ảnh (image inpainting) đã thu được kết quả tốt khi xử lý các vùng mất mát thông tin có hình dạng vuông hoặc các hình phổ dụng. Tuy nhiên, vẫn thất bại trong việc tạo ra các kết cấu hợp lý bên trong vùng bị phá hủy do thiếu các thông tin xung quanh. Trong nghiên cứu này, bắt nguồn từ giải thuật học thặng dư được dùng để dự đoán các thông tin bị mất trong vùng bị phá hủy, thuận lợi cho tích hợp các đặc trưng và dự đoán kết cấu, chúng tôi đề xuất mạng nhân chập từng phần thặng dư cải tiến dựa trên kiến trúc mã hóa và giải mã U-net để lấp đầy vùng bị phá hủy bảo toàn kết cấu không chỉ với các hình dạng phổ dụng mà còn cho các hình dạng bất kỳ. Các thí nghiệm dựa trên định tính và định lượng đều cho thấy mô hình đề xuất có thể giải quyết các vùng bị phá hủy có hình dạng bất kỳ và đạt hiệu suất thực thi tốt hơn các phương pháp inpainting trước đó.

Recently, learning-based algorithms for image inpainting achieve remarkable progress dealing with squared or regular holes. However, they still fail to generate plausible textures inside damaged area because there lacks surrounding information. In this paper, motivated by the residual learning algorithm which aims to learn the missing information in corrupted regions, thus facilitating feature integration and texture prediction we propose Residual Partial Convolution network (RBPConv) based on encoder and decoder U-netarchitecture to maintain texture while filling not only regular regions but also random holes. Both qualitative and quantitative experimental demonstrate that our model can deal with the corrupted regions of arbitrary shapes and performs favorably against previous state-of-the-art methods.

  • [1] Gonzalez, R., and Wood, R. (2009), Digital Image Processing,Pearson Edn
  • [2] Zhou, W., Bovik, A. C., Sheikh, H. R., and Simoncelli E. P., (2004), Image Qualifty Assessment: F-rom Error Visibility to Structural Similarity.,IEEE Transactions on Image Processing, vol. 13, no. 4, p. 600–612
  • [3] Zheng, C., Cham,T., and Cai, J. (2019), Pluralistic Image Completion,CoRR abs/1903.04227
  • [4] Kingma, D. P., Ba, J. L.: Adam (2015), A method for stochastic optimization,International conference on learning representations
  • [5] Mahajan, K. S., Vaidya, M. B. (2012), Image in Painting Techniques: A survey,IOSR Journal of Computer Engineering, vol. 5, no. 4, pp. 45-49
  • [6] Johnson, J., Alahi, A., and Fei-Fei, L. (2016), Perceptual losses for real-time style transfer and super-resolution,European Conference on Computer Vision, p. 694–711
  • [7] Ronneberger, O., Fischer, P., and Brox, T. (2015), U-net: Convolutional networks for biomedical image segmentation,International Conference on Medical image computing and computer-assisted intervention, pp. 234–241
  • [8] Zeiler, M. D., and Fergus, R. (2013), Visualizing and understanding convolutional networks,ArXiv:1311.2901
  • [9] He, K., Zhang, X., Ren,S., and Sun, J. (2016), Deep residual learning for image recognition,Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770-778
  • [10] Zhang, H., Hu, Z., Luo, C., Zuo, W., and Wang, M. (2018), Semantic Image Inpainting with Progressive Generative Networks,ACM Multimedia Conference on Multimedia Conference, pp. 1939–1947
  • [11] Huy V. V., Ngoc Q. K. D., and Pérez,P. (2018), Structural Inpainting,Proceedings of the 26th ACM International Conference on Multimedia (MM ’18), pp. 1948–1956
  • [12] Xiong, W., Lin, Z., Yang, J., Lu, X., Barnes, C., and Luo, J. (2019), Foreground-aware Image Inpainting,ArXiv preprint arXiv:1901.05945
  • [13] Nazeri, K., Eric, Ng., Joseph, T., Qureshi, F., and Ebrahimi, M. (2019), EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning,ArXiv preprint arXiv:1901.00212
  • [14] Isola, P., Zhu, J., Zhou, T., and Efros, A. A. (2017), Image-to-Image Translation with Conditional Adversarial Networks,Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 1125-1134
  • [15] Radford, A., Metz, L., and Chintala, S. (2015), Unsupervised representation learning with deep convolutional generative adversarial networks,ArXiv preprint arXiv:1511.06434
  • [16] Yeh, R. A., Chen, C., Lim, T. Y., Schwing, A. G., HasegawaJohnson, M., and Do,M. N. (2017), Semantic image inpainting with deep generative models,In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 5485–5493
  • [17] Liu, P., Qi, X., He, P., Li, Y., Lyu, M. R., and King, I. (2017), Semantically consistent image completion with fine-grained details,ArXiv preprint arXiv:1711.09345
  • [18] Xu, Z., and Sun, J. (2010), Image inpainting by patch propagation using patch sparsity,IEEE transactions on image processing, pp. 1153–1165
  • [19] Sun, J., Yuan, L., Jia, J., Shum, H. (2005), Image completion with structure propagation,ACM Transactions on Graphics (ToG), pp. 861–868
  • [20] Huang, J., Kang, S. B., Ahuja, N. and Kopf, J. (2014), Image completion using planar structure guidance,ACM Transactions on graphics (TOG)
  • [21] Darabi, S., Shechtman, E., Barnes,C., Goldman, D. B., and Sen, P. (2012), Image melding: Combining inconsistent images using patch-based synthesis,ACM Trans. Graph
  • [22] Bertalmio, M., Sapiro, G., Caselles, V., and Ballester, C. (2000), Image inpainting,Proceedings of the 27th annual conference on Computer graphics and interactive techniques. ACM Press/AddisonWesley Publishing Co, p. 417–424
  • [23] Liu, G., Reda, F. A., Shih, K. J., Wang, T.- C., Tao, A., and Catanzaro, B. (2018), Image inpainting for irregular holes using partial convolutions,ArXiv preprint arXiv:1804.07723
  • [24] Sundaram, N., Brox, T., and Keutzer, K. (2010), Dense point trajectories by gpu-accelerated large displacement optical flow,European conference on computer vision, pp. 438-451
  • [25] Yu, J., Lin, Z., Yang, J., Shen, X., Lu, X., Huang, T.S. (2018), Generative image inpainting with contextual attention,ArXiv preprint arXiv:1801.07892
  • [26] Iizuka, S., Simo-Serra, E., Ishikawa, H. (2017), Globally and locally consistent image completion,ACM Transactions on Graphics (TOG), Vol. 36, No. 4
  • [27] Yang, C., Lu, X., Lin, Z., Shechtman, E., Wang, O., Li, H (2017), High-resolution image inpainting using multi-scale neural patch synthesis,The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Vol. 1, pp. 3
  • [28] Yan, Z., Li, X., Li, M., Zuo, W., and Shan, S. (2018), Shift-net: Image inpainting via deep feature rearrangement.,arXiv preprint arXiv:1801.09392
  • [29] Pathak, D., Krahenbuhl, P., Donahue, J., Darrell, T., Efros, A.A. (2016), Context encoders: Feature learning by inpainting,Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2536–2544
  • [30] Barnes, C., Shechtman, E., Finkelstein, A., Goldman, D. B. (2009), Patchmatch: A randomized correspondence algorithm for structural image editing,ACM Transactions on Graphics-TOG, Vol. 28, No. 3
  • [31] N. Komodakis (2006), Image completion using global optimization,CVPR, pp. 442–452
  • [32] Drori, I., Cohen-Or, D., and Yeshurun, H. (2003), Fragment-based image completion,TOG, Vol. 22, No. 3, pp. 303-312
  • [33] Criminisi, A., Perez, P., and Toyama, K. (2003), Object removal by exemplar-based inpainting,IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Vol. 2, pp. 721-728
  • [34] Liu, D., Sun, X., Wu, F., Li, S., and Zhang, Y. (2007), Image compression with edge-based inpainting,IEEE Transactions on Circuits and Systems for Video Technology, Vol. 17, No. 10, pp. 1273-1287
  • [35] Bertalmio, M., Vese, L., Sapiro, G. and Osher, S. (2003), Simultaneous structure and texture image inpainting,IEEE transactions on image processing, Vol. 12, No. 8, pp. 882-889