Research Article
BibTex RIS Cite

Derin Öğrenme Modellerinin Sinirsel Stil Aktarımı Performanslarının Karşılaştırılması

Year 2021, , 1611 - 1622, 01.12.2021
https://doi.org/10.2339/politeknik.885838

Abstract

Sinirsel stil aktarımı günümüzde hem akademik hemde endüstriyel alanda en fazla çalışılan konulardan biridir. Yapılan çalışmalarda kalite ve performans artırımı en çok amaçlanan hedeflerdendir. Bu çalışmada da farklı ESA modellerinin sinirsel stil aktarımında performansları incelenmiştir. VGG16, VGG19 ve ResNet50 modelleri kullanarak derin öznitelikler elde edilmiştir. Bu öznitelikler sayesinde içerik görüntüsünün içeriğini, stil görüntüsünün de stilini alıp yeni bir hedef görüntü oluşturulmuştur. Adam, RMSprop ve SGD optimizasyon algoritmaları kullanılmıştır. Yapılan sinirsel sinir aktarımı çalışmalarında, görsel açıdan en iyi performans VGG19 ağ modelinden SGD optimizasyon algoritması kullanılarak elde edilmiştir. Zaman açısından en hızlı sinirsel stil aktarımı ResNet50 evrişimsel sinir ağı modelinde SGD optimizasyon algoritması kullanılarak elde edilmiştir.

References

  • [1] Jing Y., Yang Y., Feng Z., Ye J., ve Song M., “Neural style transfer: A review”, IEEE Transactions on Visualization and Computer Graphics, 26: 3365–3385, (2020).
  • [2] Gatys L. A., Ecker A. S., Bethge M., Hertzmann A., ve Shechtman E., “Controlling perceptual factors in neural style transfer”, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Jul, (2017).
  • [3] Gatys L. A., Ecker A. S. ve Bethge M., “A neural algorithm of artistic style”, Journal of Vision, 16: 326, (2016).
  • [4] Krizhevsky A., Sutskever I. ve Hinton G. E., “Imagenet classification with deep convolutional neural networks”, In Advances in neural information processing systems, 1097–1105, (2012).
  • [5] Donahue, J., Jia, Y., Vinyals, O., Hoffman, J., Zhang, N., Tzeng, E., ve Darrell, T., “DeCAF: A Deep Convolu- tional Activation Feature for Generic Visual Recognition”, 31st International Conference on Machine Learning (ICML), (2014).
  • [6] Cimpoi M., Maji S., ve Vedaldi A., “Deep filter banks for texture recognition and segmentation”, International Journal of Computer Vision, 118: 65–94, (2016).
  • [7] Karayev S., Trentacoste M., Han H., Agarwala A., Darrell T., Hertzmann A., ve Winnemoeller H., “Recognizing image style”, Proceedings of the British Machine Vision Conference, (2014).
  • [8] Kümmerer, M., Theis, L. ve Bethge M., “Deep Gaze I: Boosting Saliency Prediction with Feature Maps Trained on ImageNet”, In ICLR, (2015).
  • [9] Chen L. C., Papandreou G., Kokkinos I., Murphy K., ve Yuille A. L., “Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs”, In ICLR, (2015).
  • [10] Berning, M., Boergens, K. M. and Helmstaedter, M., “SegEM: Efficient Image Analysis for High-Resolution Connectomics”, Neuron, 87: 1193–1206 (2015).
  • [11] Eigen D. ve Fergus R., “Predicting Depth, Surface Normals and Semantic Labels With a Common Multi-Scale Convolutional Architecture”, IEEE International Conference on Computer Vision (ICCV), (2015).
  • [12] Long J., Shelhamer E. ve Darrell T., “Fully convolutional networks for semantic segmentation”, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, (2015).
  • [13] Ari A. ve Hanbay D., “Deep learning based brain tumor classification and detection system”, Turkish J. Elect. Eng. Comput. Sci., 26: 2275–2286, (2018).
  • [14] Türkoğlu, M., Hanbay, K., Saraç Sivrikaya, I. ve Hanbay, D., “Derin Evrişimsel Sinir Ağı Kullanılarak Kayısı Hastalıklarının Sınıflandırılması”, Bitlis Eren Üniversitesi Fen Bilimleri Dergisi, 9: 334-345, (2020).
  • [15] Akılotu B. N., Kadiroğlu Z., Şengür A. and Kayaoğlu M., “Malaria Detection using both Convolutional Neural Networks and Transfer Learning Method”, IESS, (2019).
  • [16] Kızrak, M.A., “DERİNE DAHA DERİNE: Evrişimli Sinir Ağları”, https://ayyucekizrak.medium.com/deri̇ne-daha-deri̇ne-evrişimli-sinir-ağları-2813a2c8b2a9, (2018), Erişim Tarihi: 10.02.2021
  • [17] Doğan F. and Türkoğlu İ., “Comparison of Leaf Classification Performance of Deep Learning Algorithms”, Sakarya University Journal of Computer and Information Sciences, 1: 10-21, (2018).
  • [18] Simonyan K. ve Zisserman A.,”Very Deep Convolutional Networks For Large-scale Image Recognition”, ICLR, (2015).
  • [19] Ruder S., “An overview of gradient descent optimization algorithms”, CoRR, (2016).
  • [20] Akca, M.F., “Gradient Descent Nedir?”, https://medium.com/deep-learning-turkiye/gradient-descent-nedir-3ec6afcb9900, (2020), Erişim Tarihi: 10.02.2021
  • [21] Yazan E., ve Talu M.F., “Comparison of the stochastic gradient descent based optimization techniques”, Artificial Intelligence and Data Processing Symposium (IDAP), (2017).
  • [22] Zeiler M. D., “ADADELTA: an adaptive learning rate method”, arXiv preprint arXiv:1212.5701, (2012).
  • [23] Karim R., “10 Stochastic Gradient Descent Optimisation Algorithms + Cheat Sheet”, https://towardsdatascience.com/10-gradient-descent-optimisation-algorithms-86989510b5e9,(2018), Erişim Tarihi: 10.02.2021
  • [24] Alpaydın, E., “Yapay Öğrenme”. Boğaziçi Üniversitesi Yayınevi, İstanbul, (2018).
  • [25] Seyyarer E., Ayata F., Uçkan T. and Karcı A., “Derin öğrenmede kullanılan optimizasyon algoritmalarının uygulanması ve kıyaslanması”, Anatolian Journal of Computer Sciences, 5: 90-98 (2020).
  • [26] İçerik Görüntüsü https://images.wallpaperscraft.com/image/road_marking_evening_clouds_horizon_120298_1280x1024.jpg, (2020), Erişim Tarihi: 10.02.2021
  • [27] Vinci L., “Mona Lisa” https://www.sanatabasla.com/wp-content/uploads/2017/06/098-Mona-Lisa-Leonardo-da-Vinci.jpg, Italy, (1503), Erişim Tarihi: 10.02.2021
  • [28] Picasso P., “The Weeping Woman” https://i.pinimg.com/originals/b5/cd/cb/b5cdcb278146767d41a64d12cdc68fda.jpg, (1937), Erişim Tarihi: 10.02.2021
  • [29] Gogh V. V., “Cypresses” https://upload.wikimedia.org/wikipedia/commons/thumb/1/11/Vincent_Van_Gogh_0016.jpg/1920px-Vincent_Van_Gogh_0016.jpg , (1889) , Erişim Tarihi: 10.02.2021
  • [30] Munch E., “Skrik”, https://upload.wikimedia.org/wikipedia/commons/f/f4/The_Scream.jpg , (1893), Erişim Tarihi: 10.02.2021

Comparison of Neural Style Transfer Performance of Deep Learning Models

Year 2021, , 1611 - 1622, 01.12.2021
https://doi.org/10.2339/politeknik.885838

Abstract

Neural style transfer is one of the most studied topics in both academic and industrial fields. Quality and performance enhancement are among the most targeted goals in the studies. In this study, the performance of different CNN models in neural style transfer was investigated. Deep features were obtained using VGG16, VGG19 and ResNet50 models. Thanks to these attributes, a new target image is created by taking the content of the content image and the style of the style image. Adam, RMSprop and SGD optimization algorithms are used. In neural transfer studies, the best visual performance was obtained from VGG19 network model by using SGD optimization algorithm. The fastest neural style transfer in terms of time was obtained using the SGD optimization algorithm in the ResNet50 convolutional neural network model.

References

  • [1] Jing Y., Yang Y., Feng Z., Ye J., ve Song M., “Neural style transfer: A review”, IEEE Transactions on Visualization and Computer Graphics, 26: 3365–3385, (2020).
  • [2] Gatys L. A., Ecker A. S., Bethge M., Hertzmann A., ve Shechtman E., “Controlling perceptual factors in neural style transfer”, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Jul, (2017).
  • [3] Gatys L. A., Ecker A. S. ve Bethge M., “A neural algorithm of artistic style”, Journal of Vision, 16: 326, (2016).
  • [4] Krizhevsky A., Sutskever I. ve Hinton G. E., “Imagenet classification with deep convolutional neural networks”, In Advances in neural information processing systems, 1097–1105, (2012).
  • [5] Donahue, J., Jia, Y., Vinyals, O., Hoffman, J., Zhang, N., Tzeng, E., ve Darrell, T., “DeCAF: A Deep Convolu- tional Activation Feature for Generic Visual Recognition”, 31st International Conference on Machine Learning (ICML), (2014).
  • [6] Cimpoi M., Maji S., ve Vedaldi A., “Deep filter banks for texture recognition and segmentation”, International Journal of Computer Vision, 118: 65–94, (2016).
  • [7] Karayev S., Trentacoste M., Han H., Agarwala A., Darrell T., Hertzmann A., ve Winnemoeller H., “Recognizing image style”, Proceedings of the British Machine Vision Conference, (2014).
  • [8] Kümmerer, M., Theis, L. ve Bethge M., “Deep Gaze I: Boosting Saliency Prediction with Feature Maps Trained on ImageNet”, In ICLR, (2015).
  • [9] Chen L. C., Papandreou G., Kokkinos I., Murphy K., ve Yuille A. L., “Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs”, In ICLR, (2015).
  • [10] Berning, M., Boergens, K. M. and Helmstaedter, M., “SegEM: Efficient Image Analysis for High-Resolution Connectomics”, Neuron, 87: 1193–1206 (2015).
  • [11] Eigen D. ve Fergus R., “Predicting Depth, Surface Normals and Semantic Labels With a Common Multi-Scale Convolutional Architecture”, IEEE International Conference on Computer Vision (ICCV), (2015).
  • [12] Long J., Shelhamer E. ve Darrell T., “Fully convolutional networks for semantic segmentation”, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, (2015).
  • [13] Ari A. ve Hanbay D., “Deep learning based brain tumor classification and detection system”, Turkish J. Elect. Eng. Comput. Sci., 26: 2275–2286, (2018).
  • [14] Türkoğlu, M., Hanbay, K., Saraç Sivrikaya, I. ve Hanbay, D., “Derin Evrişimsel Sinir Ağı Kullanılarak Kayısı Hastalıklarının Sınıflandırılması”, Bitlis Eren Üniversitesi Fen Bilimleri Dergisi, 9: 334-345, (2020).
  • [15] Akılotu B. N., Kadiroğlu Z., Şengür A. and Kayaoğlu M., “Malaria Detection using both Convolutional Neural Networks and Transfer Learning Method”, IESS, (2019).
  • [16] Kızrak, M.A., “DERİNE DAHA DERİNE: Evrişimli Sinir Ağları”, https://ayyucekizrak.medium.com/deri̇ne-daha-deri̇ne-evrişimli-sinir-ağları-2813a2c8b2a9, (2018), Erişim Tarihi: 10.02.2021
  • [17] Doğan F. and Türkoğlu İ., “Comparison of Leaf Classification Performance of Deep Learning Algorithms”, Sakarya University Journal of Computer and Information Sciences, 1: 10-21, (2018).
  • [18] Simonyan K. ve Zisserman A.,”Very Deep Convolutional Networks For Large-scale Image Recognition”, ICLR, (2015).
  • [19] Ruder S., “An overview of gradient descent optimization algorithms”, CoRR, (2016).
  • [20] Akca, M.F., “Gradient Descent Nedir?”, https://medium.com/deep-learning-turkiye/gradient-descent-nedir-3ec6afcb9900, (2020), Erişim Tarihi: 10.02.2021
  • [21] Yazan E., ve Talu M.F., “Comparison of the stochastic gradient descent based optimization techniques”, Artificial Intelligence and Data Processing Symposium (IDAP), (2017).
  • [22] Zeiler M. D., “ADADELTA: an adaptive learning rate method”, arXiv preprint arXiv:1212.5701, (2012).
  • [23] Karim R., “10 Stochastic Gradient Descent Optimisation Algorithms + Cheat Sheet”, https://towardsdatascience.com/10-gradient-descent-optimisation-algorithms-86989510b5e9,(2018), Erişim Tarihi: 10.02.2021
  • [24] Alpaydın, E., “Yapay Öğrenme”. Boğaziçi Üniversitesi Yayınevi, İstanbul, (2018).
  • [25] Seyyarer E., Ayata F., Uçkan T. and Karcı A., “Derin öğrenmede kullanılan optimizasyon algoritmalarının uygulanması ve kıyaslanması”, Anatolian Journal of Computer Sciences, 5: 90-98 (2020).
  • [26] İçerik Görüntüsü https://images.wallpaperscraft.com/image/road_marking_evening_clouds_horizon_120298_1280x1024.jpg, (2020), Erişim Tarihi: 10.02.2021
  • [27] Vinci L., “Mona Lisa” https://www.sanatabasla.com/wp-content/uploads/2017/06/098-Mona-Lisa-Leonardo-da-Vinci.jpg, Italy, (1503), Erişim Tarihi: 10.02.2021
  • [28] Picasso P., “The Weeping Woman” https://i.pinimg.com/originals/b5/cd/cb/b5cdcb278146767d41a64d12cdc68fda.jpg, (1937), Erişim Tarihi: 10.02.2021
  • [29] Gogh V. V., “Cypresses” https://upload.wikimedia.org/wikipedia/commons/thumb/1/11/Vincent_Van_Gogh_0016.jpg/1920px-Vincent_Van_Gogh_0016.jpg , (1889) , Erişim Tarihi: 10.02.2021
  • [30] Munch E., “Skrik”, https://upload.wikimedia.org/wikipedia/commons/f/f4/The_Scream.jpg , (1893), Erişim Tarihi: 10.02.2021
There are 30 citations in total.

Details

Primary Language Turkish
Subjects Engineering
Journal Section Research Article
Authors

Batuhan Karadağ 0000-0002-4661-6607

Ali Arı 0000-0002-5071-6790

Müge Karadağ 0000-0002-5722-5441

Publication Date December 1, 2021
Submission Date February 24, 2021
Published in Issue Year 2021

Cite

APA Karadağ, B., Arı, A., & Karadağ, M. (2021). Derin Öğrenme Modellerinin Sinirsel Stil Aktarımı Performanslarının Karşılaştırılması. Politeknik Dergisi, 24(4), 1611-1622. https://doi.org/10.2339/politeknik.885838
AMA Karadağ B, Arı A, Karadağ M. Derin Öğrenme Modellerinin Sinirsel Stil Aktarımı Performanslarının Karşılaştırılması. Politeknik Dergisi. December 2021;24(4):1611-1622. doi:10.2339/politeknik.885838
Chicago Karadağ, Batuhan, Ali Arı, and Müge Karadağ. “Derin Öğrenme Modellerinin Sinirsel Stil Aktarımı Performanslarının Karşılaştırılması”. Politeknik Dergisi 24, no. 4 (December 2021): 1611-22. https://doi.org/10.2339/politeknik.885838.
EndNote Karadağ B, Arı A, Karadağ M (December 1, 2021) Derin Öğrenme Modellerinin Sinirsel Stil Aktarımı Performanslarının Karşılaştırılması. Politeknik Dergisi 24 4 1611–1622.
IEEE B. Karadağ, A. Arı, and M. Karadağ, “Derin Öğrenme Modellerinin Sinirsel Stil Aktarımı Performanslarının Karşılaştırılması”, Politeknik Dergisi, vol. 24, no. 4, pp. 1611–1622, 2021, doi: 10.2339/politeknik.885838.
ISNAD Karadağ, Batuhan et al. “Derin Öğrenme Modellerinin Sinirsel Stil Aktarımı Performanslarının Karşılaştırılması”. Politeknik Dergisi 24/4 (December 2021), 1611-1622. https://doi.org/10.2339/politeknik.885838.
JAMA Karadağ B, Arı A, Karadağ M. Derin Öğrenme Modellerinin Sinirsel Stil Aktarımı Performanslarının Karşılaştırılması. Politeknik Dergisi. 2021;24:1611–1622.
MLA Karadağ, Batuhan et al. “Derin Öğrenme Modellerinin Sinirsel Stil Aktarımı Performanslarının Karşılaştırılması”. Politeknik Dergisi, vol. 24, no. 4, 2021, pp. 1611-22, doi:10.2339/politeknik.885838.
Vancouver Karadağ B, Arı A, Karadağ M. Derin Öğrenme Modellerinin Sinirsel Stil Aktarımı Performanslarının Karşılaştırılması. Politeknik Dergisi. 2021;24(4):1611-22.
 
TARANDIĞIMIZ DİZİNLER (ABSTRACTING / INDEXING)
181341319013191 13189 13187 13188 18016 

download Bu eser Creative Commons Atıf-AynıLisanslaPaylaş 4.0 Uluslararası ile lisanslanmıştır.