Parçacık Sürüsü Optimizasyonun Yapay Sinir Ağının Eğitiminde Uygulanması ve Ağırlık Entropi Değişiminin İncelenmesi

Year 2020, Volume: 5 Issue: 2, 126 - 136, 01.12.2020

Özlem İmik Barış Baykant Alagöz Ali Karci

Abstract

İleri beslemeli Yapay Sinir Ağlarının (YSA) eğitiminde yaygın olarak geriye yayılım algoritması gradyan iniş yöntemi (GİY) ile uygulanmaktadır. Diğer taraftan rastgele süreçleri içeren metasezgisel yöntemlerin yapay sinir ağlarının eğitimlerinde kullanımına dönük çalışmalar yapılmaktadır. Metasezgisel optimizasyon yöntemleri karmaşık optimizasyon problemlerinin çözümünde, özellikle de çok sayıda ve karmaşık kısıtların olduğu durumda kolaylık sağlayabilmektedir. Bu çalışmada ileri beslemeli bir YSA’nın eğitiminde Parçacık Sürüsü Optimizasyon (PSO) yönteminin bir uygulaması gerçekleştirilmiştir. Çalışmada vücut yağ oranı verilerinin ileri beslemeli bir yapay sinir ağı ile modellemesi gerçekleştirilmiştir. Yapay sinir ağı modelinin eğitimi için GİY ve PSO algoritmaları kullanılmıştır. Eğitim süresince eğitim hatasının ve ağırlık matrisi entropilerinin değişimleri incelenmektedir.

Keywords

parçacık sürüsü optimizasyonu, entropi, matlab, gradyan iniş yöntemi, yapay sinir ağı

References

• [1] McCulloch W. S, Walter P. (1943) A logical calculus of the ideas immanent in nervous activity. The bulletin of mathematical biophysics 5.4: 115-133.
• [2] Widrow B, Lehr M. A. (1990) 30 years of adaptive neural networks: perceptron, madaline, and backpropagation. Proceedings of the IEEE 78.9: 155-1442.
• [3] Çevik K.K, Koçer H.E. (2013) Parçacık Sürü Optimizasyonu ile Yapay Sinir Ağları Eğitimine Dayalı Bir Esnek Hesaplama Uygulaması. Süleyman Demirel Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 39-45.
• [4] Aminian J, Shahrokh S. (2008) Evaluation of ANN modeling for prediction of crude oil fouling behavior. Applied thermal engineering 28.7: 668-674.
• [5] Hasanien H. M. (2011) FPGA implementation of adaptive ANN controller for speed regulation of permanent magnet stepper motor drives. Energy Conversion and Management 52.2: 1252-1257.
• [6] Vijaya G, Kumar V. Verma H. K. (1998) ANN-based QRS-complex analysis of ECG. Journal of medical engineering & technology 22.4: 160-167.
• [7] Egmont-Petersen M, Ridder D, Handels H. (2002) Image processing with neural networks—a review. Pattern recognition 35.10: 2279-2301.
• [8] Çavuşlu M. A, Karakuzu C, Şahi S. (2010) Parçacık Sürü Optimizasyonu Algoritması ile Yapay Sinir Ağı Eğitiminin FPGA Üzerinde Donanımsal Gerçeklenmesi, Politeknik Dergisi, Vol :13, Pages. 83-92
• [9] Imik O, Alagoz B. B. (2017) Discretization of fractional order transfer functions by weighted multi-objective particle swarm optimization method. In 2017 International Artificial Intelligence and Data Processing Symposium (IDAP) pp.1-5.
• [10] Carvalho M, Ludermir T.B. (2015) Particle Swarm Optimization of Neural Network Architectures and Weights. Seventh International Conference on Hybrid Intelligent Systems.
• [11] Imik Simsek O. (2018) Parçacık Sürüsü Optimizasyon Yöntemi İle Kesir Dereceli Filtre Gerçeklemesi.
• [12] Lam H. K, Ling S. H, Leung F. H, Tam P.K.S. (2001). Tuning of the structure and parameters of neural network using an improved genetic algorithm. In IECON'01. 27th Annual Conference of the IEEE Industrial Electronics Society (Cat. No. 37243) (Vol. 1, pp. 25-30). IEEE.
• [13] Montana D. J, Davis L. (1995) Training Feedforward Neural Networks Using Genetic Algorithms.
• [14] Eberhart R, Kennedy J. "A new optimizer using particle swarm theory." MHS'95. Proceedings of the Sixth International Symposium on Micro Machine and Human Science. IEEE.
• [15] Mendes R, Cortez P, Rocha M, Neves J. (2002). Particle swarms for feedforward neural network training. In Proceedings of the 2002 International Joint Conference on Neural Networks. IJCNN'02 (Cat. No. 02CH37290) (Vol. 2, pp. 1895-1899). IEEE.
• [16] Wang Q. A. (2008). Probability distribution and entropy as a measure of uncertainty. Journal of Physics A: Mathematical and Theoretical, 41(6), 065004.
• [17] Bulut F. (2017). Bilgi Kuramındaki Entropi Kavramıyla İlgili Farklı Matematiksel Modeller. Bilge International Journal of Science and Technology Research, 1(2), 167-174.
• [18] Kline D. M, and Victor L. B. (2005) Revisiting squared-error and cross-entropy functions for training neural network classifiers. Neural Computing & Applications 14.4: 310-318.
• [19] Khabou M. A, Paul D. G. (2000) Automatic target detection using entropy optimized shared-weight neural networks. IEEE transactions on neural networks 11.1: 186-193.