افزایش دقت شبکه‌های عصبی کانولوشنی مبتنی بر مدل چهار-جریان با فیلترهای پردازش تصویر و نگاشت خطی‌ساز فضای عدم تشابه

الموضوعات :

زهرا حیدران داروقه امنیه ¹ , سید محمد جلال رستگار فاطمی ² , مریم رستگارپور ³ , گلناز آقایی قزوینی ⁴

1 - گروه برق- واحد ساوه، دانشگاه آزاد اسلامی، ساوه، ایران
2 - گروه برق- واحد ساوه، دانشگاه آزاد اسلامی، ساوه، ایران
3 - گروه کامپیوتر- واحد ساوه، دانشگاه آزاد اسلامی، ساوه، ایران
4 - گروه کامپیوتر- واحد دولت آباد، دانشگاه آزاد اسلامی، دولت آباد، ایران

تاريخ الإرسال : 28 الجمعة , محرم, 1444 تاريخ التأكيد : 20 الأربعاء , جمادى الأولى, 1444 تاريخ الإصدار : 20 الأربعاء , جمادى الأولى, 1444

الکلمات المفتاحية: یادگیری عمیق, مرجع, سیستم کانولوشنی, فضای برداری عدم تشابه, ماتریس عدم تشابه بازنمایی,

ملخص المقالة :

در سال‌های اخیر با گسترش و موفقیت شبکه‌های کانولوشنی، موضوع یادگیری عمیق بیش از پیش مورد توجه قرار گرفته است. از آنجا که شبکه‌های کانولوشنی شامل لایه های زیادی هستند، یادگیری بهینه لایه‌های شبکه از اهمیت بالایی برخوردار است. در این مقاله، مدل جدیدی به نام چهار-جریان، با هدف کمک به خطی کردن فضای داده از طریق تبدیل عدم تشابه بازنمایی ارائه و تأثیر این تبدیل روی طبقه بندهای استاندارد برای داده های مصنوعی و تصاویر سیفار-10 بررسی و دو مدل مبتنی بر پیش پردازش داده با تبدیل عدم تشابه بازنمایی و فیلترهای سوبل و آشکارساز لبه تحلیل شده است. مدل چهار-جریان به دلیل بالا رفتن تعداد پارامترهای مدل و به تبع آن ظرفیت شبکه میزان 2/3 درصد افزایش دقت داشته است و اضافه نمودن بازنمایی عدم تشابه در جایی که طبقه بند نتواند با ویژگی های اصلی، تفکیک پذیری بالایی انجام دهد، می تواند تا حدودی با افزودن ویژگی های خطی به تفکیک پذیری کلاس ها کمک کند.

المصادر:

[1] M. Zhang, W. Li, Q. Du, "Diverse region-based CNN for hyper spectral image classification", IEEE Trans. on Image Processing, vol. 27, no. 6, pp. 2623-2634, June 2018 (doi: 10.1109/TIP.2018.2809606).

[2] Z. Gong, P. Zhong, Y. Yu, W. Hu, S. Li, "A CNN with multi scale convolution and diversified metric for hyper spectral image classification", IEEE Trans. on Geoscience and Remote Sensing, vol. 57, no. 6, pp. 3599-3618, June 2019 (doi: 10.1109/TGRS.2018.2886022).

[3] Y. Pei, Y. Huang, Q. Zou, X. Zhang, S. Wang, "Effects of image degradation and degradation removal to cnn-based image classification", IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 43, no. 4, pp. 1239-1253, April 2021 (doi: 10.1109/TPAMI.2019.2950923).

[4] M. Gour, S. Jain, T.S. Kumar, "Residual learning based CNN for breast cancer histopathological image classification", International Journal of Imaging Systems and Technology, vol. 30, no. 3, pp. 621-635, Sept. 2020 (doi:10.1002/ima.22403).

[5] Y.M. Costa, D. Bertolini, A.S. Britto, G.D. Cavalcanti, L.E. Oliveira, "The dissimilarity approach: A review", Artificial Intelligence Review, vol. 53, no. 4, pp. 2783-2808, April 2020 (doi: 10.1007/s10462-019-09746-z).

[6] E. Pękalska, R.P. Duin, "Dissimilarity representations allow for building good classifiers", Pattern Recognition Letters, vol. 23, no. 8, pp. 943-956, June 2002 (doi: 10.1016/S0167-8655(02)00024-7).

[7] E. Pekalska, P. Paclik, R. P. Duin, "A generalized kernel approach to dissimilarity-based classification", Journal of Machine Learning Eesearch, vol. 2, pp. 175-211, Dec. 2001 (doi: 10.1.1.16.3363).

[8] E. Pekalska, R.P. Duin, "Dissimilarity-based classification for vectorial representations", Proceding of the IEEE/ ICPR, pp. 137-140, Hong Kong, China, Aug. 2006 (doi: 10.1109/ICPR.2006.457).

[9] R.P. Duin, M. Loog, E. Pȩkalska, D.M. Tax, "Feature-based dissimilarity space classification", Proceding of ICPR, vol. 6388, pp. 46-55, Springer, Berlin, Heidelberg, Aug. 2010 (doi: 10.1007/978-3-642-17711-8_5).

[10] R.P. Duin, E. Pękalska, "The dissimilarity space: Bridging structural and statistical pattern recognition", Pattern Recognition Letters, vol. 33, no. 7, pp. 826-832, May 2012 (doi: 10.1016/j.patrec.2011.04.019).

[11] I. Theodorakopoulos, D. Kastaniotis, G. Economou, S. Fotopoulos, "Pose-based human action recognition via sparse representation in dissimilarity space", Journal of Visual Communication and Image Represent­at­i­o­n, vol. 25, no. 1, pp. 12-23, Jan. 2014 (doi: 10.1016/j.jvcir.2013.03.008).

[12] H. Bunke, K. Riesen, "Graph classification based on dissimilarity space embedding", Proceding of  IAPR-SPR-SSPR, vol 5342, pp. 996-1007, Springer, Berlin, Heidelberg, Dec. 2008 (doi: 10.1007/978-3-540-89689-0_103). 

[13] R.H. Pinheiro, G.D. Cavalcanti, R. Tsang, "Combining dissimilarity spaces for text categorizati­on",  Information Sciences, vol. 406-407, pp. 87-101, Sept. 2017 (doi: 10.1016/j.ins.2017.04.025).

[14] C. Santos, E.J. Justino, F. Bortolozzi, R. Sabourin, "An off-line signature verification method based on the questioned document expert's approach and a neural network classifier", Proceding of the IEEE/IWFHR, pp. 498-502, Kokubunji, Japan, Oct. 2004 (doi: 10.1109/IWFHR.2004.17).

[15] S.H. Cha, S.N. Srihari, "Writer identification: statistical analysis and dichotomizer", Proceding of  IAPR-SPR-SSPR, vol 1876, pp. 123-132, Springer, Berlin, Heidelberg, Dec. 2000 (doi:10.1007/3-540-44522-6_13).

[16] D. Bertolini, L. S. Oliveira, E. Justino, R. Sabourin, "Texture-based descriptors for writer identification and verification", Expert Systems with Applications, vol. 40, no. 6, pp. 2069-2080, May 2013 (doi: 10.1016/j.esw­a.20­12.10.016).

[17] L.S. Oliveira, E. Justino, R, Sabourin, "Off-line signature verification using writer-independent approach", Proceding of the IEEE/IJCNN, pp. 2539-2544, Orlando, FL, USA, Aug. 2007 (doi: 10.1109/IJCNN.200­7.437­13­58).

[18] J.G. Martins, L.S. Oliveira, A.S. Britto, R Sabourin, "Forest species recognition based on dynamic classifier selection and dissimilarity feature vector representation", Machine Vision and Applications, vol. 26, no. 2, pp. 279-293, Apr. 2015 (doi: 10.1007/s00138-015-0659-0).

[19] R.H. Zottesso, Y.M. Costa, D. Bertolini, L.E. Oliveira, "Bird species identification using spectrogram and dissimilarity approach", Ecological Informatics, vol. 48, pp. 187-197, Nov. 2018 (doi: 10.1016/j.ecoinf.­201­8.0­8.007).

[20] N. Kriegeskorte, M. Mur, P.A. Bandettini, "Representational similarity analysis-connecting the branches of systems neuroscience", Frontiers in Systems Neuroscience, vol. 2, no. 4, Nov. 2008 (doi: 10.3389/neuro­.06.­00­4.2008).

[21] H. Popal, Y. Wang, I.R. Olson, "A guide to representational similarity analysis for social neuroscience", Social Cognitive and Affective Neuroscience, vol. 14, no. 11, pp. 1243-1253, Nov. 2019 (doi: 10.31234/osf.i­o/n­d8fh). 

[22] T.K. Pegors, S. Tompson, M.B. O’Donnell, E. B. Falk, "Predicting behavior change from persuasive messages using neural representational similarity and social network analyses", NeuroImage, vol. 157, pp. 118-128, Aug. 2017 (doi: 10.1016/j.neuroimage.2017.05.063). 

[23] R.M. Visser, H.S. Scholte, T. Beemsterboer, M. Kindt, "Neural pattern similarity predicts long-term fear memory", Nature neuroscience, vol. 16, no. 4, pp. 388-390, April 2013 (doi: 10.1038/nn.3345).

[24] Z.H.D. Amnyieh, S.M.J.R. Fatemi, M. Rastgarpour, G.A. Ghazvini, "CNN-RDM: A new image processing model for improving the structure of deep learning based on representational dissimilarity matrix", Journal of Supercomputing, vol. 9, pp. 1-25, Sept. 2022 (doi: 10.1007/s11227-022-04661-7). 

[25] J.B. Ritchie, H.L. Masson, S. Bracci, H.P.O. Beeck, "The unreliable influence of multivariate noise normalization on the reliability of neural dissimilarity", NeuroImage, vol. 245, Article Number: 118686, Dec. 2021 (doi: 10.1016/j.neuroimage.2021.118686).

[26] I. Muukkonen, K. Ölander, J. Numminen, V. R Salmela, "Spatio-temporal dynamics of face percep­ti­o­n",  NeuroImage, vol. 209, Article Number: 116531,  April 2020 (doi: 10.1101/550038). 

[27] J. Diedrichsen, E. Berlot, M. Mur, H. H. Schütt, M. Shahbazi, N. Kriegeskorte, "Comparing representational geometries using whitened unbiased-distance-matrix similarity", Neural Data Science/Analysis, vol. 5, no. 3,  Aug. 2021 (doi: 10.51628/001c.27664).

[28] H. Wu, B. Xiao, N. Codella, M. L iu, X. Dai, L. Yuan, L. Zhang, "Cvt: Introducing convolutions to vision transformers", Proceding of  the IEEE/ICCV, pp. 22-3, Montreal, QC, Canada, Oct. 2021 (doi: 10.1109/ic­cv­48­922.2021.00009). 

[29] F. Fooladgar, S. Kasaei, "Lightweight residual densely connected convolutional neural network", Multimedia Tools and Applications, vol. 79, no. 35, pp. 25571-25588, Sept. 2020 (doi: 10.1007/s11042-020-09223-8).

[30] N. Gruzling, "Linear separability of the vertices of an n-dimensional hypercube", Ph.D. Thesisi, University of Northern British Columbia, 2007 (doi: 10.24124/2007/bpgub464).

[31] R. Elshawi, A. Wahab, A. Barnawi, S. Sakr, "DLBench: a comprehensive experimental evaluation of deep learning frameworks", Cluster Computing, vol. 24, no. 3, pp. 2017-2038. Sept. 2021 (doi: 10.1007/s10586-021-03240-4).