افزایش دقت شبکه‌های عصبی کانولوشنی مبتنی بر مدل چهار-جریان با فیلترهای پردازش تصویر و نگاشت خطی‌ساز فضای عدم تشابه

روش‌های هوشمند در صنعت برق

مقاله 1، دوره 16، شماره 61، خرداد 1404، صفحه 1-28   

نوع مقاله: مقاله پژوهشی

نویسندگان

زهرا حیدران داروقه امنیه¹؛ سید محمد جلال رستگار فاطمی^{* 1}؛ مریم رستگارپور²؛ گلناز آقایی قزوینی³

¹گروه برق- واحد ساوه، دانشگاه آزاد اسلامی، ساوه، ایران

²گروه کامپیوتر- واحد ساوه، دانشگاه آزاد اسلامی، ساوه، ایران

³گروه کامپیوتر- واحد دولت آباد، دانشگاه آزاد اسلامی، دولت آباد، ایران

چکیده

در سال‌های اخیر با گسترش و موفقیت شبکه‌های کانولوشنی، موضوع یادگیری عمیق بیش از پیش مورد توجه قرار گرفته است. از آنجا که شبکه‌های کانولوشنی شامل لایه­های زیادی هستند، یادگیری بهینه لایه‌های شبکه از اهمیت بالایی برخوردار است. در این مقاله، مدل جدیدی به نام چهار-جریان، با هدف کمک به خطی­کردن فضای داده از طریق تبدیل عدم تشابه بازنمایی ارائه و تأثیر این تبدیل روی طبقه­بندهای استاندارد برای داده­های مصنوعی و تصاویر سیفار-10 بررسی و دو مدل مبتنی بر پیش­پردازش داده با تبدیل عدم تشابه بازنمایی و فیلترهای سوبل و آشکارساز لبه تحلیل شده است. مدل چهار-جریان به دلیل بالا رفتن تعداد پارامترهای مدل و به تبع آن ظرفیت شبکه میزان 2/3 درصد افزایش دقت داشته است و اضافه نمودن بازنمایی عدم تشابه در جایی­که طبقه­بند نتواند با ویژگی­های اصلی، تفکیک­پذیری بالایی انجام دهد، می­تواند تا حدودی با افزودن ویژگی­های خطی به تفکیک­پذیری کلاس­ها کمک کند.

کلیدواژه‌ها

سیستم کانولوشنی؛ فضای برداری عدم تشابه؛ ماتریس عدم تشابه بازنمایی؛ مرجع؛ یادگیری عمیق

سایر فایل های مرتبط با مقاله

1829-Extended Abstract.pdf

مراجع

[1] M. Zhang, W. Li, Q. Du, "Diverse region-based CNN for hyper spectral image classification", IEEE Trans. on Image Processing, vol. 27, no. 6, pp. 2623-2634, June 2018 (doi: 10.1109/TIP.2018.2809606).

[2] Z. Gong, P. Zhong, Y. Yu, W. Hu, S. Li, "A CNN with multi scale convolution and diversified metric for hyper spectral image classification", IEEE Trans. on Geoscience and Remote Sensing, vol. 57, no. 6, pp. 3599-3618, June 2019 (doi: 10.1109/TGRS.2018.2886022).

[3] Y. Pei, Y. Huang, Q. Zou, X. Zhang, S. Wang, "Effects of image degradation and degradation removal to cnn-based image classification", IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 43, no. 4, pp. 1239-1253, April 2021 (doi: 10.1109/TPAMI.2019.2950923).

[4] M. Gour, S. Jain, T.S. Kumar, "Residual learning based CNN for breast cancer histopathological image classification", International Journal of Imaging Systems and Technology, vol. 30, no. 3, pp. 621-635, Sept. 2020 (doi:10.1002/ima.22403).

[5] Y.M. Costa, D. Bertolini, A.S. Britto, G.D. Cavalcanti, L.E. Oliveira, "The dissimilarity approach: A review", Artificial Intelligence Review, vol. 53, no. 4, pp. 2783-2808, April 2020 (doi: 10.1007/s10462-019-09746-z).

[6] E. Pękalska, R.P. Duin, "Dissimilarity representations allow for building good classifiers", Pattern Recognition Letters, vol. 23, no. 8, pp. 943-956, June 2002 (doi: 10.1016/S0167-8655(02)00024-7).

[7] E. Pekalska, P. Paclik, R. P. Duin, "A generalized kernel approach to dissimilarity-based classification", Journal of Machine Learning Eesearch, vol. 2, pp. 175-211, Dec. 2001 (doi: 10.1.1.16.3363).

[8] E. Pekalska, R.P. Duin, "Dissimilarity-based classification for vectorial representations", Proceding of the IEEE/ ICPR, pp. 137-140, Hong Kong, China, Aug. 2006 (doi: 10.1109/ICPR.2006.457).

[9] R.P. Duin, M. Loog, E. Pȩkalska, D.M. Tax, "Feature-based dissimilarity space classification", Proceding of ICPR, vol. 6388, pp. 46-55, Springer, Berlin, Heidelberg, Aug. 2010 (doi: 10.1007/978-3-642-17711-8_5).

[10] R.P. Duin, E. Pękalska, "The dissimilarity space: Bridging structural and statistical pattern recognition", Pattern Recognition Letters, vol. 33, no. 7, pp. 826-832, May 2012 (doi: 10.1016/j.patrec.2011.04.019).

[11] I. Theodorakopoulos, D. Kastaniotis, G. Economou, S. Fotopoulos, "Pose-based human action recognition via sparse representation in dissimilarity space", Journal of Visual Communication and Image Represent­at­i­o­n, vol. 25, no. 1, pp. 12-23, Jan. 2014 (doi: 10.1016/j.jvcir.2013.03.008).

[12] H. Bunke, K. Riesen, "Graph classification based on dissimilarity space embedding", Proceding of  IAPR-SPR-SSPR, vol 5342, pp. 996-1007, Springer, Berlin, Heidelberg, Dec. 2008 (doi: 10.1007/978-3-540-89689-0_103). 

[13] R.H. Pinheiro, G.D. Cavalcanti, R. Tsang, "Combining dissimilarity spaces for text categorizati­on",  Information Sciences, vol. 406-407, pp. 87-101, Sept. 2017 (doi: 10.1016/j.ins.2017.04.025).

[14] C. Santos, E.J. Justino, F. Bortolozzi, R. Sabourin, "An off-line signature verification method based on the questioned document expert's approach and a neural network classifier", Proceding of the IEEE/IWFHR, pp. 498-502, Kokubunji, Japan, Oct. 2004 (doi: 10.1109/IWFHR.2004.17).

[15] S.H. Cha, S.N. Srihari, "Writer identification: statistical analysis and dichotomizer", Proceding of  IAPR-SPR-SSPR, vol 1876, pp. 123-132, Springer, Berlin, Heidelberg, Dec. 2000 (doi:10.1007/3-540-44522-6_13).

[16] D. Bertolini, L. S. Oliveira, E. Justino, R. Sabourin, "Texture-based descriptors for writer identification and verification", Expert Systems with Applications, vol. 40, no. 6, pp. 2069-2080, May 2013 (doi: 10.1016/j.esw­a.20­12.10.016).

[17] L.S. Oliveira, E. Justino, R, Sabourin, "Off-line signature verification using writer-independent approach", Proceding of the IEEE/IJCNN, pp. 2539-2544, Orlando, FL, USA, Aug. 2007 (doi: 10.1109/IJCNN.200­7.437­13­58).

[18] J.G. Martins, L.S. Oliveira, A.S. Britto, R Sabourin, "Forest species recognition based on dynamic classifier selection and dissimilarity feature vector representation", Machine Vision and Applications, vol. 26, no. 2, pp. 279-293, Apr. 2015 (doi: 10.1007/s00138-015-0659-0).

[19] R.H. Zottesso, Y.M. Costa, D. Bertolini, L.E. Oliveira, "Bird species identification using spectrogram and dissimilarity approach", Ecological Informatics, vol. 48, pp. 187-197, Nov. 2018 (doi: 10.1016/j.ecoinf.­201­8.0­8.007).

[20] N. Kriegeskorte, M. Mur, P.A. Bandettini, "Representational similarity analysis-connecting the branches of systems neuroscience", Frontiers in Systems Neuroscience, vol. 2, no. 4, Nov. 2008 (doi: 10.3389/neuro­.06.­00­4.2008).

[21] H. Popal, Y. Wang, I.R. Olson, "A guide to representational similarity analysis for social neuroscience", Social Cognitive and Affective Neuroscience, vol. 14, no. 11, pp. 1243-1253, Nov. 2019 (doi: 10.31234/osf.i­o/n­d8fh). 

[22] T.K. Pegors, S. Tompson, M.B. O’Donnell, E. B. Falk, "Predicting behavior change from persuasive messages using neural representational similarity and social network analyses", NeuroImage, vol. 157, pp. 118-128, Aug. 2017 (doi: 10.1016/j.neuroimage.2017.05.063). 

[23] R.M. Visser, H.S. Scholte, T. Beemsterboer, M. Kindt, "Neural pattern similarity predicts long-term fear memory", Nature neuroscience, vol. 16, no. 4, pp. 388-390, April 2013 (doi: 10.1038/nn.3345).

[24] Z.H.D. Amnyieh, S.M.J.R. Fatemi, M. Rastgarpour, G.A. Ghazvini, "CNN-RDM: A new image processing model for improving the structure of deep learning based on representational dissimilarity matrix", Journal of Supercomputing, vol. 9, pp. 1-25, Sept. 2022 (doi: 10.1007/s11227-022-04661-7). 

[25] J.B. Ritchie, H.L. Masson, S. Bracci, H.P.O. Beeck, "The unreliable influence of multivariate noise normalization on the reliability of neural dissimilarity", NeuroImage, vol. 245, Article Number: 118686, Dec. 2021 (doi: 10.1016/j.neuroimage.2021.118686).

[26] I. Muukkonen, K. Ölander, J. Numminen, V. R Salmela, "Spatio-temporal dynamics of face percep­ti­o­n",  NeuroImage, vol. 209, Article Number: 116531,  April 2020 (doi: 10.1101/550038). 

[27] J. Diedrichsen, E. Berlot, M. Mur, H. H. Schütt, M. Shahbazi, N. Kriegeskorte, "Comparing representational geometries using whitened unbiased-distance-matrix similarity", Neural Data Science/Analysis, vol. 5, no. 3,  Aug. 2021 (doi: 10.51628/001c.27664).

[28] H. Wu, B. Xiao, N. Codella, M. L iu, X. Dai, L. Yuan, L. Zhang, "Cvt: Introducing convolutions to vision transformers", Proceding of  the IEEE/ICCV, pp. 22-3, Montreal, QC, Canada, Oct. 2021 (doi: 10.1109/ic­cv­48­922.2021.00009). 

[29] F. Fooladgar, S. Kasaei, "Lightweight residual densely connected convolutional neural network", Multimedia Tools and Applications, vol. 79, no. 35, pp. 25571-25588, Sept. 2020 (doi: 10.1007/s11042-020-09223-8).

[30] N. Gruzling, "Linear separability of the vertices of an n-dimensional hypercube", Ph.D. Thesisi, University of Northern British Columbia, 2007 (doi: 10.24124/2007/bpgub464).

[31] R. Elshawi, A. Wahab, A. Barnawi, S. Sakr, "DLBench: a comprehensive experimental evaluation of deep learning frameworks", Cluster Computing, vol. 24, no. 3, pp. 2017-2038. Sept. 2021 (doi: 10.1007/s10586-021-03240-4).