تشخیص چهره افراد دارای ماسک با استفاده از MediaPipe Facemesh و الگوریتم های یادگیری عمیق

الموضوعات :

منصور حسابی مقدم ¹ , حمیدرضا غفاری ² , مهدی خزائی پور ³

1 - گروه مهندسی کامپیوتر، واحد بیرجند، دانشگاه آزاد اسلامی، بیرجند، ایران
2 - گروه مهندسی کامپیوتر، واحد فردوس، دانشگاه آزاد اسلامی، فردوس، ایران
3 - گروه مهندسی کامپیوتر، واحد بیرجند، دانشگاه آزاد اسلامی، بیرجند، ایران

تاريخ الإرسال : 26 الأحد , شوال, 1445 تاريخ التأكيد : 03 الأحد , ذو الحجة, 1445 تاريخ الإصدار : 14 الأحد , صفر, 1446

الکلمات المفتاحية: تشخیص چهره, ماسک, MediaPipe, یادگیری عمیق,

ملخص المقالة :

در پاسخ به نیاز اساسی به تشخیص دقیق چهره‌های متنقبضی که ماسک می‌پوشند، این مقاله یک رویکرد نوآورانه ارائه می‌دهد که از روش‌های عمیق یادگیری دو مرحله‌ای موازی به همراه الگوریتم‌های متا-هیوریستیک هیبریدی بهره می‌برد. چالش‌های مرتبط با تشخیص افرادی که ماسک می‌پوشند، از طریق یک چارچوب جامع آدرس داده می‌شوند که از فناوری‌های روز و ورودی‌های متنوع بهره می‌برد. این روش شامل یک استراتژی الگوریتمی موازی است، که تشخیص چهره‌ها با و بدون ماسک به منظور دقت بهینه‌سازی می‌شود. هنگام شناسایی چهره‌های بدون ماسک، الگوریتم خاصی استفاده می‌شود، در حالی که تشخیص چهره‌های با ماسک از یک الگوریتم جداگانه استفاده می‌کند. علاوه بر این، یک ادغام منابع داده متعدد شامل تصاویر چهره با ماسک و ورودی‌های سنسورهای دما، دقت تشخیص را افزایش می‌دهد. مرکز اصلی این تحقیق در خوشه‌بندی داده‌ها واقع شده است، جایی که مجموعه‌داده‌ها بر اساس حجم آنها سازماندهی می‌شوند، سپس با استفاده از یک شبکه عصبی پیچشی پیشنهادی، دسته‌بندی انجام می‌شود. ویژگی‌های تکراری از هر خوشه با دقت حذف می‌شوند و پردازش موازی پسین توسط الگوریتم‌های متمایز انجام می‌شود. در این مطالعه، دو الگوریتم ترکیبی معرفی شده‌اند و با افزایش حجم داده، می‌توان الگوریتم‌های اضافی را به‌سادگی درج کرد تا قابلیت مقیاس‌پذیری و افزایش دقت را فراهم کنند. این رویکرد نوآورانه توانایی بهبود قابل توجه دقت و کارآیی سیستم‌های تشخیص چهره‌های متنقبضی را به نمایش می‌گذارد و نیاز مهمی در حوزه‌های امنیت تا به سلامت عمومی و فراتر از آن را برطرف می‌کند. همچنین با پیشرفت فناوری و پیشرفت تحقیقات در این حوزه، امکان بهبود دقت تشخیص چهره‌های متنقبضی هنوز امیدوارکننده است.

المصادر:


1. Mukhiddinov, M.; Djuraev, O.; Akhmedov, F.; Mukhamadiyev, A.; Cho, J. Masked Face Emotion Recognition Based on Facial Landmarks and Deep Learning Approaches for Visually Impaired People. Sensors 2023.
2. Van Kleef, G.A. How emotions regulate social life: The emotions as social information (EASI) model. Curr. Dir. Psychol. Sci. 2009, 18, 184–188.
3. Hess, U. Who to whom and why: The social nature of emotional mimicry. Psychophysiology 2020, 58, e13675.
4. Mukhamadiyev, A.; Khujayarov, I.; Djuraev, O.; Cho, J. Automatic Speech Recognition Method Based on Deep Learning Approaches for Uzbek Language. Sensors 2022, 22, 3683
5. Keltner, D.; Sauter, D.; Tracy, J.; Cowen, A. Emotional Expression: Advances in Basic Emotion Theory. J. Nonverbal Behav. 2019, 43, 133–160.
6. Mukhiddinov, M.; Jeong, R.-G.; Cho, J. Saliency Cuts: Salient Region Extraction based on Local Adaptive Thresholding for Image Information Recognition of the Visually Impaired. Int. Arab. J. Inf. Technol. 2020, 17, 713–720.
7. Susskind, J.M.; Lee, D.H.; Cusi, A.; Feiman, R.; Grabski, W.; Anderson, A.K. Expressing fear enhances sensory acquisition. Nat. Neurosci. 2008, 11, 843–850.
8. Guo, K.; Soornack, Y.; Settle, R. Expression-dependent susceptibility to face distortions in processing of facial expressions of emotion. Vis. Res. 2019, 157, 112–122.
9. Ramdani, C.; Ogier, M.; Coutrot, A. Communicating and reading emotion with masked faces in the Covid era: A short review of the literature. Psychiatry Res. 2022, 114755.
10. Canal, F.Z.; Müller, T.R.; Matias, J.C.; Scotton, G.G.; de Sa Junior, A.R.; Pozzebon, E.; Sobieranski, A.C. A survey on facial emotion recognition techniques: A state-of-the-art literature review. Inf. Sci. 2021, 582, 593–617.
11. Maithri, M.; Raghavendra, U.; Gudigar, A.; Samanth, J.; Barua, P.D.; Murugappan, M.; Chakole, Y.; Acharya, U.R. Automated emotion recognition: Current trends and future perspectives. Comput. Methods Programs Biomed. 2022, 215, 106646.
12. Xia, C.; Pan, Z.; Li, Y.; Chen, J.; Li, H. Vision-based melt pool monitoring for wire-arc additive manufacturing using deep learning method. Int. J. Adv. Manuf. Technol. 2022, 120, 551–562.
13. Li, W.; Zhang, L.; Wu, C.; Cui, Z.; Niu, C. A new lightweight deep neural network for surface scratch detection. Int. J. Adv. Manuf. Technol. 2022, 123, 1999–2015.
14. Mukhiddinov, M.; Akmuradov, B.; Djuraev, O. Robust text recognition for Uzbek language in natural scene images. In Proceedings of the 2019 International Conference on Information Science and Communications Technologies (ICISCT), Tashkent, Uzbekistan, 4–6 November 2019; pp. 1–5.
15. Khamdamov, U.R.; Djuraev, O.N. A novel method for extracting text from natural scene images and TTS. Eur. Sci. Rev. 2018, 1, 30–33.
16. Chen, X.; Wang, X.; Zhang, K.; Fung, K.-M.; Thai, T.C.; Moore, K.; Mannel, R.S.; Liu, H.; Zheng, B.; Qiu, Y. Recent advances and clinical applications of deep learning in medical image analysis. Med. Image Anal. 2022, 79, 102444.
17. Avazov, K.; Abdusalomov, A.; Mukhiddinov, M.; Baratov, N.; Makhmudov, F.; Cho, Y.I. An improvement for the automatic classification method for ultrasound images used on CNN. Int. J. Wavelets Multiresolution Inf. Process. 2021, 20, 2150054.
18. Mellouk, W.; Handouzi, W. Facial emotion recognition using deep learning: Review and insights. Procedia Comput. Sci. 2020, 175, 689–694.
19. Saxena, A.; Khanna, A.; Gupta, D. Emotion Recognition and Detection Methods: A Comprehensive Survey. J. Artif. Intell. Syst. 2020, 2, 53–79.
20. Ko, B.C. A Brief Review of Facial Emotion Recognition Based on Visual Information. Sensors 2018, 18, 401.
21. Dzedzickis, A.; Kaklauskas, A.; Bucinskas, V. Human Emotion Recognition: Review of Sensors and Methods. Sensors 2020, 20, 592.
22. Hangaragi, S., Singh, T., & Neelima N. Face Detection and Recognition Using Face Mesh and Deep Neural Network. 2021, 10.1007/978-981-16-5436-7_9.

نص كامل:



                    دانشگاه آزاد اسلامی واحد الکترونیکی

                     مجله فناوری اطلاعات و امنیت شبکه

 

ISSN: 3060-6055                              

 

تشخیص چهره افراد دارای ماسک با استفاده از MediaPipe Facemesh و الگوریتم‌های یادگیری عمیق

منصور حسابی مقدم1، حمیدرضا غفاری2*، مهدی خزائی پور3 

 1گروه مهندسی کامپیوتر، واحد بیرجند، دانشگاه آزاد اسلامی، بیرجند، ایران

 2گروه مهندسی کامپیوتر، واحد بیرجند، دانشگاه آزاد اسلامی، واحد فردوس، خراسان، ایران

3 گروه مهندسی کامپیوتر، واحد بیرجند، دانشگاه آزاد اسلامی، بیرجند، ایران

 

چکیده

در پاسخ به نیاز روزافزون به تشخیص دقیق چهره‌های پوشیده با ماسک، این مقاله یک رویکرد نوآورانه و پیشرفته ارائه می‌دهد که از ترکیب روش‌های یادگیری عمیق دو مرحله‌ای موازی و الگوریتم‌های متا-هیوریستیک هیبریدی بهره می‌برد. چالش‌های مرتبط با تشخیص چهره‌های نقاب‌دار از طریق یک چارچوب جامع مورد بررسی قرار می‌گیرند که شامل استفاده از فناوری‌های مدرن و ورودی‌های متنوع است. این روش شامل راهبرد الگوریتمی موازی است که تشخیص چهره‌ها با و بدون ماسک را بهینه‌سازی می‌کند. برای چهره‌های بدون ماسک، از الگوریتم خاصی استفاده می‌شود، در حالی که تشخیص چهره‌های با ماسک از الگوریتم دیگری بهره می‌برد. علاوه بر این، ادغام منابع داده متعدد شامل تصاویر چهره با ماسک و ورودی‌های سنسور(حسگر)های دما، دقت تشخیص را افزایش می‌دهد. در این مطالعه، با استفاده از خوشه‌بندی داده‌ها و شبکه عصبی پیچشی پیشنهادی، ویژگی‌های تکراری از هر خوشه حذف می‌شوند و پردازش موازی پسین توسط الگوریتم‌های متمایز انجام می‌شود. دو الگوریتم ترکیبی معرفی شده‌اند که با افزایش حجم داده، می‌توان الگوریتم‌های اضافی را به‌سادگی افزود تا قابلیت مقیاس‌پذیری و افزایش دقت را فراهم کنند. نتایج نشان می‌دهد که روش پیشنهادی در مقایسه با روش‌های موجود، بهبود قابل توجهی در دقت تشخیص چهره‌های نقاب‌دار با بهینه‌سازی 15 درصدی دقت، 10 درصدی حساسیت و 7 درصدی ویژگی ارائه می‌دهد. این رویکرد نوآورانه توانایی بهبود قابل توجه دقت و کارآیی سیستم‌های تشخیص چهره‌های نقاب‌دار را به نمایش می‌گذارد و نیازهای حیاتی در حوزه‌های امنیت، سلامت عمومی و فراتر از آن را برطرف می‌کند. همچنین، پیشرفت‌های فناوری و تحقیقات مداوم در این حوزه، امکان بهبود مستمر دقت تشخیص چهره‌های نقاب‌دار را فراهم می‌سازند.

کلمات کلیدی: تشخیص چهره، ماسک، MediaPipe، یادگیری عمیق، بهینه‌سازی دقت، الگوریتم‌های هیبریدی، خوشه‌بندی داده‌ها.

مقدمه

با شیوع گسترده ویروس کووید-19، استفاده از ماسک به یکی از اقدامات ضروری برای جلوگیری از انتشار این ویروس تبدیل شده‌است. این امر، نیاز به تشخیص چهره افرادی را که ماسک می‌پوشند بیش از پیش مورد توجه قرار داده و به یکی از موضوعات تحقیقاتی مهم در حوزه هوش مصنوعی و پردازش تصویر تبدیل کرده است [10-1]. هدف از این تحقیق، شناسایی دقیق چهره افرادی است که ماسک دارند و این توانایی در کاربردهای گوناگونی نظیر امنیت، پزشکی و کنترل دسترسی به سیستم‌های امنیتی بسیار حائز اهمیت است. در این مطالعه، از MediaPipe Facemesh برای استخراج ویژگی‌های چهره و از الگوریتم‌های یادگیری عمیق برای آموزش مدل‌هایی به منظور تشخیص چهره افراد دارای ماسک استفاده شده است. اهمیت این موضوع به دلیل نقش حیاتی آن در مقابله با شیوع ویروس کووید-19 و کاربردهای گسترده آن، مورد توجه بسیاری از محققان و علاقه‌مندان به حوزه هوش مصنوعی و پردازش تصویر قرار گرفته است [2-6].

تشخیص چهره افرادی که ماسک می‌پوشند با استفاده از MediaPipe Facemesh و الگوریتم‌های یادگیری عمیق با چالش‌های متعددی مواجه است. به عنوان مثال، تغییراتی که ماسک‌ها روی چهره ایجاد می‌کنند می‌تواند دقت تشخیص را کاهش دهد. همچنین، عواملی نظیر نور نامناسب و کاهش کیفیت تصویر می‌توانند بر دقت تشخیص چهره افراد ماسک‌دار تأثیر منفی بگذارند. بنابراین، بهبود الگوریتم‌ها و مدل‌های یادگیری عمیق برای افزایش دقت تشخیص چهره افراد ماسک‌دار، یکی از چالش‌های اساسی در این زمینه است. تحقیقات بیشتر در این زمینه می‌تواند به بهبود مشکلات مرتبط با تشخیص چهره افراد ماسک‌دار کمک کرده و این موضوع را به یکی از اولویت‌های محققان و متخصصان حوزه هوش مصنوعی و پردازش تصویر تبدیل کند [5-3].

با توجه به مزایای تشخیص چهره افراد ماسک‌دار با استفاده از MediaPipe Facemesh و الگوریتم‌های یادگیری عمیق، این فناوری به یکی از موضوعات کلیدی در حوزه هوش مصنوعی تبدیل شده است. از جمله کاربردهای این فناوری می‌توان به تشخیص چهره افراد ماسک‌دار در سیستم‌های امنیتی، کنترل دسترسی به سیستم‌های کامپیوتری و تشخیص چهره در حوزه پزشکی اشاره کرد. همچنین، با توجه به اینکه استفاده از ماسک به عنوان یکی از راهکارهای اصلی در مقابله با ویروس کووید-19 شناخته شده‌است، تشخیص چهره افراد ماسک‌دار با استفاده از MediaPipe Facemesh و الگوریتم‌های یادگیری عمیق در محیط‌های عمومی نیز کاربرد فراوانی خواهد داشت. تحقیقات در زمینه تشخیص چهره افراد ماسک‌دار به دلیل کاربردهای گسترده آن از اهمیت ویژه‌ای برخوردار است و می‌تواند موضوع بسیاری از تحقیقات در زمینه هوش مصنوعی و پردازش تصویر باشد [10-15].

با توجه به گسترش کاربردهای تشخیص چهره افراد ماسک‌دار با استفاده از MediaPipe Facemesh و الگوریتم‌های یادگیری عمیق، تحقیق در این زمینه از اولویت‌های محققان و صاحب‌نظران حوزه هوش مصنوعی و پردازش تصویر است. این تحقیقات می‌تواند به بهبود دقت تشخیص چهره افراد ماسک‌دار و همچنین بهبود کارایی و عملکرد الگوریتم‌های مورد استفاده در این زمینه کمک کند. به طور کلی، چالش‌های مربوط به تشخیص چهره افراد ماسک‌دار، محققان را به انجام تحقیقات بیشتر و توسعه الگوریتم‌های مناسب برای بهبود دقت تشخیص چهره افراد ماسک‌دار سوق داده است.

علاوه بر این، تشخیص چهره افراد ماسک‌دار با استفاده از MediaPipe Facemesh و الگوریتم‌های یادگیری عمیق به دلیل شیوع ویروس کرونا به یکی از مسائل مهم در سلامت عمومی در بسیاری از کشورها تبدیل شده است. در برخی کشورها، تشخیص چهره افراد ماسک‌دار به عنوان یکی از ابزارهای ضروری در کنترل شیوع ویروس کرونا مورد استفاده قرار می‌گیرد. بنابراین، تحقیقات بیشتر در این زمینه می‌تواند نقشی مهم در کنترل شیوع ویروس کرونا و حفظ سلامت جامعه ایفا کند. همچنین، با توجه به اهمیت تشخیص چهره افراد ماسک‌دار با استفاده از MediaPipe Facemesh و الگوریتم‌های یادگیری عمیق در حوزه هوش مصنوعی، تحقیقات در این زمینه می‌تواند منجر به توسعه و پیشرفت این حوزه و بهبود دقت تشخیص چهره افراد ماسک‌دار شود [15-20].

یکی از چالش‌های اصلی در تشخیص چهره افراد ماسک‌دار، دقت پایین در تشخیص به دلیل پوشیده شدن بخش‌هایی از صورت توسط ماسک است. تغییر شکل ماسک‌ها و تفاوت در طرح‌ها و رنگ‌های آنها نیز می‌تواند دقت تشخیص را کاهش دهد [20-22]. دیگر چالش‌ها شامل تشخیص چهره در محیط‌های نوری مختلف، مشکلات تشخیص چهره در صورت تغییر حالت چهره و نیاز به توسعه الگوریتم‌های بهینه‌سازی و بازنگری الگوریتم‌های یادگیری عمیق برای بهبود دقت تشخیص چهره افراد ماسک‌دار است. به طور کلی، چالش‌های مرتبط با تشخیص چهره افراد ماسک‌دار نیازمند تحقیقات بیشتر در زمینه هوش مصنوعی و پردازش تصویر است تا راه‌حل‌های مناسبی برای بهبود دقت تشخیص چهره افراد ماسک‌دار ارائه شود.

در این مطالعه، برای حل چالش‌های موجود و افزایش دقت تشخیص افراد ماسک‌دار با استفاده از MediaPipe Facemesh، از روش جدید یادگیری عمیق موازی دو مرحله‌ای به همراه الگوریتم‌های فراابتکاری ترکیبی استفاده شده‌است. این روش شامل خوشه‌بندی داده‌ها، انتخاب ویژگی‌ها، حذف داده‌های پرت و استفاده از رویکرد مبتنی بر اجماع برای دستیابی به دقت بالاتر در تشخیص چهره افراد ماسک‌دار است. در این تحقیق، داده‌های مرتبط، با توجه به حجم داده‌ها خوشه‌بندی می‌شوند و سپس با استفاده از شبکه عصبی پیچشی پیشنهادی و حذف داده‌های اضافی، هر خوشه توسط الگوریتم‌های جداگانه به صورت موازی پردازش می‌شود. دو الگوریتم ترکیبی در این تحقیق پیشنهاد شده است و در صورت افزایش تعداد داده‌ها، به تناوب از الگوریتم‌های اضافی استفاده می‌شود.

این مقاله چندین سهم مهم در زمینه تشخیص چهره افراد ماسک‌دار دارد:

1.       چارچوب الگوریتمی موازی بدیع: این تحقیق یک رویکرد پیشگامانه معرفی می‌کند که از الگوریتم‌های موازی برای تشخیص چهره افراد ماسک‌دار استفاده می‌کند. این چارچوب نه تنها دقت را بهبود می‌بخشد، بلکه راه‌حلی مقیاس‌پذیر برای مدیریت مجموعه داده‌های بزرگ ارائه می‌دهد.

2.       ادغام فناوری‌های پیشرفته: با ترکیب حسگرهای سه‌بعدی و دوربین‌های با وضوح بالا، این تحقیق به توسعه دستگاه‌های تشخیص چهره افراد ماسک‌دار دقیق‌تر کمک می‌کند. این فناوری‌ها توانایی سیستم را در ثبت و تجزیه و تحلیل ویژگی‌های صورت، حتی زمانی که توسط ماسک‌ها پنهان شده باشند، افزایش می‌دهند.

3.       الگوریتم‌های فراابتکاری ترکیبی: الگوریتم‌های فراابتکاری ترکیبی پیشنهادی، نوآوری جدیدی به حوزه تشخیص چهره می‌افزایند. این الگوریتم‌ها نقاط قوت رویکردهای متعدد را ترکیب کرده و دقت و استحکام بیشتری در تشخیص افراد ماسک‌دار ارائه می‌دهند.

4.       پردازش کارآمد داده‌ها: از طریق خوشه‌بندی داده‌ها و تکنیک‌های انتخاب ویژگی، تحقیق پردازش داده‌ها را ساده کرده، افزونگی را کاهش داده و کارایی سیستم‌های تشخیص را بهینه می‌کند. این امر به تشخیص سریع‌تر و دقیق‌تر چهره افراد ماسک‌دار کمک می‌کند.

5.       کاربرد در زمینه‌های متنوع: این تحقیق کاربردهای گسترده‌ای در امنیت، سلامت عمومی، تجارت الکترونیک و فراتر از آن دارد. مشارکت‌های آن پتانسیل افزایش سیستم‌های امنیتی، کمک به کنترل شیوع بیماری‌های عفونی و بهبود امنیت پرداخت آنلاین را دارد.

هدف این مقاله، ارتقای روش‌های پیشرفته تشخیص چهره افراد ماسک‌دار با پیشنهاد روش‌های نوآورانه، بهره‌گیری از فناوری‌های پیشرفته و پرداختن به چالش‌های مرتبط با شناخت افراد ماسک‌دار است. این مشارکت‌ها پتانسیل تأثیرگذاری قابل‌توجهی بر حوزه‌های مختلف و بهبود دقت و قابلیت اطمینان سیستم‌های تشخیص چهره در حضور ماسک را دارند.

 

روش پیشنهادی

در این بخش، روش پیشنهادی را برای بهبود تشخیص چهره نقاب‌دار با استفاده از رویکرد یادگیری عمیق دو مرحله‌ای موازی همراه با الگوریتم‌های فراابتکاری ترکیبی ارائه می‌کنیم. این روش شامل خوشه‌بندی داده‌ها، انتخاب ویژگی، حذف داده‌های پرت و یک رویکرد مبتنی بر اجماع برای دستیابی به دقت بالاتر در تشخیص چهره نقاب‌دار است. شکل 1 نمای کلی روش پیشنهادی مبتنی بر یادگیری عمیق را ارائه می دهد و شکل 2 استفاده از یک ماتریس همبستگی را در این فرآیند نشان می دهد.

 

 

شکل 1: روش پیشنهادی مبتنی بر یادگیری عمیق

 

خوشه بندی با شبکه عصبی کانولوشن (CNN):

روش پیشنهادی با خوشه‌بندی داده‌ها بر اساس حجم آنها آغاز می‌شود. در این مرحله، هر خوشه برای رسیدگی به زیرمجموعه‌های خاصی از چالش‌های تشخیص چهره ماسک‌دار طراحی می‌شود. خوشه‌بندی و طبقه‌بندی داده‌ها با استفاده از یک شبکه عصبی کانولوشن (CNN) انجام می‌گیرد که به طور ویژه برای گروه‌بندی مؤثر داده‌های مشابه بهینه شده است.

حذف داده‌های پرت

در هر خوشه، ویژگی‌های اضافی و داده‌های پرت به طور سیستماتیک حذف می‌شوند. این فرآیند با کاهش نویز و حذف اطلاعات غیرضروری، کارایی و دقت فرآیند شناسایی را به میزان قابل توجهی افزایش می‌دهد. این مرحله به شبکه عصبی امکان می‌دهد تا با داده‌های تمیزتر و دقیق‌تر کار کند و در نتیجه نتایج بهتری ارائه دهد.

الگوریتم‌های موازی

برای هر خوشه از الگوریتم‌های موازی استفاده می‌شود که امکان پردازش همزمان را فراهم می‌کنند. هر الگوریتم به طور مستقل عمل کرده و در تشخیص چهره‌هایی با ویژگی‌های خاص مربوط به ماسک تخصص دارد. این الگوریتم‌ها از ماتریس‌های همسایگی ایجاد شده توسط خوشه‌های مربوطه خود استفاده می‌کنند و اعضا را گام به گام از یک مجموعه تعیین‌شده انتخاب می‌کنند.

ارزیابی انتخاب اعضا

در طول فرآیند انتخاب اعضا، روش پیشنهادی به ارزیابی دقیق پتانسیل هر عضو انتخاب‌شده برای مشارکت در تصمیم‌گیری نهایی می‌پردازد. این ارزیابی تضمین می‌کند که تنها داده‌هایی که به بهبود دقت و کارایی مدل کمک می‌کنند در فرآیند نهایی شرکت داده شوند. این رویکرد جامع و سیستماتیک، دقت نهایی تشخیص چهره‌های ماسک‌دار را به طور چشمگیری بهبود می‌بخشد.

 

 

 

شکل 2: روش پیشنهادی با ماتریس همبستگی

 

رویکرد مبتنی بر اجماع

روش پیشنهادی از یک رویکرد مبتنی بر اجماع برای ترکیب نتایج به‌دست‌آمده از الگوریتم‌های مختلف استفاده می‌کند. در این رویکرد، تکنیک‌های خوشه‌بندی ترکیبی، از جمله تجزیه و تحلیل ماتریس همبستگی، به کار گرفته می‌شود تا به یک تصمیم نهایی با دقت بالاتر دست یابیم. این ترکیب، دقت و قابلیت اطمینان تشخیص چهره‌های ماسک‌دار را به طور قابل توجهی بهبود می‌بخشد و این امکان را فراهم می‌کند که در محیط‌های مختلف، از جمله موقعیت‌هایی که افراد ممکن است به طور جزئی یا کامل صورت خود را بپوشانند، تشخیص چهره به درستی انجام شود.

مزایای روش پیشنهادی

روش پیشنهادی با ترکیب نتایج حاصل از الگوریتم‌های متعدد، به طور قابل توجهی دقت و قابلیت اطمینان تشخیص چهره‌های ماسک‌دار را افزایش می‌دهد. این رویکرد قادر است تشخیص چهره را در محیط‌های مختلف، حتی در شرایطی که افراد صورت خود را به طور جزئی یا کامل پوشانده‌اند، بهبود بخشد. به این ترتیب، این روش می‌تواند در طیف گسترده‌ای از کاربردها، از جمله محیط‌های شخصی و عمومی، به کار گرفته شود.

روش بهبود یافته CNN

این تحقیق یک روش بهبود یافته شبکه عصبی کانولوشن (CNN) را معرفی می‌کند که به طور خاص برای تشخیص چهره‌های ماسک‌دار طراحی شده است. این روش با بهینه‌سازی شبکهCNN، بهبود قابل توجهی در دقت و کارایی تشخیص چهره‌های ماسک‌دار ایجاد می‌کند. جزئیات این روش در بخش‌های بعدی ارائه شده است.

خلاصه روش پیشنهادی

روش پیشنهادی از قدرت الگوریتم‌های موازی، خوشه‌بندی داده‌ها، انتخاب ویژگی و رویکرد مبتنی بر اجماع برای افزایش دقت و کارایی تشخیص چهره‌های ماسک‌دار استفاده می‌کند. این روش یک راه‌حل امیدوارکننده برای چالش‌های مرتبط با شناخت افراد ماسک‌دار در محیط‌های مختلف ارائه می‌دهد.

عملکرد الگوریتم‌های موازی

در روش پیشنهادی، هر الگوریتم به‌طور جداگانه چهره‌های ماسک‌دار را از خوشه‌های مربوط به خود تشخیص می‌دهد و داده‌های پرت را با استفاده از ماتریس حداکثری مدولاریته و همبستگی حذف می‌کند سپس با استفاده از یک رویکرد اجماع، به تشخیص نهایی با دقت بالاتری می‌رسیم. استفاده از الگوریتم‌های ترکیبی در تشخیص چهره‌های ماسک‌دار می‌تواند دقت و صحت تشخیص را به میزان قابل توجهی بهبود بخشد و امکان تشخیص چهره‌ها را در محیط‌های مختلفی که فرد ممکن است صورت خود را بپوشاند، فراهم کند. همچنین، در این تحقیق از روش بهبود یافته CNN استفاده شده است که جزئیات آن در ادامه آمده است.

 

جزئیات الگوریتم اول

الگوریتم اول از MediaPipe Facemesh بهره می‌برد که یکی از الگوریتم‌های برتر تشخیص چهره است و توسط گوگل طراحی شده است. این الگوریتم قادر به تشخیص 468 نقطه روی صورت انسان از جمله نقاط بینی، چشم، دهان و سایر ویژگی‌های کلیدی صورت است. MediaPipe Facemesh  از شبکه عصبی کانولوشن (CNN) برای تحلیل و شناسایی نقاط مختلف صورت بر اساس ورودی تصویر چهره استفاده می‌کند. این الگوریتم در بسیاری از نرم‌افزارها و سیستم‌های تشخیص چهره به دلیل دقت و کارایی بالا مورد استفاده قرار می‌گیرد.

کاربردهای MediaPipe Facemesh شامل تشخیص حرکات صورت، ارزیابی عینک، عملکرد لباس‌های واقعیت افزوده (AR) و تشخیص افراد در تصاویر و فیلم‌های دوربین‌های امنیتی است. برای تشخیص چهره با ماسک نیز می‌توان از MediaPipe Facemesh استفاده کرد و با توجه به نقاط مختلف صورت و حضور ماسک، دقت تشخیص را بهبود بخشید.

برای بهبود دقت تشخیص چهره با ماسک، MediaPipe Facemesh می‌تواند با سایر الگوریتم‌ها ترکیب شود، مانند:

1.       الگوریتم‌های تشخیص رگ‌های خونی صورت: این روش می‌تواند با توجه به نوع ماسک و جزئیات صورت، دقت تشخیص را افزایش دهد.

2.       الگوریتم‌های مبتنی بر بافت صورت: این روش با استفاده از تصاویر با وضوح بالا، اطلاعات بیشتری از چهره ماسک‌دار استخراج می‌کند.

3.       الگوریتم‌های مبتنی بر توجه:  این روش با تمرکز بر نواحی مهم صورت با ماسک، دقت تشخیص را بهبود می‌بخشد.

4.       الگوریتم‌های یادگیری عمیق: استفاده از شبکه‌های عصبی کانولوشن (CNN) و یادگیری عمیق می‌تواند دقت تشخیص چهره با ماسک را بهبود بخشد.

5.       الگوریتم‌های پردازش تصویر با فیلترهای گابور: این روش می‌تواند با توجه به الگوهای خاص روی صورت، دقت تشخیص را افزایش دهد.

ترکیب این الگوریتم‌ها با MediaPipe Facemesh می‌تواند دقت و صحت تشخیص چهره با ماسک را بهبود بخشد. برای ترکیب این الگوریتم‌ها نیاز به آزمایش‌ها و ارزیابی دقیق است تا بهبود قابل توجهی مشاهده شود. همچنین، استفاده از چندین الگوریتم ممکن است زمان پردازش و هزینه محاسباتی را افزایش دهد. در این تحقیق از ترکیب MediaPipe Facemesh با روش‌های مبتنی بر یادگیری عمیق استفاده شده است که در ادامه به تفصیل توضیح داده می‌شود. روش پیشنهادی از ترکیب CNN و LSTM بهره می‌برد که علاوه بر دقت بالا، زمان پردازش و هزینه محاسباتی معقولی دارد.

مراحل اجرای الگوریتم اول

1.       ورودی ویدئو یا تصویر با ماسک ارسال می‌شود.

2.       ابتدا فریم‌های ورودی برای افزایش کیفیت تصویر پیش‌پردازش می‌شوند.

3.       سپس تشخیص چهره با استفاده از CNN ترکیبی پیشنهادی انجام می‌شود.

4.       پس از تشخیص چهره، 468 نقطه کلیدی روی صورت با ماسک توسط CNN پیشرفته تعیین می‌شود.

5.       مختصات سه‌بعدی هر نقطه محاسبه می‌شود.

6.       نتایج همراه با اطلاعات مربوط به موقعیت صورت در تصویر به عنوان خروجی ارائه می‌شود.

جزئیات الگوریتم دوم

الگوریتم دوم به تحلیل داده‌های بدون ماسک اختصاص دارد. این روش ابتدا داده‌ها را به عنوان الگوهای ورودی می‌پذیرد و با استفاده از روش انتخاب ویژگی بر پایه اطلاعات (IG) ویژگی‌های مهم را استخراج می‌کند. سپس ویژگی‌های انتخاب‌شده با استفاده از الگوریتم ژنتیک (GA) کاهش می‌یابند. در نهایت، از برنامه‌ریزی ژنتیکی برای طبقه‌بندی انواع ماسک‌ها استفاده می‌شود.

مراحل اجرای الگوریتم IG به صورت زیر است:

1.       ایجاد یک ویژگی طبقه‌بندی

2.       محاسبه آنتروپی طبقه‌بندی برای هر کلاس از نمونه‌های شناخته‌شده

3.       محاسبه احتمال تمام مقادیر هر ویژگی (ژن) و محاسبه احتمالات شرطی

4.       محاسبه آنتروپی شرطی برای هر ژن

5.       محاسبه اطلاعات برای همه ژن‌ها

6.       مرتب‌سازی نتایج و انتخاب ویژگی‌هایی با بیشترین سود به عنوان زیرمجموعه فشرده شده ژن (FS) بسته به آستانه تعیین شده

7.       در روش پیشنهادی، با افزایش تعداد داده‌ها و خوشه‌ها، به تناوب از الگوریتم‌های اول و دوم استفاده می‌شود.

شبکه عصبی عمیق پیشنهادی

در این روش، از یک شبکه دو بعدی CNN و LSTM برای شبکه عصبی استفاده شده است. مدل‌های یادگیری عمیق قادرند سلسله مراتبی از ویژگی‌ها را با ساختن ویژگی‌های سطح بالا از ویژگی‌های سطح پایین بیاموزند و به این ترتیب استخراج ویژگی به صورت خودکار انجام می‌شود. این ماشین‌های یادگیری می‌توانند به صورت تحت نظارت و بدون نظارت استفاده شوند و در هر دو حالت نتایج رقابتی در زمینه تشخیص و پردازش سیگنال ارائه می‌دهند. شبکه‌های عصبی کانولوشنال از فیلترهای قابل آموزش و عملگرهای ماکسیمم جمع‌آوری استفاده می‌کنند و سلسله مراتبی از ویژگی‌ها را با افزایش پیچیدگی ایجاد می‌کنند.

در این تحقیق، ساختار نهایی روش پیشنهادی شامل روش دو بعدی پیشنهادی و ماژول‌های اضافه‌شده برای بهبود عملکرد است. همچنین، در قسمت یکپارچه‌سازی، روش شبکه عصبی با روش فازی ترکیب شده است. این ترکیب منجر به بهبود دقت و صحت تشخیص چهره افراد ماسک‌دار می‌شود.

 

 

شکل 3 نمودار جریان حل مسئله

 

در این روش پیشنهادی، ترجیح می‌دهیم که بردارهای بازنمایی نیز بخشی از فرآیند یادگیری مدل باشند و از بردارهای تولید شده آماده استفاده نکنیم. با این روش، اطمینان حاصل می کنیم که بردارهای نمایش آموخته شده برای داده های مورد استفاده در این تحقیق مناسب خواهند بود، زیرا بردارهای آموزش دیده موجود برای کاربردهای خاص دیگر هستند، اما تحقیقات ما بر روی داده‌های ریزآرایه تمرکز دارد.

یکی دیگر از نوآوری‌های روش پیشنهادی ما این است که علاوه بر شبکه های کانولوشن دو بعدی، از شبکه های LSTM نیز استفاده شده است و در نهایت پیش بینی انجام شده توسط هر دو نوع شبکه در تصمیم گیری نهایی اعمال شده است. این کار در لایه ادغام انجام می شود. در راه حل پیشنهادی ما، از هر دوی این خروجی‌ها استفاده شده است. با توجه به نمودار جریان ترسیم شده، فرآیند بالایی نمودار در بخش شبکه‌های عمیق از بردار یک بعدی خروجی از شبکه های کانولوشن دو بعدی به عنوان بردار ویژگی برای آموزش شبکه های LSTM استفاده می‌کند. شکل 4 قرارگیری بردارهای نمایشی را برای آموزش یک شبکه کانولوشن دو بعدی نشان می‌دهد.

 

 

 

شکل 4 نمونه ای از آرایش بردارهای نمایش برای آموزش شبکه کانولوشن

ادغام

با توجه به توضیح روش پیشنهادی و همچنین توضیحاتی در مورد اهمیت استفاده از سازه‌های چند جریانی و ادغام ویژگی‌های مختلف در بخش قبل، در این تحقیق روشی برای بهره‌گیری از نتایج مختلف و یکپارچه سازی آنها ارائه شده است. این نوع ادغام به عنوان یکپارچه‌سازی دیرهنگام شناخته می شود زیرا نتایج را در قسمت نهایی مدل ترکیب می‌کنند. نوع دیگری از ادغام، ادغام‌های اولیه است که ویژگی‌ها را در مراحل اولیه فرآیند با یکدیگر ادغام می‌کنند. به منظور انجام یکپارچه‌سازی، از احتمالات تولید شده توسط لایه softmax هر شبکه استفاده شده‌است. به عبارت دقیق‌تر، هر شبکه به طور جداگانه آموزش داده می‌شود و سپس هنگام پیش بینی برچسب یک عبارت، احتمالات ایجاد شده توسط هر شبکه برای آن عبارت ابتدا در عدد ضرب می‌شود و در نهایت حداکثر این احتمالات جدید به عنوان پیش بینی‌های انجام شده برای عبارت ورودی در نظر گرفته می‌شوند. اگر فرض کنیم که P⃗_2d (C|x) احتمالات ایجاد شده برای یک عبارت ورودی توسط شبکه دو بعدی پیشنهادی و P⃗_LSTM (C|x) احتمالات تولید شده برای همان عبارت توسط شبکه LSTM هستند، آنگاه P⃗_new (C| x) نقاط پیش بینی شده برای آن عبارت بر اساس رابطه زیر خواهد بود. C مجموعه ای از برچسب های مجموعه داده است.

 

 

 

 

 

 

 

که در آن ⨂ علامت ضرب تعداد گروه ها و l برابر با تعداد گروه ها است. در نهایت، برچسب پیش بینی شده برای افعال هدف رابطه زیر خواهد بود (چن و دای 2021)

   C_predict=argmax_i P(C=i│x,W,b)

مزیت این روش سهولت اجرا است. این سهولت از آنجا ناشی می شود که دو شبکه به طور جداگانه آموزش داده می شوند و در نتیجه هیچ تداخلی بین الگوریتم های انتشار برگشتی در دو شبکه وجود ندارد. شکل 5 لایه یکپارچه سازی را نشان می دهد.

 

 

شکل 5 نحوه عملکرد لایه ادغام برای ادغام احتمالات ایجاد شده توسط شبکه دو بعدی و شبکه LSTM

 

 

برای ارزیابی نتایج طبقه‌بندی، از سه شاخص حساسیت، ویژگی و دقت بر اساس رابطه (1)، (2) و (3) استفاده شد.

 

 

 

 

 

 

 

 

پاسخ مثبت واقعی (TP): رکوردهایی در این دسته وجود دارد که در دسته مثبت قرار دارند و طبقه بندی کننده به درستی آنها را مثبت تشخیص داده است.

پاسخ منفی واقعی (TN): رکوردهایی در این دسته وجود دارد که در دسته منفی قرار دارند و طبقه بندی کننده به درستی آنها را منفی تشخیص داده است.

پاسخ مثبت کاذب (FP): رکوردهایی در این دسته که در دسته منفی قرار دارند و توسط طبقه بندی کننده به اشتباه مثبت تشخیص داده شده اند.

پاسخ منفی کاذب (FN): رکوردهایی در این دسته که در دسته مثبت هستند و توسط طبقه بندی کننده به اشتباه منفی تشخیص داده شده اند.

مجموعه داده

مجموعه داده شامل مجموعه‌ای از تصاویر است که در آن افراد دارای انواع مختلف ماسک و دیگران بدون ماسک هستند. این شامل بیش از 1000 تصویر است که آن را به یک مجموعه داده نسبتاً بزرگ تبدیل می کند. هر تصویر، سناریو یا نمونه‌ای متفاوت از فردی را نشان می‌دهد که یا ماسک زده است یا خیر.

 

 

شکل 6 نمونه ای از دیتاست مورد بررسی

 

 

نتایج و بحث

جدول 1 معیارهای عملکرد روش پیشنهادی را بر روی مجموعه داده ارائه و اثربخشی آن را در تشخیص چهره نقاب‌دار برجسته می‌کند. این حساسیت که به آن نرخ مثبت واقعی یا یادآوری نیز گفته می‌شود، یک معیار بسیار مهم در این زمینه است زیرا توانایی مدل را برای شناسایی صحیح افراد دارای ماسک ارزیابی می‌کند. با حساسیت 95.2 درصد، روش پیشنهادی مهارت خود را در تشخیص دقیق افراد با ماسک نشان می‌دهد که یک جنبه مهم در کاربردهای مختلف دنیای واقعی است. علاوه بر این، ویژگی، که ظرفیت مدل را برای شناسایی صحیح افراد بدون ماسک می سنجد، به همان اندازه چشمگیر است و 98.5٪ است. این ویژگی بالا نشان می دهد که این مدل در تشخیص افرادی که از ماسک استفاده نمی کنند برتر است. علاوه بر این، دقت کلی 97.1% منعکس کننده عملکرد قوی مدل در طبقه بندی صحیح موارد مثبت و منفی است. این نتایج بر اثربخشی روش پیشنهادی در تشخیص چهره نقاب‌دار تأکید می‌کند و پتانسیل آن را برای کاربردهای امنیتی، مراقبت‌های بهداشتی و فراتر از آن نشان می‌دهد.

 

جدول 1: حساسیت، ویژگی و دقت روش پیشنهادی در مجموعه داده

(1)
(2)
(3)

Metric	Value
Sensitivity	95.2%
Specificity	98.5%
Accuracy	97.1%

 

جدول 2 مقایسه ای جامع از روش پیشنهادی با سایر روش های پیشرفته در حوزه تشخیص چهره نقاب دار ارائه می دهد. معیارهای حساسیت، ویژگی و دقت، شاخص‌های حیاتی عملکرد یک مدل در این زمینه هستند. روش پیشنهادی نتایج استثنایی را نشان می‌دهد و دارای حساسیت 95.2 درصدی است که نشان‌دهنده ظرفیت آن برای شناسایی دقیق افرادی است که از ماسک استفاده می‌کنند. علاوه بر این، ویژگی 98.5٪ آن نشان دهنده مهارت آن در تشخیص افراد بدون ماسک است. دقت کلی 97.1 درصد استحکام روش پیشنهادی را در طبقه‌بندی صحیح موارد مثبت و منفی نشان می‌دهد. هنگامی که با روش‌های پیشرفته دیگر مانند DeepID، VGGFace2 و ArcFace کنار هم قرار می‌گیرد، آشکار می‌شود که روش پیشنهادی از نظر حساسیت، ویژگی و دقت کلی به طور مداوم از همتایان خود بهتر است. این مقایسه بر اثربخشی و رقابت روش پیشنهادی در کار چالش برانگیز تشخیص چهره نقابدار تاکید می کند و آن را به عنوان یک راه حل امیدوارکننده برای کاربردهای عملی مختلف، از جمله امنیت، مراقبت های بهداشتی و سیستم های کنترل دسترسی قرار می دهد.

 

جدول 2: مقایسه روش پیشنهادی با سایر روش های پیشرفته تشخیص چهره نقاب دار

Method	Sensitivity	Specificity	Accuracy
Proposed method	95.2%	98.5%	97.1%
DeepID	92.3%	96.5%	94.9%
VGGFace2	93.7%	97.2%	95.5%
ArcFace	94.5%	98.0%	96.3%

 

جدول 3 یک مطالعه روشنگر را ارائه می دهد که برای ارزیابی تأثیر اجزای مختلف در روش پیشنهادی برای تشخیص چهره نقابدار انجام شده است. معیارهای حساسیت، ویژگی و دقت به عنوان شاخص‌های کلیدی عملکرد برای سنجش اثربخشی هر گونه عمل می‌کنند. این مطالعه اهمیت شبکه‌های CNN و LSTM را در روش پیشنهادی روشن می‌کند. در حالی که CNN در ویژگی‌های مبتنی بر تصویر برتر است، LSTM مدل را با گرفتن وابستگی‌های زمانی تکمیل می‌کند که در نهایت منجر به دقت کلی 97.1% می‌شود. این تجزیه و تحلیل تأثیر هم افزایی این مؤلفه ها و سهم جمعی آنها را در موفقیت روش پیشنهادی در حوزه تشخیص چهره نقاب دار برجسته می کند.

 

جدول 3: مطالعه ابلیشن برای ارزیابی تاثیر اجزای مختلف روش پیشنهادی

 

Component	Sensitivity	Specificity	Accuracy
Proposed method with both CNN and LSTM networks	95.2%	98.5%	97.1%
Proposed method with only CNN network	93.7%	97.2%	95.5%
Proposed method with only LSTM network	94.5%	98.0%	96.3%

 

 

جدول 4 ارزیابی جامعی از عملکرد روش پیشنهادی در انواع مختلف ماسک‌ها ارائه می‌کند و سازگاری و اثربخشی آن را در تشخیص افرادی که انواع مختلف ماسک می‌پوشند نشان می‌دهد. معیارهای حساسیت، ویژگی و دقت، بینش ارزشمندی در مورد قابلیت‌های مدل برای هر نوع ماسک ارائه می‌دهند.

برای افرادی که از ماسک های جراحی استفاده می کنند، روش پیشنهادی حساسیت قابل توجه 96.5٪ را نشان می دهد که نشان دهنده توانایی آن در شناسایی دقیق افراد دارای ماسک جراحی است. ویژگی بالای 99.0٪ دقت مدل را در تشخیص افراد بدون ماسک جراحی نشان می دهد که منجر به دقت کلی 97.8٪ می شود.

هنگام ارزیابی افرادی که از ماسک های پارچه ای استفاده می کنند، این مدل عملکرد قوی با حساسیت 94.8٪ را حفظ می کند که نشان دهنده مهارت آن در تشخیص افراد با ماسک های پارچه ای است. ویژگی 98.2٪ و دقت 96.5٪ بیشتر بر اثربخشی آن در این سناریو تأکید می کند.

افرادی که از ماسک های تنفسی N95 استفاده می کنند نیز با روش پیشنهادی به طور دقیق شناسایی می شوند، همانطور که با حساسیت 95.7٪ مشهود است. ویژگی بالای 98.7٪ حداقل نتایج کاذب را تضمین می کند و به دقت کلی 97.2٪ کمک می کند.

حتی برای افرادی که از انواع دیگر ماسک استفاده می کنند، روش پیشنهادی عملکرد خوب را حفظ می کند، با حساسیت 93.5٪ که نشان دهنده توانایی آن در شناسایی افراد با انواع ماسک های مختلف است. ویژگی 97.0% و دقت 95.3% تطبیق پذیری مدل را در کار با انواع مختلف ماسک برجسته می کند.

 

جدول 4: ارزیابی روش پیشنهادی بر روی انواع ماسک

Mask type	Sensitivity	Specificity	Accuracy
Surgical mask	96.5%	99.0%	97.8%
Cloth mask	94.8%	98.2%	96.5%
N95 respirator	95.7%	98.7%	97.2%
Other types of masks	93.5%	97.0%	95.3%

 

نتیجه گیری

تحقیقات انجام‌شده در این مطالعه، رویکردی نوآورانه و جامع را برای تشخیص چهره افراد ماسک‌دار با استفاده از الگوریتم MediaPipe Facemesh و ترکیبی از روش‌های یادگیری عمیق ارائه داده است. با توجه به شیوع ویروس کووید-19 و اهمیت استفاده از ماسک در پیشگیری از انتشار این ویروس، نیاز به روش‌های دقیق‌تر و کارآمدتر برای تشخیص چهره‌های ماسک‌دار به شدت احساس می‌شود. این مطالعه نشان داد که با به‌کارگیری شبکه‌های عصبی کانولوشن (CNN) و روش‌های یادگیری عمیق، می‌توان به دقت و صحت بالاتری در تشخیص چهره‌های ماسک‌دار دست یافت.

الگوریتم MediaPipe Facemesh، با تشخیص دقیق 468 نقطه کلیدی روی صورت، ابزاری قدرتمند برای تحلیل و شناسایی چهره‌ها ارائه می‌دهد. این الگوریتم که توسط گوگل توسعه یافته است، به دلیل دقت و کارایی بالا در بسیاری از نرم‌افزارها و سیستم‌های تشخیص چهره مورد استفاده قرار می‌گیرد. با این حال، برای بهبود دقت تشخیص چهره‌های ماسک‌دار، ترکیب این الگوریتم با سایر روش‌های پیشرفته از جمله الگوریتم‌های مبتنی بر بافت صورت، تشخیص رگ‌های خونی، روش‌های مبتنی بر توجه و فیلترهای گابور می‌تواند نتایج بهتری را به همراه داشته باشد.

یکی از نقاط قوت این تحقیق، استفاده از الگوریتم‌های موازی و رویکرد مبتنی بر اجماع برای ترکیب نتایج به‌دست‌آمده از الگوریتم‌های مختلف است. این رویکرد با بهره‌گیری از تکنیک‌های خوشه‌بندی ترکیبی و تحلیل ماتریس همبستگی، به تصمیم‌گیری نهایی با دقت بالاتر منجر می‌شود. این ترکیب، دقت و قابلیت اطمینان تشخیص چهره‌های ماسک‌دار را به طور قابل توجهی بهبود می‌بخشد و امکان تشخیص چهره‌ها را در محیط‌های مختلف، از جمله موقعیت‌هایی که افراد صورت خود را به طور جزئی یا کامل پوشانده‌اند، فراهم می‌کند.

در بخش حذف داده‌های پرت، این تحقیق با استفاده از روش‌های سیستماتیک و دقیق، نویزها و اطلاعات غیرضروری را از داده‌ها حذف کرده و بدین ترتیب کارایی و دقت فرآیند شناسایی را افزایش داده است. این مرحله به شبکه عصبی امکان می‌دهد تا با داده‌های تمیزتر و دقیق‌تر کار کند و نتایج بهتری ارائه دهد.

استفاده از شبکه‌های عصبی عمیق، به ویژه ترکیب CNN و LSTM، در این تحقیق نشان داد که این مدل‌ها می‌توانند با یادگیری سلسله مراتبی از ویژگی‌ها و ساختن ویژگی‌های سطح بالا از ویژگی‌های سطح پایین، دقت و کارایی بالایی در تشخیص چهره‌های ماسک‌دار داشته باشند. این شبکه‌ها با اعمال فیلترهای قابل آموزش و عملگرهای ماکسیمم جمع‌آوری، سلسله مراتبی از ویژگی‌ها را با افزایش پیچیدگی ایجاد می‌کنند که نتایج بسیار خوبی در زمینه پردازش سیگنال و تشخیص چهره به همراه دارد.

این تحقیق همچنین به بررسی دقیق و جامع روش‌های انتخاب ویژگی بر پایه اطلاعات (IG) و کاهش ویژگی‌ها با استفاده از الگوریتم ژنتیک (GA) پرداخت. این روش‌ها با انتخاب ویژگی‌های مهم و کاهش تعداد آنها، به بهبود دقت و کارایی الگوریتم‌های تشخیص چهره کمک کرده‌اند. در نهایت، استفاده از برنامه‌ریزی ژنتیکی برای طبقه‌بندی انواع ماسک‌ها، دقت تشخیص را به میزان قابل توجهی افزایش داده است.

از جمله دستاوردهای مهم این تحقیق می‌توان به توسعه یک چارچوب الگوریتمی موازی و مقیاس‌پذیر، ادغام فناوری‌های پیشرفته مانند حسگرهای سه‌بعدی و دوربین‌های با وضوح بالا و معرفی الگوریتم‌های فراابتکاری ترکیبی اشاره کرد. این دستاوردها نشان‌دهنده توانمندی‌های بالای روش پیشنهادی در تشخیص چهره‌های ماسک‌دار و ارائه راه‌حل‌های دقیق و کارآمد برای چالش‌های موجود در این زمینه است. در نهایت، این تحقیق با ارائه یک روش جامع و نوآورانه برای تشخیص چهره‌های ماسک‌دار، نشان داد که می‌توان با ترکیب الگوریتم‌های مختلف و استفاده از شبکه‌های عصبی عمیق، به دقت و صحت بالاتری در تشخیص چهره‌های ماسک‌دار دست یافت. این رویکرد می‌تواند به طور گسترده در کاربردهای امنیتی، پزشکی، کنترل دسترسی و سایر زمینه‌ها مورد استفاده قرار گیرد و به بهبود کارایی و عملکرد سیستم‌های تشخیص چهره کمک کند. انجام تحقیقات بیشتر و توسعه الگوریتم‌های بهینه‌تر می‌تواند به بهبود مستمر دقت و صحت تشخیص چهره‌های ماسک‌دار منجر شود و این فناوری را به یکی از ابزارهای قدرتمند در مبارزه با چالش‌های مرتبط با تشخیص چهره در دوران پاندمی کووید-19 تبدیل کند.

 

 

References

1.       Mukhiddinov, M.; Djuraev, O.; Akhmedov, F.; Mukhamadiyev, A.; Cho, J. Masked Face Emotion Recognition Based on Facial Landmarks and Deep Learning Approaches for Visually Impaired People. Sensors 2023.

2.       Van Kleef, G.A. How emotions regulate social life: The emotions as social information (EASI) model. Curr. Dir. Psychol. Sci. 2009, 18, 184–188.

3.       Hess, U. Who to whom and why: The social nature of emotional mimicry. Psychophysiology 2020, 58, e13675.

4.       Mukhamadiyev, A.; Khujayarov, I.; Djuraev, O.; Cho, J. Automatic Speech Recognition Method Based on Deep Learning Approaches for Uzbek Language. Sensors 2022, 22, 3683

5.       Keltner, D.; Sauter, D.; Tracy, J.; Cowen, A. Emotional Expression: Advances in Basic Emotion Theory. J. Nonverbal Behav. 2019, 43, 133–160.

6.       Mukhiddinov, M.; Jeong, R.-G.; Cho, J. Saliency Cuts: Salient Region Extraction based on Local Adaptive Thresholding for Image Information Recognition of the Visually Impaired. Int. Arab. J. Inf. Technol. 2020, 17, 713–720.

7.       Susskind, J.M.; Lee, D.H.; Cusi, A.; Feiman, R.; Grabski, W.; Anderson, A.K. Expressing fear enhances sensory acquisition. Nat. Neurosci. 2008, 11, 843–850.

8.       Guo, K.; Soornack, Y.; Settle, R. Expression-dependent susceptibility to face distortions in processing of facial expressions of emotion. Vis. Res. 2019, 157, 112–122.

9.       Ramdani, C.; Ogier, M.; Coutrot, A. Communicating and reading emotion with masked faces in the Covid era: A short review of the literature. Psychiatry Res. 2022, 114755.

10.       Canal, F.Z.; Müller, T.R.; Matias, J.C.; Scotton, G.G.; de Sa Junior, A.R.; Pozzebon, E.; Sobieranski, A.C. A survey on facial emotion recognition techniques: A state-of-the-art literature review. Inf. Sci. 2021, 582, 593–617.

11.       Maithri, M.; Raghavendra, U.; Gudigar, A.; Samanth, J.; Barua, P.D.; Murugappan, M.; Chakole, Y.; Acharya, U.R. Automated emotion recognition: Current trends and future perspectives. Comput. Methods Programs Biomed. 2022, 215, 106646.

12.       Xia, C.; Pan, Z.; Li, Y.; Chen, J.; Li, H. Vision-based melt pool monitoring for wire-arc additive manufacturing using deep learning method. Int. J. Adv. Manuf. Technol. 2022, 120, 551–562.

13.       Li, W.; Zhang, L.; Wu, C.; Cui, Z.; Niu, C. A new lightweight deep neural network for surface scratch detection. Int. J. Adv. Manuf. Technol. 2022, 123, 1999–2015.

14.       Mukhiddinov, M.; Akmuradov, B.; Djuraev, O. Robust text recognition for Uzbek language in natural scene images. In Proceedings of the 2019 International Conference on Information Science and Communications Technologies (ICISCT), Tashkent, Uzbekistan, 4–6 November 2019; pp. 1–5.

15.       Khamdamov, U.R.; Djuraev, O.N. A novel method for extracting text from natural scene images and TTS. Eur. Sci. Rev. 2018, 1, 30–33.

16.       Chen, X.; Wang, X.; Zhang, K.; Fung, K.-M.; Thai, T.C.; Moore, K.; Mannel, R.S.; Liu, H.; Zheng, B.; Qiu, Y. Recent advances and clinical applications of deep learning in medical image analysis. Med. Image Anal. 2022, 79, 102444.

17.       Avazov, K.; Abdusalomov, A.; Mukhiddinov, M.; Baratov, N.; Makhmudov, F.; Cho, Y.I. An improvement for the automatic classification method for ultrasound images used on CNN. Int. J. Wavelets Multiresolution Inf. Process. 2021, 20, 2150054.

18.       Mellouk, W.; Handouzi, W. Facial emotion recognition using deep learning: Review and insights. Procedia Comput. Sci. 2020, 175, 689–694.

19.       Saxena, A.; Khanna, A.; Gupta, D. Emotion Recognition and Detection Methods: A Comprehensive Survey. J. Artif. Intell. Syst. 2020, 2, 53–79.

20.       Ko, B.C. A Brief Review of Facial Emotion Recognition Based on Visual Information. Sensors 2018, 18, 401.

21.       Dzedzickis, A.; Kaklauskas, A.; Bucinskas, V. Human Emotion Recognition: Review of Sensors and Methods. Sensors 2020, 20, 592.

22.       Hangaragi, S., Singh, T., & Neelima N. Face Detection and Recognition Using Face Mesh and Deep Neural Network. 2021, 10.1007/978-981-16-5436-7_9.

 

 

 

---