استفاده از هموارکننده ی L1/2 در یادگیری گرادیانی شبکه‌های عصبی خود سازمانده

مجله فناوری اطلاعات در طراحی مهندسی

مقاله 3، دوره 11، شماره 1، شهریور 1397، صفحه 33-42   

نوع مقاله: مقاله پژوهشی

نویسندگان

زهرا مهرآوران^{* 1}؛ سید جواد سید مهدوی²؛ یحیی فرقانی³

¹دانشجو واحد دانشگاه آزاد اسلامی واحد مشهد گروه کامپیوتر

²دانشگاه آزاد اسلامی واحد مشهد گروه مهندسی برق

³دانشگاه آزاد اسلامی، واحد مشهد، مشهد، ایران

چکیده

یکی از مهمترین معیار ها در آموزش شبکه­های عصبی، سرعت همگرایی است. تحقق این معیار وابسته به آموزش مطلوب پارامترها و تعیین اندازه­ی مناسب برای شبکه است اما مقالاتی که تاکنون بکار رفته­اند بر روی یکی از این عوامل تمرکز داشته­اند. به منظور تعیین اندازه­ی مطلوب یک شبکه با توجه به پیچیدگی مساله از شبکه­های عصبی خودسازمانده استفاده می­کنیم. چالشی که در این شبکه ها دیده می شود سرعت همگرایی نسبتاً پایین آن­ها است، درنتیجه برای بهبود سرعت همگرایی آموزش شبکه از الگوریتم  Batch­gradient(Bg) به همراه رگولاریزیشن L1/2 که توسط یک تابع هموارکننده، هموار شده­است، استفاده می­نماییم تا بدین ترتیب درکنار دو فرایند افزایشی و کاهشی اندازه شبکه، پارامترها به خوبی آموزش ببینند و سرعت همگرایی بهبود یابد.  نتایج حاصل از پیاده­سازی و مقایسه­ی روش حاضر با روش­های پایه، از نظر معیارهای سرعت همگرایی و صحت کلاس­بندی داده­های تست، نشان از برتری روش پیشنهادی در بهبود صحت و بهبود سرعت همگرایی را می­دهد

کلیدواژه‌ها

الگوریتم Batch gradient؛ تابع هموارکننده؛ رگولاریزیشن L1/2؛ شبکه‌ی عصبی خودسازمانده