استفاده از هموارکننده ی L1/2 در یادگیری گرادیانی شبکه‌های عصبی خود سازمانده

Abstract

یکی از مهمترین معیار ها در آموزش شبکه­های عصبی، سرعت همگرایی است. تحقق این معیار وابسته به آموزش مطلوب پارامترها و تعیین اندازه­ی مناسب برای شبکه است اما مقالاتی که تاکنون بکار رفته­اند بر روی یکی از این عوامل تمرکز داشته­اند. به منظور تعیین اندازه­ی مطلوب یک شبکه با توجه به پیچیدگی مساله از شبکه­های عصبی خودسازمانده استفاده می­کنیم. چالشی که در این شبکه ها دیده می شود سرعت همگرایی نسبتاً پایین آن­ها است، درنتیجه برای بهبود سرعت همگرایی آموزش شبکه از الگوریتم Batch­gradient(Bg) به همراه رگولاریزیشن L1/2 که توسط یک تابع هموارکننده، هموار شده­است، استفاده می­نماییم تا بدین ترتیب درکنار دو فرایند افزایشی و کاهشی اندازه شبکه، پارامترها به خوبی آموزش ببینند و سرعت همگرایی بهبود یابد. نتایج حاصل از پیاده­سازی و مقایسه­ی روش حاضر با روش­های پایه، از نظر معیارهای سرعت همگرایی و صحت کلاس­بندی داده­های تست، نشان از برتری روش پیشنهادی در بهبود صحت و بهبود سرعت همگرایی را می­دهد