تولید قواعد فازی احتمالی به‌کمک یادگیری تقویتی

Abstract

مهم‌ترین بخش در یک سیستم فازی پایگاه قواعد آن است. یکی از مشکلات موجود در تولید قواعد فازی با داده‌های آموزشی، وجود داده‌های ناسازگار است زیرا در این‌گونه داده‌ها چند خروجی برای وضعیت‌های یکسان وجود دارد. لذا تولید قواعد و تصمیم‌گیری برای انتخاب تالی مناسب برای هر قاعده با چالش همراه خواهد بود. روش‌های موجود از برآیند حالت‌های ناسازگار استفاده می‌کنند که باعث تولید خروجی با مقدار میانگین تالی‌های مربوطه می‌شود. به‌منظور بهبود این مشکل در این مقاله از مقداردهی اولیه به‌مقدار احتمال انتخاب عمل‌ها، در یادگیری تقویتی فازی مبتنی بر معماری عملگر-نقاد استفاده می‌شود. با خوشه‌بندی داده آموزشی و استفاده از مدل سوگنوی مرتبه صفر با تعدادی عمل کاندید در هر قاعده، پارامترهای ماژول عملگر مقداردهی اولیه شده و درنهایت با معماری عملگر-نقاد و سیگنال تقویتی، به‌صورت برخط تنظیم می‌شوند. با توجه به اینکه مشکل ناسازگاری در داده‌های مربوط به ناوبری ربات نسبت به موارد دیگر نمایان‌تر است، ایده ارائه‌شده در مسئله ناوبری ربات استفاده می‌شود. آزمایش‌ها در شبیه‌ساز Webots برای ربات ایپاک انجام شده است. نتایج آزمایش‌ها حاکی از آن است که روش ارائه‌شده موجب کاهش زمان یادگیری، کاهش برخورد به موانع در مسئله ناوبری ربات با قواعد فازی کم‌تر است.