بهبود عملکرد حمله در تیم ربات‌های فوتبالیست با استفاده از یادگیری تقویتی

Abstract

به‌دلیل عدم امکان پیش‌بینی همه وضعیت‌های ممکن برای عامل‌ها در یک سیستم چندعامله‌ی پویا و گسترده، روش‌های یادگیری ماشین، ابزار مناسبی برای کنترل رفتار عامل‌ها می‌باشد. فوتبال شبیه‌سازی شده ربات‌ها یک مسئله شناخته‌شده برای ارزیابی الگوریتم‌های یادگیری ماشین روی سیستم‌های چندعامله است. در این مقاله الگوریتم یادگیری کیو ـ وی (یکی از الگوریتم‌های معروف یادگیری تقویتی) جهت بهبود عملکرد حمله در تیم ربات‌های فوتبالیست دو بعدی بکار گرفته شده‌است. سیگنال تقویتی براساس اینکه بازیکنانی که در حمله دخالت دارند، توپ را جلوی دروازه می‌رسانند، یا اینکه توپ را از دست می‌دهند، تعریف شده‌است و به‌ترتیب عامل‌ها با توجه به وضعیت ذکرشده، جایزه و جریمه دریافت می‌کنند. جهت بهبود عملکرد از ایده تقسیم سیگنال تقویتی متناسب با مقدار خبرگی عامل‌ها در یک سیستم چندعامله استفاده شده‌است. در اینجا میزان خبرگی متناسب با تفاوت ارزش عملِ با بالاترین ارزش با ارزشِ عملِ با کمترین مقدار ارزش در هر حالت تعریف می‌شود. نتایج شبیه‌سازی نشان می‌دهد، بهره‌گیری از ایده تقسیم سیگنال تقویتی براساس خبرگی در آموزش باعث افزایش سرعت در آموزش و بهبود عملکرد عامل‌ها شده‌است.