تشخیص ربات های ناهنجار در پرس وجوهای موتور جستجو

Abstract

موتورهای جستجو را می‌توان بهترین ابزار کارآمد برای مدیریت، بازیابی و استخراج اطلاعات مهم از مجموعه عظیم داده‌های وب معرفی کرد. این موتورها پهنه وسیع وب را به‌طور زمان‌بندی‌شده پیمایش می‌کنند و به جمع‌آوری صفحات بی‌شمار ذخیره‌شده در گوشه کنار وب می‌پردازند. ارائه‌دهندگان موتورهای جستجو همواره به دنبال بهبود ارتباط نتایج و کاهش زمان پاسخ به کاربران هستند، اما هر دو این موارد می‌تواند تحت تأثیر ترافیک خودکار ارسال‌شده از سوی ربات‌ها قرار گیرد. در این مقاله ابتدا به تعریف ربات‌ها و چالش تشخیص آن‌ها پرداخته شده است. سپس، روشی با نام بوف برای تشخیص ربات‌های جستجو ارائه شده است. در روش بوف برای دستیابی به دقتی بالا در تشخیص ربات‌های ناهنجار، از پارامترهای مختلف و نسبتاً زیادی برای مدل‌کردن رفتار کاربران استفاده شده است. پس از تعیین اولویت پارامترها در تشخیص ماهیت کاربران، درخت تصمیمی ساخته شده و اقدام به دسته‌بندی کاربران در گروه-های انسان، ربات مخرب، ربات مجاز و نامشخص می‌کند. ربات‌های تشخیص داده‌شده در درخت تصمیم، بخش دیگری از سامانه تشخیص ربات را فعال می‌کند که قادر است با توجه به الگوی رفتاری شبکه‌های رباتی، حتی ربات‌هایی با نرخ درخواست پایین را نیز شناسایی کند. ارزیابی روش پیشنهادی بر روی داد‌های آزمون، صحت 97/7درصدی را در تشخیص ماهیت کاربران نشان می‌دهد که حداقل بهبود دقت 9/9 درصدی را نسبت به روش‌های بررسی‌شده در این حوزه نشان می‌دهد. رقم قابل توجهی که در هر روز تصمیم‌گیری در مورد 2230 کاربر را تحت تاثیر قرار می‌دهد.