ویژگی‌های آگاه به محتوا برای قطعه‌بندی معنایی تصویر

Abstract

قطعه ­بندی معنایی تصویر مبتنی بر شبکه­­ های عصبی عمیق، از رویکردهای مهم محققان بینایی ماشین می باشد. در روش های مبتنی بر شبکه­ های عصبی عمیق، بطور کلی از یک شبکه پایه که برای کاربرد شناسایی تصویر، آموزش دیده است، بمنظور استخراج ویژگی از تصویر استفاده می­شود. از آنجا که ابعاد ویژگی­ های خروجی از این شبکه ­های پایه کوچکتر از تصویر ورودی­ می­ باشد، لذا با اضافه کردن چندین لایه کانولوشنی به انتهای این شبکه­ های پایه، ابعاد ویژگی­های خروجی از این شبکه­ ها را به اندازه ابعاد تصویر ورودی می­رسانند. استفاده از ویژگی­ های­ محلی خروجی از شبکه­ های پایه، بدون در نظر گرفتن ارتباط کلی بین این ویژگی­ های محلی، منجر به قطعه ­بندی ضعیف و ناهموار می ­شود. بر این اساس، در این تحقیق واحدی با نام­ "واحد ویژگی­های آگاه­ به محتوا" پیشنهاد می ­شود. این واحد با کمک ویژگی­ های محلی خروجی از شبکه­ های پایه، ویژگی­ های سطح-تصویر ایجاد می­ کند. واحد­ پیشنهادی را می­توان در معماری ­های مختلف قطعه­ بندی معنایی تصویر قرار داد. در این تحقیق، با اضافه کردن واحد پیشنهادی CAF به معماری‌های پایه FCN و DeepLab-v3-plus، به ترتیب معماری‌های FCN-CAF و DeepLab-v3-plus-CAF پیشنهاد شده است. بمنظور آموزش معماری‌های پیشنهادی از دادگان PASCAL VOC2012 استفاده شده است. نتایج آزمایش ها نشان می دهد که معماری‌های پیشنهادی نسبت به معماری‌های پایه مربوطه، به ترتیب 7/2 و 81/1درصد بهبود دقت (mIoU) دارد.