تحلیل مه‌داده هزینه و درآمد خانوری کشور با بهره‌گیری از سیستم فایل توزیع‌شده هدوپ

Abstract

مه‌داده از منابع مهم در دنیای امروز است، که با استفاده از تجزیه و تحلیل‌های گوناگونی که روی آن انجام می‌گیرد اطلاعات و دانش ارزشمندی از آن بدست می‌آید. طی دو دهه اخیر حجم این داده‌ها در حال گسترش بوده و رفته رفته بر حجم آن نیز افزوده می‌شود. چارچوب هدوپ برای توزیع و پردازش مه‌داده یکی از پرکاربردترین ابزاری است که با زبان برنامه‌نویسی جاوا نوشته شده است. هدوپ یک ابزار مناسب است که این امکان را می‌دهد تا پردازش بر روی مجموعه داده‌های بزرگ با خوشه‌بندی انجام پذیرد و مدیریت داده‌های نیمه‌ساختاریافته و ساختارنیافته را تسهیل کند. در ایران نیز همچون کشورهای دیگر هر ساله در حوزه آمارهای رسمی کشور داده‌های خانواری جمع‌آوری می‌شود. این داده‌ها حاوی اطلاعات ارزشمندی است که نتایج آن فقط در سطح کل کشور و استان منتشر می‌شود و تا کنون در سطح شهرستان نتایج و اطلاعاتی استخراج نشده است. هدف این تحقیق استفاده از چارچوب هدوپ برای توزیع و پردازش داده‌های خانواری در سطح شهرستان‌های استان است، سپس اطلاعات استخراج‌شده برای تجزیه و تحلیل مورد استفاده قرارمی‌گیرد. بر اساس مدل پیشنهادی، خوشه‌بندی داده‌های ۳۱ استان کشور در ۴ خوشه انجام و برای راه‌اندازی ۴ سرور ماشین مجازی با ۴ گره در نظر گرفته شد. داده خام از sql به csv تبدیل و در فایل‌های HDFS بارگذاری و عملیات نگاشت/کاهش انجام شد. بر اساس اهداف این تحقیق، خروجی‌های مورد نظر و شاخص‌های برخورداری یک خانوار، مانند استفاده از اینترنت در سطح شهرستان‌های استان ۰۱ استخراج شد و مورد مقایسه و تجزیه و تحلیل قرار گرفت. بدیهی است که همین اطلاعات و شاخص‌ها می‌تواند در سطح وسیع‌تر و در سطح شهرستان‌های دیگر استان‌ها و حتی در سطح روستایی نیز استخراج شده و مورد تجزیه و تحلیل قرار گیرد. با توجه به نتایج این تحقیق پیشنهاد می‌شود، با استفاده از سیستم فایل توزیع‌شده هدوپ، مه‌داده خانواری را سریع‌تر از گذشته آماده کرده و با ارایه بهنگام خروجی‌ها و اطلاعات، تحلیل‌های سریع‌تر و بهتری را نسبت به گذشته انجام داد. همچنین پیشنهاد می‌شود با بکارگیری سیستم توزیع‌شده هدوپ بتوان بین اطلاعات استخراج‌شده سالانه خانواری در سطح شهرستان با اطلاعات سرشماری جمعیتی کشور ارتباط برقرار کرده و خلأی آماری و شاخص‌های برخورداری خانوار را تکمیل کرد.