سیستم ذخیره سازی هدوپ (Hadoop) چیست ؟
آیا تاكنون به این اندیشیده اید كه چطور شركت های بزرگی مانند یاهو یا فیسبوك می توانند اطلاعات زیاد و سنگین كاربران خود را نگهداری كنن؟ آیا در مورد سیستم ذخیره سازی كلود شركت هایی مانند گوگل، آمازون و دراپ باكس چیزی شنیده اید؟ بله.. جواب سؤال شما موضوع نوشتارمن می باشد.
 در ساختار كنونی سیستم های ذخیره سازی دادهها كه من آن را سیستم سنتی داده می نامم، شما ذخیره سازی اطلاعات را در یك سرور می بینید كه ایستگاه های كاری از طریق سیستم شبكه كامپیوتری به آن دسترسی خواهند داشت. شركت ها برای گسترش زیر ساخت و ذخیره سازی بیشتر اطلاعات به سرور خود چندین سیستم ذخیره ساز نظیر هاردهای اسكازی یا سس و یا نوار اضافه می كنند اما از پردازشگر و حافظه سرور خود همچنان بطور مركزی استفاده می كنند. این ساختار برای شركت های با حجم پایین كاری پاسخگوست اما آیا فكر می كنید این ساختار پاسخگوی شركت های بزرگی مانند یاهوو با داشتن یكصد و بیست و پنج هزار (تاكنون) سرور می باشد؟ بله درست حدس زدید. در اینجا نیاز به سیستم جدیدی هست كه بتواند قابل اطمینان باشد، از منابع سیستم بخوبی استفاده كند و همچنین قابلیت ترمیم اتوماتیك خود را داشته باشد. هدوپ (Hadoop) یا بهتر بگویم سیستم نرم افزاری انتشاری هدوپ پاسخ به نیاز شركت های بزرگی است كه به دنبال پیاده سازی سیستم كلود برای مشتریان خود هستند. 

هدوپ چیست؟
 هدوپ یك پروژه مبتنی بر برنامه نویسی متن باز است كه توسط سازمان نرم افزاری آپاچی ایجاد شده است. ایده اولیه هدوپ اولین بار در شركت گوگل رقم خورد اما خیلی ها باور به پیاده سازی این سیستم نداشتن و در چند سال اول این ایده تنها بصورت تئوری مطرح بود. هدوپ امكان ذخیره سازی اطلاعات را در چندین سرور ( پی سی) با هزینه ای پایین فراهم می آورد.  كلودرا شركتی است كه بصورت فعال در این زمینه فعال می باشد و بسته نرم افزاری بی نظیر هدوپ را ایجاد كرده و آن را انتشار داده و پشتیبانی می كند.
 
ساختار كلی هدوپ
 تكنولوژی هدوپ از دو بخش كلی اچ دی اف اس یا سیستم فایل انتشاری هدوپ (Hadoop Distribition File System) و همچنین تكنیك با كیفیت پردازی اطلاعات به نام مپ ریدیوس (MapReduce) استفاده می كند.
ساختار كلی اطلاعاتی در هدوپ بدینگونه می باشد كه اطلاعات توسط سیستم هدوپ شكسته شده و به چندین سرور فرستاده می شود.سرورها بسته به نوع اطلاعات كه ممكن است پردازشی یا ذخیره ای باشد اطلاعات را پردازش یا ذخیره سازی می كنند. در هنگام در خواست اطلاعات مجدد سیستم اطلاعات را از سرور های مختلف گرفته ، مونتاژ كرده و در خروجی نمایش می دهد.
 خوبی این سیستم تهیه نسخه پشتیبان از اطلاعات بصورت خودكار است. هر تكه از اطلاعات در چندین قسمت ( سرور ) ذخیره می شود و در صورت آسیب دیدن یكی از سرورها ، سرور دیگر قادر است مسؤولیت را بر عهده گرفته و اطلاعات مورد نظر را جایگزین كند.

 برای پیاده سازی هدوپ، كمترین تعداد سرور چند عدد است؟
 هرچند پیاده سازی سیستم هدوپ بر روی یك تك سیستم كامپیوتری پیشنهاد نشده است اما نصب و راه اندازی آن تنها برای تست و كسب تجربه روی یك سیستم امكانپذیر است. با توجه به اینكه در این سیستم نیاز به ایجاد نود-سرور هستیم لذا پیشنهاد می كنم در صورتی كه مایل به راه اندازی سیستم ذخیره سازی هدوپ برای سازمان خود هستید از چهار سیستم كامپیوتری ( یك سیستم مركزی و سه نود) استفاده كنید.

 چه شركت هایی نیاز به نصب هدوپ دارند؟
 سیستم هدوپ برای ذخیره سازی و پردازش حجم اطلاعات بسیار بالا طراحی شده است لذا اگر شركت شما در رده شركت های بزرگ ( اینترپرایز)بوده و دارای چندین هزار كارمند و چندین نرمافزار حجیم اطلاعاتی است از این سیستم استفاده كنید.
 منبع: نویسنده: كیانوش مرادیان persiandatanetwork.com

مقاله دوم:
چالش اصلی همه حوزه های شبکه یک موضوع است: «Big Data». مفهومی که به تازگی مطرح شده و به طور کلی به افزایش حجم اطلاعات غیرساختارمند و یکپارچه در کنار ذخیره سازی و پردازش آن ها می پردازد. Big Data اکنون چالش اصلی شبکه های گسترده و شرکت های بزرگ است و انواع راهکارهای کلاود، مجازی سازی، محاسبات موبایل، مراکز داده و حتی سیستم های نظارت تصویری و بی سیم را به خود مشغول می کند. در ابتدا این مفهوم و چالش را بررسی می کنیم و بعد به سراغ فناوری ها و حوزه های دیگر دنیای شبکه می رویم. 

Big Data؛ حرکت افزایش اطلاعات
وقتی بحث اطلاعات مطرح می شود باید این نکته را در نظر داشته باشیم که دو نوع اطلاعات داریم: اطلاعات ساختارمند که توسط ماشین های محاسباتی و کامپیوترها تولید شده و اطلاعات غیرساختارمند که توسط انسان ها تولید می شوند. اطلاعات ساختارمند مدیریت و ذخیره سازی به مراتب ساده تر و کم هزینه تری در مقایسه با اطلاعات غیرساختارمند دارند. بیش از نود درصد اطلاعات دیجیتالی در جهان، غیرساختارمند و نامرتب و با سرعت بسیار زیادی در حال رشد و افزایش هستند؛ به طوری که مدیریت آن ها به یک معضل اساسی تبدیل شده و شرکت ها به دنبال ابزارهایی برای کنترل و مدیریت اطلاعات در حجم های گسترده هستند. در چندین گزارش از وضعیت آینده شبکه ها در سال ۲۰۱۲ عبارت Big Data را می توان دید و به جدی بودن این موضوع پی برد. شبکه های اجتماعی یکی از بزرگ ترین تولیدکنندگان اطلاعات غیرساختارمند در شبکه های کنونی هستند. هر شخص روی پروفایل خود ده ها تصویر، فیلم، صوت و اطلاعات دیگر دارد، چون اطلاعات خصوصی هستند، توسط سازمان های بزرگ قابل مدیریت نیستند. این داده ها همچنین، روزانه ترافیک اینترنت را افزایش می دهند. ابزارهای مدیریت اطلاعات غیرساختارمند مختلفی از شرکت هایی مانند Greenplum، IBM، هیتاچی، اوراکل و بنیاد آپاچی در اختیار شرکت ها قرار دارد، اما همگی به یک نوع داده وابسته هستند و نمی توانند داده های مختلف را مرتب سازی کنند. برای نمونه این ابزارها نمی توانند ترافیک داده های تولید شده توسط گوشی های موبایل را کنترل کرده و پوشش دهند. براساس گزارش های منتشر شده، در سال آینده حجم کل اطلاعات دیجیتالی در جهان چهل درصد افزایش خواهد یافت؛ یعنی چیزی حدود ۴/۱ زتابایت افزایش اطلاعات داریم (هر زتابایت تقریباً برابر با هزار اگزابایت است). به همین دلیل، شرکت های بزرگ ارائه دهنده راهکارهای ذخیره سازی و مدیریت اطلاعات نسبت به این موضوع حساس شده اند و درحال بررسی شیوه های مختلف آنالیز و مدیریت اطلاعات هستند. بدون شک، یکی از گزینه های مطرح سرویس های مبتنی بر فناوری کلاود است که البته به قدرت محاسبات بسیار زیادی برای پردازش اطلاعات نیاز دارد.

منبع: میثاق محمدی زاده     ماهنامه شبکه ( www.shabakeh mag.com