ما هو MapReduce للدمى؟

يُحدث MapReduce، وهو حجر الزاوية في نظام Apache Hadoop البيئي، ثورة في الحوسبة الموزعة من خلال إطار العمل القائم على Java. إنه يبسط تعقيدات البرمجة الموزعة عن طريق تلخيص التعقيدات في مرحلتين أساسيتين للمعالجة.

تتضمن المرحلة الأولى، المعروفة باسم خطوة الخريطة، تقسيم مجموعات البيانات الكبيرة إلى أجزاء يمكن التحكم فيها ويمكن معالجتها بالتوازي. يسمح هذا التقسيم بمعالجة البيانات بشكل أسرع وأكثر كفاءة من خلال توزيع عبء العمل عبر العقد الحسابية المتعددة.

تخضع كل قطعة من البيانات لعملية تحويل يحددها المطور، حيث يتم تحويل البيانات الأولية إلى تنسيق مناسب للمرحلة اللاحقة. تقوم وظيفة الخريطة هذه بتغليف المنطق اللازم لاستخراج معلومات ذات معنى من بيانات الإدخال.

بعد مرحلة الخريطة، تقوم خطوة التصغير بدمج المخرجات من جميع مهام الخريطة المتوازية. تعد وظيفة التخفيض مسؤولة عن تجميع النتائج الوسيطة أو تلخيصها أو دمجها بطريقة أخرى في الناتج النهائي.

تنبع كفاءة خطوة التخفيض من قدرتها على التعامل مع كميات كبيرة من البيانات بكفاءة، حيث أنها مصممة لتقليل كمية البيانات التي تحتاج إلى خلطها وفرزها بين العقد. يضمن هذا التحسين أن يتم إنشاء الإخراج النهائي بسرعة ودقة.