ตัวทำแผนที่และตัวลดทำงานอย่างไร

2024 ผู้เขียน: Fiona Howard | [email protected]. แก้ไขล่าสุด: 2024-01-10 06:43

ผลลัพธ์ของ Mapper หรืองานแผนที่ (คู่คีย์-ค่า) ถูกป้อนไปยังตัวลด ตัวลดจะได้รับคู่คีย์-ค่าจากงานแผนที่หลายงาน จากนั้น ตัวลดจะรวม tuples ข้อมูลระดับกลางเหล่านั้น (คู่คีย์-ค่าระดับกลาง) ลงในชุดที่เล็กกว่าของ tuples หรือคู่คีย์-ค่าซึ่งเป็นผลลัพธ์สุดท้าย

นักทำแผนที่และตัวลดกำลังทำอะไร

Hadoop Mapper เป็นฟังก์ชันหรืองานที่ใช้ เพื่อประมวลผลบันทึกอินพุตทั้งหมดจากไฟล์และสร้างเอาต์พุตที่ทำงานเป็นอินพุตสำหรับ Reducer สร้างเอาต์พุตโดยคืนค่าใหม่ คู่คีย์-ค่า … ผู้ทำแผนที่ยังสร้างกลุ่มข้อมูลขนาดเล็กในขณะที่ประมวลผลบันทึกอินพุตเป็นคู่คีย์-ค่า

mapper กับ reducer ต่างกันอย่างไร

ความแตกต่างหลักระหว่าง Mapper และ Reducer คืออะไร? งาน Mapper คือ ขั้นตอนแรกของการประมวลผลที่ประมวลผลแต่ละบันทึกอินพุต (จาก RecordReader) และสร้างคู่คีย์-ค่ากลาง วิธีลดจะเรียกแยกกันสำหรับคู่รายการคีย์/ค่าแต่ละคู่

คุณคำนวณจำนวนผู้ทำแผนที่และตัวลดได้อย่างไร

ขึ้นอยู่กับจำนวนคอร์และหน่วยความจำที่คุณมีในแต่ละทาส โดยทั่วไป ผู้ทำแผนที่หนึ่งคนควร รับโปรเซสเซอร์ 1 ถึง 1.5 คอร์ ดังนั้นหากคุณมี 15 คอร์ หนึ่งตัวสามารถเรียกใช้ Mappers 10 ตัวต่อโหนด ดังนั้นหากคุณมีโหนดข้อมูล 100 โหนดใน Hadoop Cluster คุณสามารถเรียกใช้ Mappers 1,000 รายการในคลัสเตอร์ได้

ฟังก์ชั่น Mapper ทำงานอย่างไร

Mapper เป็นฟังก์ชันที่ ประมวลผลข้อมูลที่ป้อนเข้า ผู้ทำแผนที่จะประมวลผลข้อมูลและสร้างกลุ่มข้อมูลเล็กๆ หลายชิ้น อินพุตของฟังก์ชัน mapper จะอยู่ในรูปแบบของคู่ (คีย์, ค่า) แม้ว่าอินพุตไปยังโปรแกรม MapReduce จะเป็นไฟล์หรือไดเร็กทอรี (ซึ่งเก็บไว้ใน HDFS)