ตัวสะสมเป็นตัวแปรที่ "เพิ่ม" ผ่านการดำเนินการเชื่อมโยงเท่านั้น ดังนั้นจึงสามารถสนับสนุนได้อย่างมีประสิทธิภาพควบคู่กันไป สามารถใช้ เพื่อใช้เคาน์เตอร์ (เช่นใน MapReduce) หรือผลรวม Spark รองรับตัวสะสมประเภทตัวเลขโดยกำเนิด และโปรแกรมเมอร์สามารถเพิ่มการรองรับสำหรับประเภทใหม่ได้
ทำไมเราถึงใช้ตัวสะสม
ถังเก็บพลังงานไฮโดรลิกใช้ในหลากหลาย อุตสาหกรรมเก็บพลังงาน; รักษาความดัน ลดแรงสั่นสะเทือน การเต้นเป็นจังหวะและแรงกระแทก และอีกมากมาย การจัดเก็บพลังงาน – ตัวสะสมสามารถรับ จัดเก็บ และปล่อยพลังงานในรูปแบบของของเหลวที่มีแรงดัน เพื่อปรับปรุงประสิทธิภาพของระบบไฮดรอลิกของคุณ
การออกอากาศและการสะสมใน Spark แตกต่างกันอย่างไร
ความแตกต่างที่สำคัญระหว่างตัวแปรการออกอากาศและตัวสะสมคือ ในขณะที่ตัวแปรการออกอากาศเป็นแบบอ่านอย่างเดียว ตัวสะสมสามารถเพิ่มเข้าไปได้ … แต่ละโหนดผู้ปฏิบัติงานสามารถเข้าถึงและเพิ่มไปยังค่าสะสมในเครื่องของตัวเองเท่านั้น และมีเพียงโปรแกรมไดรเวอร์เท่านั้นที่สามารถเข้าถึงค่าส่วนกลางได้
Spark accumulator ทำงานอย่างไร
ตัวสะสมคือตัวแปรที่ ใช้สำหรับรวบรวมข้อมูลระหว่างตัวดำเนินการ ตัวอย่างเช่น ข้อมูลนี้อาจเกี่ยวข้องกับข้อมูลหรือการวินิจฉัย API เช่น จำนวนระเบียนที่เสียหายหรือจำนวนครั้งที่เรียกใช้ API ของไลบรารีโดยเฉพาะ
เหตุใดผู้ปฏิบัติงานจึงไม่ควรใช้ตัวแปรสะสมใน Spark สำหรับการดำเนินการแปลง
ตัวสะสมจะให้ผลลัพธ์ที่ไม่ถูกต้อง หากงานทำงานช้า Spark สามารถเรียกใช้สำเนางานนั้นบนโหนดอื่นได้ คำตัดสิน: ไม่ได้รับการจัดการ ตัวสะสมจะให้ผลลัพธ์ที่ไม่ถูกต้อง