สารบัญ:
- ฉันจะสร้างสคีมาสำหรับไฟล์ปาร์เก้ได้อย่างไร
- ไม้ปาร์เก้รองรับวิวัฒนาการสคีมาหรือไม่
- ไฟล์ปาร์เก้มีประเภทข้อมูลหรือไม่
- ไม้ปาร์เก้มีโครงสร้างอย่างไร
2024 ผู้เขียน: Fiona Howard | [email protected]. แก้ไขล่าสุด: 2024-01-10 06:43
ไฟล์ปาร์เก้เป็นไฟล์ hdfs ที่ต้องมีข้อมูลเมตาสำหรับไฟล์ ซึ่งช่วยให้สามารถแยกคอลัมน์ออกเป็นหลายไฟล์ รวมทั้งมีไฟล์ข้อมูลเมตาเดียวที่อ้างอิงไฟล์ปาร์เก้หลายไฟล์ ข้อมูลเมตารวมถึง สคีมาสำหรับข้อมูลที่จัดเก็บไว้ในไฟล์.
ฉันจะสร้างสคีมาสำหรับไฟล์ปาร์เก้ได้อย่างไร
ในการสร้างสคีมาของข้อมูลตัวอย่างไม้ปาร์เก้ ให้ทำดังต่อไปนี้:
- ลงชื่อเข้าใช้กล่อง Haddop/Hive
- มันสร้างสคีมาใน stdout ดังนี้: -------------- [~] parquet-tools schema abc.parquet ข้อความ hive_schema { …
- คัดลอกสคีมานี้ไปยังไฟล์ที่มี. ปาร์เก้/. นามสกุลพาร์
ไม้ปาร์เก้รองรับวิวัฒนาการสคีมาหรือไม่
การรวมสคีมา
เช่นเดียวกับ Protocol Buffer, Avro และ Thrift Parquet ยังรองรับ schema evolution ผู้ใช้สามารถเริ่มต้นด้วยสคีมาอย่างง่าย และค่อยๆ เพิ่มคอลัมน์ใน สคีมาตามต้องการ ด้วยวิธีนี้ ผู้ใช้อาจลงเอยด้วยไฟล์ Parquet หลายไฟล์ที่มีสคีมาที่แตกต่างกันแต่เข้ากันได้
ไฟล์ปาร์เก้มีประเภทข้อมูลหรือไม่
ประเภทข้อมูลไฟล์ Parquet จับคู่กับประเภทข้อมูลการแปลงที่ Data Integration Service ใช้เพื่อย้ายข้อมูลข้ามแพลตฟอร์ม Parquet schema ที่คุณระบุให้อ่านหรือเขียนไฟล์ Parquet จะต้องเป็นตัวพิมพ์เล็ก
ไม้ปาร์เก้มีโครงสร้างอย่างไร
ไฟล์ปาร์เก้คือ ประกอบด้วยกลุ่มแถว ส่วนหัว และส่วนท้าย แต่ละกลุ่มแถวมีข้อมูลจากคอลัมน์เดียวกัน คอลัมน์เดียวกันจะถูกจัดเก็บไว้ด้วยกันในแต่ละกลุ่มแถว: โครงสร้างนี้ได้รับการปรับให้เหมาะสมทั้งสำหรับประสิทธิภาพการสืบค้นที่รวดเร็ว และ I/O ต่ำ (ลดปริมาณข้อมูลที่สแกนให้น้อยที่สุด)
