บันทึกธุรกรรมทะเลสาบเดลต้า - ลบคุณสมบัติ
Aug 19 2020
ฉันกำลังพยายามแปลงไฟล์ csv เป็นรูปแบบเดลต้า การแปลงเกิดขึ้นสำเร็จ แต่ฉันสามารถเห็นคุณสมบัติลบในไฟล์ธุรกรรม json ที่สองพร้อมรายละเอียดของไฟล์ csv แรกในปาร์เก้ดังต่อไปนี้: สำหรับไฟล์ธุรกรรม json แรกไม่มีคุณสมบัติลบ
{"ลบ": {"path": "part-00000-8780-121c6b34a252-c000.snappy.parquet", "deleteionTimestamp": 1597827161514, "dataChange": true}}
ฉันไม่ได้พยายามลบไฟล์ใด ๆ หรือลบออกจากตารางเดลต้า เหตุใดฉันจึงเห็นสิ่งนี้ถูกต้องในการลบในขณะที่ฉันพยายามแปลงไฟล์ csv ใหม่เป็นไฟล์เดลต้า ข้อเสนอแนะใด ๆ กรุณา?
คำตอบ
CristiánVargasAcevedo Sep 09 2020 at 07:49
พยายามเพิ่ม. config ("spark.databricks.delta.retentionDurationCheck.enabled", "false")