Log transaksi delta lake - hapus properti

Question

Saya mencoba mengonversi file csv ke format delta. Konversi terjadi dengan sukses Tapi saya bisa melihat properti hapus di file transaksi json kedua dengan detail file csv pertama di parket seperti di bawah ini: Untuk file transaksi json pertama tidak ada properti hapus.

{"remove":{"path":"part-00000-8780-121c6b34a252-c000.snappy.parquet","deletionTimestamp":1597827161514,"dataChange":true}}

Saya tidak mencoba menghapus file apa pun atau menghapus dari tabel delta. Mengapa saya melihat ini menghapus properti saat saya mencoba mengonversi file csv baru ke delta? Ada saran?

Answer 1

coba tambahkan .config("spark.databricks.delta.retentionDurationCheck.enabled", "false")