Delta Lake işlem günlüğü - özellikleri kaldır

Question

Csv dosyalarını delta formatına dönüştürmeye çalışıyorum. Dönüştürme başarılı bir şekilde gerçekleşiyor. Ancak , ikinci json işlem dosyasındaki remove özelliğini , parke içindeki birinci csv dosyasının ayrıntılarını aşağıdaki gibi görebiliyorum: İlk json işlem dosyası için, remove özelliği yoktur.

{"remove": {"yol": "part-00000-8780-121c6b34a252-c000.snappy.parquet", "deletionTimestamp": 1597827161514, "dataChange": true}}

Herhangi bir dosyayı veya delta tablosundan silmeyi denemedim. Yeni csv'yi delta dosyalarına dönüştürmeye çalışırken neden bunun kaldırıldığını görüyorum? Herhangi bir öneri lütfen?

Answer 1

.config ("spark.databricks.delta.retentionDurationCheck.enabled", "false") eklemeyi deneyin