Журнал транзакций озера дельта - удалить свойства

Aug 19 2020

Я пытаюсь преобразовать файлы CSV в формат дельты. Преобразование происходит успешно, но я вижу свойство remove во втором файле транзакции json с деталями первого файла csv в parquet, как показано ниже: Для первого файла транзакции json нет свойства удаления.

{"remove": {"path": "part-00000-8780-121c6b34a252-c000.snappy.parquet", "deletionTimestamp": 1597827161514, "dataChange": true}}

Я не пытался удалить какой-либо файл или удалить из дельта-таблицы. Почему я вижу это свойство удаления, когда пытаюсь преобразовать новый CSV в дельта-файлы? Любые предложения, пожалуйста?

Ответы

CristiánVargasAcevedo Sep 09 2020 at 07:49

попробуйте добавить .config ("spark.databricks.delta.retentionDurationCheck.enabled", "false")