デルタレイクトランザクションログ-プロパティを削除します

Aug 19 2020

csvファイルをデルタ形式に変換しようとしています。変換は正常に行われていますが、2番目のjsonトランザクションファイルにremoveプロパティが表示され、寄木細工の床にある最初のcsvファイルの詳細が次のように表示されます。

{"remove":{"path": "part-00000-8780-121c6b34a252-c000.snappy.parquet"、 "deletionTimestamp":1597827161514、 "dataChange":true}}

ファイルを削除したり、デルタテーブルから削除したりしませんでした。新しいcsvをデルタファイルに変換しようとしているときに、この削除プロパティが表示されるのはなぜですか?何か提案はありますか?

回答

CristiánVargasAcevedo Sep 09 2020 at 07:49

.config( "spark.databricks.delta.retentionDurationCheck.enabled"、 "false")を追加してみてください