デルタレイクトランザクションログ-プロパティを削除します
Aug 19 2020
csvファイルをデルタ形式に変換しようとしています。変換は正常に行われていますが、2番目のjsonトランザクションファイルにremoveプロパティが表示され、寄木細工の床にある最初のcsvファイルの詳細が次のように表示されます。
{"remove":{"path": "part-00000-8780-121c6b34a252-c000.snappy.parquet"、 "deletionTimestamp":1597827161514、 "dataChange":true}}
ファイルを削除したり、デルタテーブルから削除したりしませんでした。新しいcsvをデルタファイルに変換しようとしているときに、この削除プロパティが表示されるのはなぜですか?何か提案はありますか?
回答
CristiánVargasAcevedo Sep 09 2020 at 07:49
.config( "spark.databricks.delta.retentionDurationCheck.enabled"、 "false")を追加してみてください