Lưu tệp CSV trong Foundry Transforms

Question

Có thể lưu tệp CSV trong Kho lưu trữ mã Foundry ngôn ngữ chuyển đổi-python thay vì lưu chúng ở định dạng Parquet không?

Answer 1

Có, điều này có thể được thực hiện bằng cách chỉ định định dạng tập dữ liệu đầu ra khi gọi write_datasethàm. Bạn cũng có thể bao gồm các tùy chọn nén khi thực hiện cuộc gọi. Ví dụ:

@transform(
    my_input = Input('/path/to/input/dataset'),
    my_output = Output('/path/to/output/dataset')
)
def compute_function(my_input, my_output):
    my_output.write_dataframe(
        my_input.dataframe(),
        output_format = "csv",
        options = {
            "compression": "gzip"
        }
    )