Foundry Transforms에 CSV 파일 저장

Question

CSV 파일을 Parquet 형식으로 저장하는 대신 Foundry Code Repositories transforms-python 언어로 저장할 수 있습니까?

Answer 1

예, write_dataset함수를 호출 할 때 출력 데이터 세트 형식을 지정하면 됩니다. 전화를 걸 때 압축 옵션도 포함 할 수 있습니다. 예를 들면 :

@transform(
    my_input = Input('/path/to/input/dataset'),
    my_output = Output('/path/to/output/dataset')
)
def compute_function(my_input, my_output):
    my_output.write_dataframe(
        my_input.dataframe(),
        output_format = "csv",
        options = {
            "compression": "gzip"
        }
    )