Salvar arquivos CSV em Foundry Transforms

Question

É possível salvar um arquivo CSV no Foundry Code Repositories transforma-python language em vez de salvá-lo no formato Parquet?

Answer 1

Sim, isso pode ser feito especificando o formato do conjunto de dados de saída ao chamar a write_datasetfunção. Você também pode incluir opções de compactação ao fazer a chamada. Por exemplo:

@transform(
    my_input = Input('/path/to/input/dataset'),
    my_output = Output('/path/to/output/dataset')
)
def compute_function(my_input, my_output):
    my_output.write_dataframe(
        my_input.dataframe(),
        output_format = "csv",
        options = {
            "compression": "gzip"
        }
    )