Speichern von CSV-Dateien in Foundry Transforms

Question

Ist es möglich, eine CSV-Datei in der Transformations-Python-Sprache von Foundry Code Repositories zu speichern, anstatt sie im Parkettformat zu speichern?

Answer 1

Ja, dies kann durch Angabe des Ausgabe-Dataset-Formats beim Aufrufen der write_datasetFunktion erfolgen. Sie können beim Tätigen des Anrufs auch Komprimierungsoptionen einbeziehen. Zum Beispiel:

@transform(
    my_input = Input('/path/to/input/dataset'),
    my_output = Output('/path/to/output/dataset')
)
def compute_function(my_input, my_output):
    my_output.write_dataframe(
        my_input.dataframe(),
        output_format = "csv",
        options = {
            "compression": "gzip"
        }
    )