Agregar compresión a un archivo NetCDF usando xarray

Oct 23 2020

Tengo un ráster que estoy tratando de comprimir y convertir a un NetCDFformato con nivel de compresión = 9 usando el xarraypaquete. Supongo que la compresión se agrega usando el parámetro de codificación como un dictado, pero no estoy muy seguro de cómo entiendo qué agregar completamente aquí:

 f = directory + "/D_Passaic_F02_NBR_E0001_WGS84_comp"
 t = xarray.open_rasterio(f)
 encode = {'zlib': True, 'complevel': 9}
 t.to_netcdf(output_dir+"/Test2.nc", encoding=encode)

Básicamente recibo un error:, KeyError: 'zlib'pero no estoy seguro de qué se supone que debo usar aquí. Sugerencias La matriz de datos muestra una sola banda y una variable xey como esta:

 <xarray.DataArray (band: 1, y: 9635, x: 14564)>  

        or, in more detail:

 <bound method ImplementsArrayReduce._reduce_method.<locals>.wrapped_func of 
 <xarray.DataArray (band: 1, y: 9635, x: 14564)>
 [140324140 values with dtype=float32]
 Coordinates:
   * band     (band) int32 1
   * y        (y) float64 41.06 41.06 41.06 41.06 ... 40.74 40.74 40.74 40.74
   * x        (x) float64 -74.45 -74.45 -74.45 -74.45 ... -73.97 -73.97 -73.97
 Attributes:
     transform:                 (3.2670488250568696e-05, 0.0, -74.447024371179...
     crs:                       +init=epsg:4326
     res:                       (3.2670488250568696e-05, 3.2670488250568696e-05)
     is_tiled:                  1
     nodatavals:                (-9999.0,)
     scales:                    (1.0,)
     offsets:                   (0.0,)
     AREA_OR_POINT:             Area
     HISTOGRAM:                 9090|9307|9097|9209|8729|8864|8744|8864|9181|9...
     TIFFTAG_ARTIST:            HEC-RAS
     TIFFTAG_IMAGEDESCRIPTION:  Depth (Max)>

Respuestas

2 bugmenot123 Oct 23 2020 at 03:14

El error sugiere que xarray intenta encontrar una variable llamada "zlib" en sus datos. La estructura correcta para el dictado de codificación sería algo como:

encode = {"precipitation": {'zlib': True, ...}}

Pero debido a la forma en que se cargaron los datos, esto es complicado.

Lo que tiene después de cargar un archivo usando open_rasterioes un DataArray. A DataArrayno tiene una estructura con variables. Al escribir en NetCDF, sus datos deben ser DataSet.

Si llama to_netcdfa a DataArray, generará automáticamente un DataSetcon una variable para los datos llamados " __xarray_dataarray_variable__". Entonces esto funcionará, pero el archivo resultante será feo con un nombre como ese ...:

encode = {"__xarray_dataarray_variable__": {'zlib': True, ...}}  # yuck!

Cuando construyó un DataSet manualmente, puede especificar el nombre de la variable. Por ejemplo, si su banda contiene datos DEM, algo como esto podría tener sentido:

dem = t.to_dataset(name="dem")

Luego, puede especificar el código de codificación para eso y tener un nombre razonable en el resultado:

encoding = {"dem": {'zlib': True, ...}}
dem.to_netcdf("dem.nc", encoding=encoding)

Lamentablemente, la compresión con xarray consume mucha RAM, tenga cuidado con el trabajo no guardado antes de ejecutarlo en caso de que su sistema tenga OOM.