Adicionando compactação a um arquivo NetCDF usando xarray

Oct 23 2020

Eu tenho um raster que estou tentando compactar e converter para um NetCDFformato com nível de compactação = 9 usando o xarraypacote. Presumo que a compressão seja adicionada usando o parâmetro de codificação como um dicionário, mas não tenho certeza de como entendo o que adicionar completamente aqui:

 f = directory + "/D_Passaic_F02_NBR_E0001_WGS84_comp"
 t = xarray.open_rasterio(f)
 encode = {'zlib': True, 'complevel': 9}
 t.to_netcdf(output_dir+"/Test2.nc", encoding=encode)

Basicamente recebo um erro:, KeyError: 'zlib'mas não tenho certeza do que devo usar aqui. Sugestões? A matriz de dados mostra uma única banda e uma variável x, e y como esta:

 <xarray.DataArray (band: 1, y: 9635, x: 14564)>  

        or, in more detail:

 <bound method ImplementsArrayReduce._reduce_method.<locals>.wrapped_func of 
 <xarray.DataArray (band: 1, y: 9635, x: 14564)>
 [140324140 values with dtype=float32]
 Coordinates:
   * band     (band) int32 1
   * y        (y) float64 41.06 41.06 41.06 41.06 ... 40.74 40.74 40.74 40.74
   * x        (x) float64 -74.45 -74.45 -74.45 -74.45 ... -73.97 -73.97 -73.97
 Attributes:
     transform:                 (3.2670488250568696e-05, 0.0, -74.447024371179...
     crs:                       +init=epsg:4326
     res:                       (3.2670488250568696e-05, 3.2670488250568696e-05)
     is_tiled:                  1
     nodatavals:                (-9999.0,)
     scales:                    (1.0,)
     offsets:                   (0.0,)
     AREA_OR_POINT:             Area
     HISTOGRAM:                 9090|9307|9097|9209|8729|8864|8744|8864|9181|9...
     TIFFTAG_ARTIST:            HEC-RAS
     TIFFTAG_IMAGEDESCRIPTION:  Depth (Max)>

Respostas

2 bugmenot123 Oct 23 2020 at 03:14

O erro sugere que o xarray está tentando encontrar uma variável chamada "zlib" em seus dados. A estrutura correta para o dicionário de codificação seria algo como:

encode = {"precipitation": {'zlib': True, ...}}

Mas, devido à maneira como os dados foram carregados, isso é complicado.

O que você tem depois de carregar um arquivo usando open_rasterioé um DataArray. A DataArraynão possui uma estrutura com variáveis. Ao gravar no NetCDF, seus dados precisam ser a DataSet.

Se você chamar to_netcdfa DataArray, ele irá gerar automaticamente um DataSetcom uma variável para os dados chamada " __xarray_dataarray_variable__". Então, isso vai funcionar, mas o arquivo resultante ficará feio com um nome como esse ...:

encode = {"__xarray_dataarray_variable__": {'zlib': True, ...}}  # yuck!

Ao construir um DataSet manualmente, você pode especificar o nome da variável. Por exemplo, se sua banda contém dados DEM, algo assim pode fazer sentido:

dem = t.to_dataset(name="dem")

Depois, você pode especificar o dicionário de codificação para isso e ter um nome razoável no resultado:

encoding = {"dem": {'zlib': True, ...}}
dem.to_netcdf("dem.nc", encoding=encoding)

Infelizmente, a compressão com xarray consome muita memória RAM, preste atenção ao trabalho não salvo antes de executá-lo, caso seu sistema OOMs.