パンダのデータフレームを保持する辞書を選択解除すると、AttributeErrorがスローされます： 'Dataframe'オブジェクトに属性 '_data'がありません

Aug 24 2020

分析を実行し、パンダのデータフレームである結果をオブジェクト属性として添付するクラスがあります。

>>> print(test.image.locate_DF)
              y          x       mass  ...    raw_mass        ep  frame
0     60.177142  59.788709  33.433414  ...  242.080256       NaN      0
1     60.651991  59.773904  33.724308  ...  242.355784       NaN      1
2     60.790437  60.190234  31.117164  ...  236.276671       NaN      2
3     60.771933  60.048123  33.558372  ...  240.981395       NaN      3
4     60.251282  59.775139  31.881009  ...  239.239022       NaN      4
...         ...        ...        ...  ...         ...       ...    ...
7212  68.186380  76.477449  18.122817  ...  176.523091       NaN   9410
7213  68.764444  76.574091  17.486454  ...  173.448306       NaN   9415
7214  68.191152  76.473477  17.402975  ...  172.848119  0.868326   9429
7215  67.034103  76.025885  17.010951  ...  170.928067 -0.600854   9431
7216  68.583276  75.309592  17.852992  ...  178.271558       NaN   9432

続いて、すべての重要なオブジェクト属性を辞書に保存し、後で使用するためにピクルスにします。

def save_parameters(self, filepath):
        
        param_dict = {}

    try:
            self.image.locate_DF
        except AttributeError:
            pass
        else:
            param_dict['optical_locate_DF'] = self.image.locate_DF

    with open(filepath, 'wb') as handle:
            pickle.dump(param_dict, handle, 5)

そのpickle化されたファイルをロードしようとすると、まったく問題はありません。データフレームは完全にロードされます。

>>> test.save_parameters('test.pickle')
>>> with open('test.pickle', 'rb') as handle:
...     result = pickle.load(handle)
...
>>> print(result.keys())
dict_keys(['optical_path', 'optical_feature_diameter', 'optical_feature_minmass', 'optical_locate_DF', 'electrical_path', 'electrical_raw_data', 'electrical_processed_data', 'electrical_mean_voltage'])
>>> print(result['optical_locate_DF'])
              y          x       mass  ...    raw_mass        ep  frame
0     60.177142  59.788709  33.433414  ...  242.080256       NaN      0
1     60.651991  59.773904  33.724308  ...  242.355784       NaN      1
2     60.790437  60.190234  31.117164  ...  236.276671       NaN      2
3     60.771933  60.048123  33.558372  ...  240.981395       NaN      3
4     60.251282  59.775139  31.881009  ...  239.239022       NaN      4
...         ...        ...        ...  ...         ...       ...    ...
7212  68.186380  76.477449  18.122817  ...  176.523091       NaN   9410
7213  68.764444  76.574091  17.486454  ...  173.448306       NaN   9415
7214  68.191152  76.473477  17.402975  ...  172.848119  0.868326   9429
7215  67.034103  76.025885  17.010951  ...  170.928067 -0.600854   9431
7216  68.583276  75.309592  17.852992  ...  178.271558       NaN   9432

[7217 rows x 9 columns]

ただし、hpcでこれらのファイルの束に対して分析を実行し、同じピクルスファイルを開こうとすると（名前は異なりますが、上記と同じファイルであり、同じ分析が実行されます）、次のようになります。パンダによって属性エラーがスローされました。データフレームには「_data」属性がないことを示しています。辞書には同じキーがあり、データフレームではないキーは問題なく印刷されます。

>>> resultfile = '../results/diam_15_minmass_17_dist_50_mem_5000_tracklength_500/R9_DNA_50mV_001.pickle'
>>> with open(resultfile, 'rb') as handle:
...     result = pickle.load(handle)
...
>>> print(result.keys())
dict_keys(['optical_path', 'optical_feature_diameter', 'optical_feature_minmass', 'optical_locate_DF', 'optical_tracking_distance', 'optical_tracking_memory', 'optical_tracking_DF', 'optical_kinetics_DF', 'electrical_path', 'electrical_raw_data', 'electrical_processed_data', 'electrical_mean_voltage'])
>>> print(result['optical_locate_DF'])
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/Users/stevenvanuytsel/miniconda3/envs/simultaneous_measurements/lib/python3.8/site-packages/pandas/core/frame.py", line 680, in __repr__
    self.to_string(
  File "/Users/stevenvanuytsel/miniconda3/envs/simultaneous_measurements/lib/python3.8/site-packages/pandas/core/frame.py", line 801, in to_string
    formatter = fmt.DataFrameFormatter(
  File "/Users/stevenvanuytsel/miniconda3/envs/simultaneous_measurements/lib/python3.8/site-packages/pandas/io/formats/format.py", line 593, in __init__
    self.max_rows_displayed = min(max_rows or len(self.frame), len(self.frame))
  File "/Users/stevenvanuytsel/miniconda3/envs/simultaneous_measurements/lib/python3.8/site-packages/pandas/core/frame.py", line 1041, in __len__
    return len(self.index)
  File "/Users/stevenvanuytsel/miniconda3/envs/simultaneous_measurements/lib/python3.8/site-packages/pandas/core/generic.py", line 5270, in __getattr__
    return object.__getattribute__(self, name)
  File "pandas/_libs/properties.pyx", line 63, in pandas._libs.properties.AxisProperty.__get__
  File "/Users/stevenvanuytsel/miniconda3/envs/simultaneous_measurements/lib/python3.8/site-packages/pandas/core/generic.py", line 5270, in __getattr__
    return object.__getattribute__(self, name)
AttributeError: 'DataFrame' object has no attribute '_data'

ピクルスのマニュアルを調べて、SOの質問をたくさん調べましたが、ここで何が問題になっているのかがわかりません。誰かがこれを修正する方法、そして私がまだそのデータにアクセスできるかどうかについての考えを持っていますか？

回答

9 BodoB Aug 25 2020 at 15:23

私も同じ問題を抱えていました。Pandas 1.1.1を使用する環境でPandasデータフレームを生成し、pickleファイルに保存しました。

with open('file.pkl', 'wb') as f:
    pickle.dump(data_frame_object, f)

別のセッションでそれを選択解除してデータフレームを印刷した後、同じエラーが発生しました。さまざまな環境でのいくつかのテストでは、次のパターンが示されました。

パンダのある環境> = 1.1.0：動作します
パンダのある環境== 1.0.5：上記のようなエラーメッセージ
パンダのある環境== 1.0.3：カーネルがクラッシュする

HDF5形式を使用しても同じエラーが発生したため、データフレームとさまざまなPandasバージョンとの互換性の問題のようです。

影響を受ける環境でPandasを1.1.1に更新すると、問題が解決しました。

5 Steven Aug 24 2020 at 22:30

モジュールのバージョンをクロスチェックするという長くて骨の折れるプロセスの後、このエラーはパンダのバージョンの更新が原因であることがわかりました。私のMacはまだパンダ1.0.5を実行していましたが、hpcはパンダ1.1.0を実行しています。どうやら、2つの間に不一致があります（それが酸洗いの直後なのか、保存に使用される他のファイル形式の場合なのかわからない）。

1 LimingFang Nov 05 2020 at 05:34

たぶん問題は解決されました。
エム、でもコメントを付け加えたい。

pklファイルをサーバーに保存しましたが、MACにロードするとクラッシュし、次のように表示されます。 'Dataframe' object has no attribute '_data'

最後に、私のMacのパンダは1.0.5ですが、サーバーでは1.1.5であることがわかりました。最新に更新したところ、うまくいきました。