IPython su Windows non riesce a importare le geopande
Ottengo un
ImportError: caricamento DLL non riuscito: non è stato possibile trovare la procedura specificata.
errore durante il tentativo di importare le geopande in python 3.6. Nello specifico, ottengo l'errore quando utilizzo ipython ma non quando utilizzo python. Inoltre, questo riguarda Windows (una macchina virtuale Windows Server 2016) e non Linux. Ho trovato alcuni post precedenti su questo, o problemi molto simili, ma sto rifiutando la loro idoneità in quanto o non risolvono chiaramente il problema oppure lo confondono con le installazioni pip.
Questo messaggio di quasi due anni fa, ad esempio, riporta un errore simile, ma si conclude con un "Non importa, ho fatto un'installazione pip di geopandas".
Questo post di poco più di un paio di anni fa ha una risposta accettata nonostante il poster originale abbia commentato che non ha funzionato per loro! C'è una menzione di un post sul blog di Geoff Boeing che ho visto prima come un metodo di lavoro, nonostante quel post sul blog fornisca più di un approccio (un'installazione conda e una sequenza più manuale di passaggi) e il commento non chiarisce cosa ha funzionato per loro.
C'è questo post di quasi due anni e mezzo fa che fonde i metodi conda e pip install e non ha una risposta accettata. C'è un suggerimento in un commento che, per il commentatore, si trattava di un problema con gdal su conda-forge. C'è una risposta che fa nuovamente riferimento al post sul blog di Geoff Boeing. L'implicazione potrebbe essere che l'installazione di gdal tramite conda può essere problematica e, se lo è, è necessaria la sequenza manuale dei passaggi. Non sono convinto che questo sia il mio problema.
Il mio problema si verifica in particolare su una macchina virtuale Windows Server 2016 e quando si specifica solo il canale conda-forge. Inoltre, pertinentemente, si verifica solo in ipython (e quindi nei notebook Jupyter) e non in python, quindi:
Crea un ambiente specificando il canale predefinito di conda, specificando python 3.6, ipython e geopandas:
conda create -n test36_defaults -c defaults python=3.6 ipython geopandas
Attiva quell'ambiente:
(test36_2) C:\Users\guy.maskall>conda activate test36_defaults
Avvia un kernel ipython e importa le geopande:
(test36_defaults) C:\Users\guy.maskall>ipython
Python 3.6.12 |Anaconda, Inc.| (default, Sep 9 2020, 00:29:25) [MSC v.1916 64 bit (AMD64)]
Type "copyright", "credits" or "license" for more information.
IPython 5.8.0 -- An enhanced Interactive Python.
? -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help -> Python's own help system.
object? -> Details about 'object', use 'object??' for extra details.
In [1]: import geopandas as gpd
In [2]:
Do you really want to exit ([y]/n)?
Ha importato bene.
Allo stesso modo, avvia l'interprete python diretto:
(test36_defaults) C:\Users\guy.maskall>python
Python 3.6.12 |Anaconda, Inc.| (default, Sep 9 2020, 00:29:25) [MSC v.1916 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import geopandas as gpd
>>>
Anche quello ha importato bene.
Ora crea un altro ambiente specificando solo conda-forge:
conda create -n test36_cforge -c conda-forge python=3.6 ipython geopandas
Attiva l'ambiente e carica nuovamente ipython per importare le geopande:
(test36_cforge) C:\Users\guy.maskall>ipython
Python 3.6.11 (default, Aug 5 2020, 19:41:03) [MSC v.1916 64 bit (AMD64)]
Type "copyright", "credits" or "license" for more information.
IPython 5.8.0 -- An enhanced Interactive Python.
? -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help -> Python's own help system.
object? -> Details about 'object', use 'object??' for extra details.
In [1]: import geopandas as gpd
---------------------------------------------------------------------------
ImportError Traceback (most recent call last)
<ipython-input-1-a62d01c1d62e> in <module>()
----> 1 import geopandas as gpd
C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\site-packages\geopandas\__init__.py in <module>()
5 from geopandas.array import points_from_xy # noqa
6
----> 7 from geopandas.io.file import _read_file as read_file # noqa
8 from geopandas.io.arrow import _read_parquet as read_parquet # noqa
9 from geopandas.io.arrow import _read_feather as read_feather # noqa
C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\site-packages\geopandas\io\file.py in <module>()
5 import pandas as pd
6
----> 7 import fiona
8 import pyproj
9 from shapely.geometry import mapping
C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\site-packages\fiona\__init__.py in <module>()
84 import fiona._loading
85 with fiona._loading.add_gdal_dll_directories():
---> 86 from fiona.collection import BytesCollection, Collection
87 from fiona.drvsupport import supported_drivers
88 from fiona.env import ensure_env_with_credentials, Env
C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\site-packages\fiona\collection.py in <module>()
9 with fiona._loading.add_gdal_dll_directories():
10 from fiona import compat, vfs
---> 11 from fiona.ogrext import Iterator, ItemsIterator, KeysIterator
12 from fiona.ogrext import Session, WritingSession
13 from fiona.ogrext import buffer_to_virtual_file, remove_virtual_file, GEOMETRY_TYPES
ImportError: DLL load failed: The specified procedure could not be found.
In [2]:
Do you really want to exit ([y]/n)?
Quindi non è riuscito in ipython. Ora provalo usando solo un vero pitone:
(test36_cforge) C:\Users\guy.maskall>python
Python 3.6.11 (default, Aug 5 2020, 19:41:03) [MSC v.1916 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import geopandas as gpd
>>>
Che funzioni.
Una delle risposte nei post sopra SO evidenzia GDAL, Fiona, pyproj, rtree e shapely. Confrontando l'output di conda listtra i due ambienti sopra, ottengo esattamente le stesse versioni di tutti. Tutti tranne rtree hanno anche la stessa build. Quindi ho:
gdal 3.1.4 py36h214b664_0 conda-forge
fiona 1.8.17 py36hdef4c2b_1 conda-forge
pyproj 2.6.1.post1 py36hfcef96e_3 conda-forge
shapely 1.7.1 py36h6dc46f0_1 conda-forge
e
rtree 0.9.4 py36h9a6d676_1 conda-forge
(associato all'env che non ha funzionato) vs
rtree 0.9.4 py36h21ff451_1
(nell'env che funziona).
Ciò che mi confonde è che nonostante alcuni post che implicano gdal e il mio output di errore sopra che implica il caricamento di fiona gdal (penso), entrambi gli ambienti sembrano avere esattamente la stessa versione e build di gdal e fiona, e l'errore si verifica solo in ipython kernel e non in Python.
È importante per me essere in grado di replicare facilmente gli ambienti, quindi è preferibile conda. Ho requisiti diversi dal caricare semplicemente le geopande. Ad esempio, utilizzo datacube, che consiglia python 3.6. In precedenza stavo eseguendo una versione superiore di python e mi piacerebbe avere un ambiente Python 3.6 attivo e funzionante in modo da poter vedere se questo risolve un altro problema che stavo avendo. Vorrei restringere la causa di questo errore in quanto voglio essere in grado di modificare facilmente il mio conda env yaml per provare ambienti diversi e potrei dover specificare più canali poiché un sospetto (per un altro problema) è prompt-toolkit , che sembra disponibile solo in una versione inferiore alla 3 dal canale esrf-bcu, ma questa è un'altra storia.
Quindi chiunque può aiutare a indicare
- Qual è esattamente il pacchetto / versione / build che potrebbe causare questo?
- Perché diavolo, anche nell'ambiente problematico, ha un impatto solo su ipython?
C'è una piccola differenza nella versione di python (3.6.11 che fallisce con 3.6.12 che ha successo), e questo è qualcosa che posso esplorare, ma questo lascia ancora la mia domanda sul perché la differenza tra ipython e python.
In altre notizie, odio Windows.
Importazione di fiona e percorso DLL
Aggiornamento 2020/11/02 Poiché l'errore sembra essere incentrato su fiona, l'ho ridotto a questo. Nella shell del prompt di anaconda, ho eseguito set PYTHONVERBOSE=1, quindi ho caricato ipython e ho provato a importare fiona:
In [1]: import fiona
# C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\site-packages\fiona\__pycache__\__init__.cpython-36.pyc matches C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\site-packages\fiona\__init__.py
# code object from 'C:\\Users\\guy.maskall\\anaconda3\\envs\\test36_cforge\\lib\\site-packages\\fiona\\__pycache__\\__init__.cpython-36.pyc'
# C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\site-packages\fiona\__pycache__\_loading.cpython-36.pyc matches C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\site-packages\fiona\_loading.py
# code object from 'C:\\Users\\guy.maskall\\anaconda3\\envs\\test36_cforge\\lib\\site-packages\\fiona\\__pycache__\\_loading.cpython-36.pyc'
import 'fiona._loading' # <_frozen_importlib_external.SourceFileLoader object at 0x0000020344DC0C88>
# C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\__pycache__\socket.cpython-36.pyc matches C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\socket.py
# code object from 'C:\\Users\\guy.maskall\\anaconda3\\envs\\test36_cforge\\lib\\__pycache__\\socket.cpython-36.pyc'
# extension module '_socket' loaded from 'C:\\Users\\guy.maskall\\anaconda3\\envs\\test36_cforge\\DLLs\\_socket.pyd'
# extension module '_socket' executed from 'C:\\Users\\guy.maskall\\anaconda3\\envs\\test36_cforge\\DLLs\\_socket.pyd'
import '_socket' # <_frozen_importlib_external.ExtensionFileLoader object at 0x0000020344DCED30>
# C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\__pycache__\selectors.cpython-36.pyc matches C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\selectors.py
# code object from 'C:\\Users\\guy.maskall\\anaconda3\\envs\\test36_cforge\\lib\\__pycache__\\selectors.cpython-36.pyc'
import 'selectors' # <_frozen_importlib_external.SourceFileLoader object at 0x0000020344DD9358>
import 'socket' # <_frozen_importlib_external.SourceFileLoader object at 0x0000020344DCE198>
# C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\site-packages\fiona\__pycache__\collection.cpython-36.pyc matches C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\site-packages\fiona\collection.py
# code object from 'C:\\Users\\guy.maskall\\anaconda3\\envs\\test36_cforge\\lib\\site-packages\\fiona\\__pycache__\\collection.cpython-36.pyc'
# C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\site-packages\fiona\__pycache__\compat.cpython-36.pyc matches C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\site-packages\fiona\compat.py
# code object from 'C:\\Users\\guy.maskall\\anaconda3\\envs\\test36_cforge\\lib\\site-packages\\fiona\\__pycache__\\compat.cpython-36.pyc'
import 'fiona.compat' # <_frozen_importlib_external.SourceFileLoader object at 0x0000020344DE76D8>
# C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\site-packages\fiona\__pycache__\vfs.cpython-36.pyc matches C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\site-packages\fiona\vfs.py
# code object from 'C:\\Users\\guy.maskall\\anaconda3\\envs\\test36_cforge\\lib\\site-packages\\fiona\\__pycache__\\vfs.cpython-36.pyc'
import 'fiona.vfs' # <_frozen_importlib_external.SourceFileLoader object at 0x0000020344DE7780>
---------------------------------------------------------------------------
ImportError Traceback (most recent call last)
<ipython-input-1-4c762272c079> in <module>()
----> 1 import fiona
C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\importlib\_bootstrap.py in _find_and_load(name, import_)
C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\importlib\_bootstrap.py in _find_and_load_unlocked(name, import_)
C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\importlib\_bootstrap.py in _load_unlocked(spec)
C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\importlib\_bootstrap_external.py in exec_module(self, module)
C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\importlib\_bootstrap.py in _call_with_frames_removed(f, *args, **kwds)
C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\site-packages\fiona\__init__.py in <module>()
84 import fiona._loading
85 with fiona._loading.add_gdal_dll_directories():
---> 86 from fiona.collection import BytesCollection, Collection
87 from fiona.drvsupport import supported_drivers
88 from fiona.env import ensure_env_with_credentials, Env
C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\importlib\_bootstrap.py in _find_and_load(name, import_)
C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\importlib\_bootstrap.py in _find_and_load_unlocked(name, import_)
C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\importlib\_bootstrap.py in _load_unlocked(spec)
C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\importlib\_bootstrap_external.py in exec_module(self, module)
C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\importlib\_bootstrap.py in _call_with_frames_removed(f, *args, **kwds)
C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\site-packages\fiona\collection.py in <module>()
9 with fiona._loading.add_gdal_dll_directories():
10 from fiona import compat, vfs
---> 11 from fiona.ogrext import Iterator, ItemsIterator, KeysIterator
12 from fiona.ogrext import Session, WritingSession
13 from fiona.ogrext import buffer_to_virtual_file, remove_virtual_file, GEOMETRY_TYPES
C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\importlib\_bootstrap.py in _find_and_load(name, import_)
C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\importlib\_bootstrap.py in _find_and_load_unlocked(name, import_)
C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\importlib\_bootstrap.py in _load_unlocked(spec)
C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\importlib\_bootstrap.py in module_from_spec(spec)
C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\importlib\_bootstrap_external.py in create_module(self, spec)
C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\importlib\_bootstrap.py in _call_with_frames_removed(f, *args, **kwds)
ImportError: DLL load failed: The specified procedure could not be found.
Ma poi, uscendo da ipython e accendendo Python diretto e provando a importare fiona, ottengo una tonnellata in più di output (salvandovi tutto, ma concentrandomi sul bit in cui ipython sembra salvarsi):
...
import 'fiona.compat' # <_frozen_importlib_external.SourceFileLoader object at 0x00000289AC978470>
# C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\site-packages\fiona\__pycache__\vfs.cpython-36.pyc matches C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\site-packages\fiona\vfs.py
# code object from 'C:\\Users\\guy.maskall\\anaconda3\\envs\\test36_cforge\\lib\\site-packages\\fiona\\__pycache__\\vfs.cpython-36.pyc'
import 'fiona.vfs' # <_frozen_importlib_external.SourceFileLoader object at 0x00000289AC997550>
# extension module 'fiona.ogrext' loaded from 'C:\\Users\\guy.maskall\\anaconda3\\envs\\test36_cforge\\lib\\site-packages\\fiona\\ogrext.cp36-win_amd64.pyd'
# extension module 'fiona._geometry' loaded from 'C:\\Users\\guy.maskall\\anaconda3\\envs\\test36_cforge\\lib\\site-packages\\fiona\\_geometry.cp36-win_amd64.pyd'
# extension module 'fiona._err' loaded from 'C:\\Users\\guy.maskall\\anaconda3\\envs\\test36_cforge\\lib\\site-packages\\fiona\\_err.cp36-win_amd64.pyd'
# extension module 'fiona._err' executed from 'C:\\Users\\guy.maskall\\anaconda3\\envs\\test36_cforge\\lib\\site-packages\\fiona\\_err.cp36-win_amd64.pyd'
import 'fiona._err' # <_frozen_importlib_external.ExtensionFileLoader object at 0x00000289AC9EE7F0>
# C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\site-packages\fiona\__pycache__\errors.cpython-36.pyc matches C:\Users\guy.maskall\anaconda3\envs\test36_cforge\lib\site-packages\fiona\errors.py
# code object from 'C:\\Users\\guy.maskall\\anaconda3\\envs\\test36_cforge\\lib\\site-packages\\fiona\\__pycache__\\errors.cpython-36.pyc'
import 'fiona.errors' # <_frozen_importlib_external.SourceFileLoader object at 0x00000289AC9EEFD0>
...
Questo è tuffarmi in viscere che non conosco davvero! Ma sembra che posso tranquillamente dire alcune cose:
- Sia ipython che python importano dallo stesso percorso (come speri)
- Dopo il punto in cui ipython si blocca, python segnala / commenta il caricamento del modulo di estensione fiona.ogrext, che è l'ultimo errore riportato nel traceback
- Inoltre, quell'errore è nel contesto di fiona._loading.add_gdal_dll_directories (), suggerendo che ha qualcosa a che fare con i percorsi DLL
Ma ancora una volta sono tornato a dover chiedere perché questa funzione, o trovare le DLL, si comporta in modo diverso in ipython rispetto a python?
Inoltre, ho verificato di vedere questo stesso comportamento su Windows 10 Pro versione 2004.
Risposte
Il problema specifico di importazione è stato risolto semplicemente specificando python 3.6.12 da 3.6.11, quindi:
conda create -n test36_12_cforge -c conda-forge python=3.6.12 ipython geopandas
(test36_12_cforge) C:\Users\guy.maskall>ipython
Python 3.6.12 |Anaconda, Inc.| (default, Sep 9 2020, 00:29:25) [MSC v.1916 64 bit (AMD64)]
Type "copyright", "credits" or "license" for more information.
IPython 5.8.0 -- An enhanced Interactive Python.
? -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help -> Python's own help system.
object? -> Details about 'object', use 'object??' for extra details.
In [1]: import geopandas as gpd
In [2]:
Do you really want to exit ([y]/n)?
(test36_12_cforge) C:\Users\guy.maskall>ipython
Python 3.6.12 |Anaconda, Inc.| (default, Sep 9 2020, 00:29:25) [MSC v.1916 64 bit (AMD64)]
Type "copyright", "credits" or "license" for more information.
IPython 5.8.0 -- An enhanced Interactive Python.
? -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help -> Python's own help system.
object? -> Details about 'object', use 'object??' for extra details.
In [1]: import fiona
In [2]:
Do you really want to exit ([y]/n)?
Sono riluttante ad accettare la mia risposta. Per una birra, se mai ci incontriamo, qualcuno può spiegare perché ci sarebbe questa differenza di comportamento a seconda che l'importazione sia stata eseguita da ipython o python?