ฉันจะแปลงเมทริกซ์กระจัดกระจาย scipy อย่างมีประสิทธิภาพให้เป็นเมทริกซ์ที่กระจัดกระจายอย่างมีประสิทธิภาพได้อย่างไร
ฉันมีเมทริกซ์ A ที่มีคุณสมบัติดังต่อไปนี้
<1047x1047 sparse matrix of type '<class 'numpy.float64'>'
with 888344 stored elements in Compressed Sparse Column format>
A มีเนื้อหานี้
array([[ 1.00000000e+00, -5.85786642e-17, -3.97082034e-17, ...,
0.00000000e+00, 0.00000000e+00, 0.00000000e+00],
[ 6.82195979e-17, 1.00000000e+00, -4.11166786e-17, ...,
0.00000000e+00, 0.00000000e+00, 0.00000000e+00],
[-4.98202332e-17, 1.13957868e-17, 1.00000000e+00, ...,
0.00000000e+00, 0.00000000e+00, 0.00000000e+00],
...,
[ 4.56847824e-15, 1.32261454e-14, -7.22890998e-15, ...,
1.00000000e+00, 0.00000000e+00, 0.00000000e+00],
[-9.11597396e-15, -2.28796167e-14, 1.26624823e-14, ...,
0.00000000e+00, 1.00000000e+00, 0.00000000e+00],
[ 1.80765584e-14, 1.93779820e-14, -1.36520100e-14, ...,
0.00000000e+00, 0.00000000e+00, 1.00000000e+00]])
ตอนนี้ฉันกำลังพยายามสร้างเมทริกซ์ที่กระจัดกระจายที่น่าเห็นใจจากเมทริกซ์กระจัดกระจาย scipy นี้
from sympy.matrices import SparseMatrix
A = SparseMatrix(A)
แต่ฉันได้รับข้อความแสดงข้อผิดพลาดนี้
ValueError: The truth value of an array with more than one element is ambiguous. Use a.any() or a.all().
ฉันสับสนเพราะเมทริกซ์นี้ไม่มีรายการตรรกะ
ขอบคุณสำหรับความช่วยเหลือ!
คำตอบ
ความผิดพลาด
เมื่อคุณได้รับข้อผิดพลาดที่คุณไม่เข้าใจให้ใช้เวลาสักครู่เพื่อดูการย้อนกลับ หรืออย่างน้อยก็แสดงให้เราเห็น!
In [288]: M = sparse.random(5,5,.2, 'csr')
In [289]: M
Out[289]:
<5x5 sparse matrix of type '<class 'numpy.float64'>'
with 5 stored elements in Compressed Sparse Row format>
In [290]: print(M)
(1, 1) 0.17737340878962138
(2, 2) 0.12362174819457106
(2, 3) 0.24324155883057885
(3, 0) 0.7666429046432961
(3, 4) 0.21848551209470246
In [291]: SparseMatrix(M)
---------------------------------------------------------------------------
ValueError Traceback (most recent call last)
<ipython-input-291-cca56ea35868> in <module>
----> 1 SparseMatrix(M)
/usr/local/lib/python3.6/dist-packages/sympy/matrices/sparse.py in __new__(cls, *args, **kwargs)
206 else:
207 # handle full matrix forms with _handle_creation_inputs
--> 208 r, c, _list = Matrix._handle_creation_inputs(*args)
209 self.rows = r
210 self.cols = c
/usr/local/lib/python3.6/dist-packages/sympy/matrices/matrices.py in _handle_creation_inputs(cls, *args, **kwargs)
1070 if 0 in row.shape:
1071 continue
-> 1072 elif not row:
1073 continue
1074
/usr/local/lib/python3.6/dist-packages/scipy/sparse/base.py in __bool__(self)
281 return self.nnz != 0
282 else:
--> 283 raise ValueError("The truth value of an array with more than one "
284 "element is ambiguous. Use a.any() or a.all().")
285 __nonzero__ = __bool__
ValueError: The truth value of an array with more than one element is ambiguous. Use a.any() or a.all().
ความเข้าใจอย่างถ่องแท้จำเป็นต้องอ่านsympyโค้ด แต่รูปลักษณ์แบบคร่าวๆบ่งชี้ว่ากำลังพยายามจัดการอินพุตของคุณเป็น "เมทริกซ์เต็ม" และดูที่แถว ข้อผิดพลาดไม่ได้เกิดจากการที่คุณทำการดำเนินการเชิงตรรกะกับรายการ แต่sympyกำลังทำการทดสอบเชิงตรรกะบนเมทริกซ์กระจัดกระจายของคุณ กำลังพยายามตรวจสอบว่าแถวนั้นว่างหรือไม่ (เพื่อข้ามไปได้)
SparseMatrixเอกสารอาจไม่ชัดเจนที่สุด แต่ตัวอย่างส่วนใหญ่อาจแสดงคำสั่งของจุดหรืออาร์เรย์แบบแบนของค่าทั้งหมดบวกรูปร่างหรือรายการที่ไม่สมบูรณ์ ฉันสงสัยว่ามันพยายามรักษาเมทริกซ์ของคุณด้วยวิธีนั้นโดยดูทีละแถว
แต่แถวของMมันเป็นเมทริกซ์เบาบาง:
In [295]: [row for row in M]
Out[295]:
[<1x5 sparse matrix of type '<class 'numpy.float64'>'
with 0 stored elements in Compressed Sparse Row format>,
<1x5 sparse matrix of type '<class 'numpy.float64'>'
with 1 stored elements in Compressed Sparse Row format>,
...]
และพยายามตรวจสอบว่าแถวนั้นว่างหรือไม่not rowทำให้เกิดข้อผิดพลาดนี้:
In [296]: not [row for row in M][0]
...
ValueError: The truth value of an array with more than one element is ambiguous. Use a.any() or a.all().
เห็นได้ชัดว่าSparseMatrixไม่สามารถจัดการscipy.sparseเมทริกซ์ได้ตามที่เป็นอยู่ (อย่างน้อยก็ไม่ใช่ในรูปแบบcsrหรือcscและอาจไม่ใช่แบบอื่น Plus scipy.sparseไม่ได้กล่าวถึงที่ใดก็ได้ในSparseMatrixเอกสาร!
จากอาร์เรย์หนาแน่น
การแปลงเมทริกซ์กระจัดกระจายให้เทียบเท่ากับความหนาแน่นได้ผล:
In [297]: M.A
Out[297]:
array([[0. , 0. , 0. , 0. , 0. ],
[0. , 0.17737341, 0. , 0. , 0. ],
[0. , 0. , 0.12362175, 0.24324156, 0. ],
[0.7666429 , 0. , 0. , 0. , 0.21848551],
[0. , 0. , 0. , 0. , 0. ]])
In [298]: SparseMatrix(M.A)
Out[298]:
⎡ 0 0 0 0 0 ⎤
...⎦
หรือรายชื่อรายการ:
SparseMatrix(M.A.tolist())
จาก dict
dokรูปแบบเมทริกซ์เก็บเบาบางเป็นdictซึ่งจากนั้นจะสามารถ
In [305]: dict(M.todok())
Out[305]:
{(3, 0): 0.7666429046432961,
(1, 1): 0.17737340878962138,
(2, 2): 0.12362174819457106,
(2, 3): 0.24324155883057885,
(3, 4): 0.21848551209470246}
ซึ่งทำงานได้ดีเป็นอินพุต:
SparseMatrix(5,5,dict(M.todok()))
ฉันไม่รู้ว่าอะไรมีประสิทธิภาพมากที่สุด โดยทั่วไปเมื่อทำงานร่วมกับsympyเรา (หรืออย่างน้อยฉัน) ไม่ต้องกังวลเรื่องประสิทธิภาพ แค่ให้มันใช้งานได้ก็เพียงพอแล้ว ประสิทธิภาพมีความเกี่ยวข้องมากกว่าในnumpy/scipyกรณีที่อาร์เรย์สามารถมีขนาดใหญ่และการใช้วิธีการ numpy ที่คอมไพล์อย่างรวดเร็วทำให้ความเร็วแตกต่างกันมาก
สุดท้าย - numpyและsympyไม่รวม นอกจากนี้ยังใช้กับเวอร์ชันกระจัดกระจาย ถูกสร้างขึ้นบนหลามไม่sympy numpyดังนั้นอินพุตในรูปแบบของรายการและคำสั่งจึงเหมาะสมที่สุด
from sympy.matrices import SparseMatrix
import scipy.sparse as sps
A = sps.random(100, 10, format="dok")
B = SparseMatrix(100, 10, dict(A.items()))
จากมุมมองของคนที่ชอบโครงสร้างหน่วยความจำที่มีประสิทธิภาพนี่เหมือนกับการจ้องมองลงไปในเหว แต่มันจะทำงาน
ข้อผิดพลาดนี้เป็นเวอร์ชันที่เรียบง่าย
from scipy import sparse
row = np.array([0, 0, 1, 2, 2, 2])
col = np.array([0, 2, 2, 0, 1, 2])
data = np.array([1, 2, 3, 4, 5, 6])
A = sparse.csc_matrix((data, (row, col)), shape=(3, 3))
ดังนั้นAเป็นเมทริกซ์เบาบางมี 6 องค์ประกอบ:
<3x3 sparse matrix of type '<class 'numpy.intc'>'
with 6 stored elements in Compressed Sparse Column format>
การเรียกSparseMatrix()ใช้จะส่งคืนข้อผิดพลาดแบบเดียวกับที่คุณมี คุณอาจต้องการแปลงAเป็นอาร์เรย์ numpy ก่อน:
>>> SparseMatrix(A.todense())
Matrix([
[1, 0, 2],
[0, 0, 3],
[4, 5, 6]])