अजगर शब्दकोशों की सूची में pyspark डेटाफ़्रेम परिवर्तित

Nov 29 2020

नमस्ते, मैं pyspark में नया हूँ और मैं pyspark.sql.dataframe को शब्दकोशों की सूची में बदलने की कोशिश कर रहा हूँ।

नीचे मेरा डेटाफ़्रेम है, यह प्रकार है <वर्ग 'pyspark.sql.dataframe.DataFrame'>:

+------------------+----------+------------------------+
|             title|imdb_score|Worldwide_Gross(dollars)|
+------------------+----------+------------------------+
| The Eight Hundred|       7.2|               460699653|
| Bad Boys for Life|       6.6|               426505244|
|             Tenet|       7.8|               334000000|
|Sonic the Hedgehog|       6.5|               308439401|
|          Dolittle|       5.6|               245229088|
+------------------+----------+------------------------+

मैं इसे इसमें बदलना चाहूंगा:

[{"title":"The Eight Hundred", "imdb_score":7.2, "Worldwide_Gross(dollars)":460699653},
 {"title":"Bad Boys for Life", "imdb_score":6.6, "Worldwide_Gross(dollars)":426505244},
 {"title":"Tenet", "imdb_score":7.8, "Worldwide_Gross(dollars)":334000000},
 {"title":"Sonic the Hedgehog", "imdb_score":6.5, "Worldwide_Gross(dollars)":308439401},
 {"title":"Dolittle", "imdb_score":5.6, "Worldwide_Gross(dollars)":245229088}]

मुझे यह कैसे करना चाहिए? अग्रिम में धन्यवाद!

जवाब

1 mck Nov 29 2020 at 19:38

आप प्रत्येक पंक्ति को एक शब्दकोश में मैप कर सकते हैं और परिणाम एकत्र कर सकते हैं:

df.rdd.map(lambda row: row.asDict()).collect()