PySparkからMSSQLに接続します
Nov 29 2020
spark.read.jdbcを使用してPySparkからMSSQLDBに接続しようとしています。
import os
from pyspark.sql import *
from pyspark.sql.functions import *
from pyspark import SparkContext;
from pyspark.sql.session import SparkSession
sc = SparkContext('xx')
spark = SparkSession(sc)
spark.read.jdbc('DESKTOP-XXXX\SQLEXPRESS',
"""(select COL1, COL2 from tbl1 WHERE COL1 = 2) """,
properties={'user': sa, 'password': 12345, 'driver': xxxx})
わからないのでsc = SparkContext('xx')
、'driver': xxxx
どのパラメーターを渡す必要がありますか?
回答
2 mck Nov 29 2020 at 17:27
serveraddress
データベースのアドレスに置き換えます。
sc = SparkContext()
spark = SparkSession(sc)
spark.read \
.format('jdbc') \
.option('url', 'jdbc:sqlserver://serveraddress:1433') \
.option('user', 'sa') \
.option('password', '12345') \
.option('dbtable', '(select COL1, COL2 from tbl1 WHERE COL1 = 2)')