การถดถอยเชิงเส้นในเชิงลึก
สมการเชิงเส้นตรง การถดถอยเชิงเส้นอย่างง่าย คณิตศาสตร์ ฟังก์ชันต้นทุน
การถดถอยเชิงเส้นเป็นโมเดลแมชชีนเลิร์นนิงที่พบมากที่สุดและเป็นก้าวแรกสู่แมชชีนเลิร์นนิง คำว่าการถดถอยเชิงเส้นสามารถเชื่อมโยงกับแนวคิดของโรงเรียนมัธยมเกี่ยวกับสมการเชิงเส้นตรงหรือแบบจำลองทางสถิติสำหรับการกำหนดความสนใจเชิงเส้นระหว่างตัวแปรสองตัวหรือมากกว่า
พื้นฐานของการถดถอยเชิงเส้นคือการหาเส้นที่เหมาะกับชุดของจุดมากที่สุด เซตของจุดสามารถแทนด้วยคู่ของจุด x และ y โดยที่ X เป็นตัวแปรอิสระของแบบจำลอง และ Y แทนตัวแปรตาม
สมการเชิงเส้นตรง
เพื่อให้ได้แบบจำลองทางสถิติ เราจะเริ่มด้วยสมการคำสั่งของเส้นตรง สมการของเส้นตรงเป็นเครื่องมืออันทรงพลังในการทำความเข้าใจคุณสมบัติและพฤติกรรมของเส้น และสามารถใช้ในบริบททางคณิตศาสตร์และโลกแห่งความจริงที่หลากหลาย สมการของเส้นตรงสามารถแสดงได้หลายรูปแบบ แต่รูปแบบทั่วไปรูปแบบหนึ่งคือ "รูปแบบจุดตัดความชัน" หรือที่เรียกว่า "รูปแบบจุดตัดแกน y" รูปแบบของสมการนี้แสดงเป็น:
ที่ไหน:
- a คือความชันของเส้น (หรือที่เรียกว่า “การไล่ระดับสี”) ซึ่งแสดงถึงความชันของเส้น มันคืออัตราส่วนของการเปลี่ยนแปลงใน y ต่อการเปลี่ยนแปลงใน x
- x และ y เป็นพิกัดของจุดใดๆ บนเส้นตรง
- b คือจุดตัดแกน y ซึ่งเป็นจุดที่เส้นตรงตัดแกน y (คือจุดที่ x = 0)
- เทอมด้านซ้ายของสมการ (yhat) แทนค่าที่เราคาดการณ์ตามพารามิเตอร์อินพุต x
ฟังก์ชันต้นทุน
เมื่อกำหนดรูปแบบความชัน-จุดตัดแล้ว เรายังคงต้องกำหนดฟังก์ชันต้นทุนและฟังก์ชันการสูญเสีย ฟังก์ชันการสูญเสียคือการจับความแตกต่างระหว่างค่าจริงและค่าที่คาดการณ์ไว้สำหรับเรกคอร์ดเดียว ในขณะที่ฟังก์ชันต้นทุนจะรวมความแตกต่างสำหรับชุดข้อมูลการฝึกอบรมทั้งหมด และเป้าหมายของฟังก์ชันต้นทุนคือลดข้อผิดพลาดให้น้อยที่สุด หนึ่งในฟังก์ชันต้นทุนทั่วไปที่ใช้ในการถดถอยเชิงเส้นคือฟังก์ชันต้นทุน Mean Squared Error (MSE) มันถูกกำหนดเป็น:
ที่ไหน:
- N คือจำนวนจุดข้อมูล
- y_i คือค่าจริงของ y สำหรับจุดข้อมูล i-th
- x_i คือค่าของ x สำหรับจุดข้อมูล i-th
- Σ หมายถึงผลรวมของการสังเกตทั้งหมด
- และ a และ b เป็นพารามิเตอร์ของโมเดล
ฟังก์ชันต้นทุนอื่นที่ใช้กันอย่างแพร่หลายคือ Mean Absolute Error (MAE) และถูกกำหนดเป็น:
สุดท้าย แต่ไม่ท้ายสุด ฟังก์ชันต้นทุนที่เรียกว่าผลรวมของข้อผิดพลาดกำลังสอง (SSE) ที่จะใช้ในบทความนี้เพื่อหารูปแบบทางสถิติโดยใช้แคลคูลัสสามารถกำหนดได้ดังนี้:
การถดถอยเชิงเส้น
การถดถอยเชิงเส้นเป็นวิธีการทางสถิติที่ใช้ในการจำลองความสัมพันธ์ระหว่างตัวแปรตาม (หรือที่เรียกว่าตัวแปรตอบสนอง) และตัวแปรอิสระหนึ่งตัวหรือมากกว่า (หรือที่เรียกว่าตัวแปรทำนาย) เป้าหมายของการถดถอยเชิงเส้นคือการหาเส้นที่เหมาะสมที่สุด (หรือไฮเปอร์เพลนในหลายมิติ) ที่อธิบายความสัมพันธ์ระหว่างตัวแปร กระบวนการถดถอยเชิงเส้นอย่างง่ายเกี่ยวข้องกับการค้นหาค่าของพารามิเตอร์ a และ b ที่ลดความแตกต่างระหว่างค่าที่คาดการณ์ของ y (ตามสมการเส้นตรง) และค่าจริงของ y ความแตกต่างนี้ถูกหาปริมาณโดยฟังก์ชันต้นทุน ซึ่งเป็นสมการทางคณิตศาสตร์ที่วัดความแตกต่างระหว่างค่าที่คาดการณ์และค่าจริง
ในการหาค่าของพารามิเตอร์ a และ b เราจำเป็นต้องแสดงความชันและค่าตัดแกน y โดยใช้อนุพันธ์ย่อย ทีนี้ มาหาอนุพันธ์บางส่วนของฟังก์ชันต้นทุนเทียบกับพารามิเตอร์ a
หลังจากนั้น เราได้อนุพันธ์ย่อยของฟังก์ชันต้นทุนตามพารามิเตอร์ b รากศัพท์จะคล้ายกับรากศัพท์ของฟังก์ชันต้นทุนกับพารามิเตอร์
หลังจากการอนุพันธ์บางส่วน เราได้สมการสองสมการ หลังจากปรับพีชคณิตอย่างง่ายแล้ว เราได้รับผลลัพธ์ที่ต้องการเพื่อแสดงพารามิเตอร์การค้นหา จากการปรับเหล่านี้ เราได้รับนิพจน์ของพารามิเตอร์การค้นหาที่สามารถใช้ในการถดถอยเชิงเส้นสำหรับการทำนาย
หลังจากได้รับนิพจน์ของพารามิเตอร์การค้นหาแล้ว เราสามารถไปยังการใช้งานในภาษาการเขียนโปรแกรมไพธอนได้ เราจะใช้นิพจน์ที่ได้รับของพารามิเตอร์ a และ b ยิ่งไปกว่านั้น เราจะใช้และได้รับประสิทธิภาพของโมเดลโดยการกำหนด R-squared R-Squared (R² หรือค่าสัมประสิทธิ์ของการกำหนด) เป็นการวัดทางสถิติในแบบจำลองการถดถอยที่กำหนดสัดส่วนของความแปรปรวนในตัวแปรตามที่สามารถอธิบายได้ด้วยตัวแปรอิสระ กล่าวอีกนัยหนึ่ง r-squared แสดงให้เห็นว่าข้อมูลเหมาะสมกับแบบจำลองการถดถอย (ความพอดี) ได้ดีเพียงใด
import numpy as np
X = [1, 2, 3, 4, 5]
Y = [2, 3, 4, 5, 6]
X = np.array(X)
Y = np.array(Y)
denominator = X.dot(X) - X.mean() * X.sum()
a = ( X.dot(Y) - Y.mean() * X.sum() ) / denominator
b = ( Y.mean() * X.dot(X) - X.mean() * X.dot(Y) ) / denominator
Yhat = a*X + b
SSres = Y - Yhat
SStotal = Y - Y.mean()
r2 = 1 - SSres.dot(SSres) / SStotal.dot(SStotal)
import numpy as np
from sklearn.linear_model import LinearRegression
X = np.array([[1, 1], [1, 2], [2, 2], [2, 3]])
Y = np.dot(X, np.array([1, 2])) + 3
reg = LinearRegression().fit(X, Y)
reg.score(X, Y)
การถดถอยเชิงเส้นพหุคูณในเชิงลึก
หากคุณชอบบทความอย่าลืมติดตามฉันเพื่อติดตามบทความใหม่ของฉัน





































![รายการที่เชื่อมโยงคืออะไร? [ส่วนที่ 1]](https://post.nghiatu.com/assets/images/m/max/724/1*Xokk6XOjWyIGCBujkJsCzQ.jpeg)