การรวบรวมนิพจน์
ฉันมีสองรุ่น $m_1$ และ $m_2$และฉันต้องการรวบรวมพวกเขาเป็นโมเดลสุดท้าย ฉันต้องการเพิ่มน้ำหนักอย่างน้อยหนึ่งอย่างตามการค้นหาแบบกริด มีแนวคิดหลักสองข้อที่อยู่ในใจของฉันเมื่อทำเช่นนั้น:
- กำหนดครอบครัวของแบบจำลอง $m_1 \cdot a + m_2 \cdot (1 - a)$, ที่ไหน $0 < a < 1$ค้นหาไฟล์ $a$ ที่ให้คะแนนดีที่สุด
- กำหนดครอบครัวของแบบจำลอง $m_1^a \cdot m_2^{1 - a}$, ที่ไหน $0 < a < 1$ค้นหาไฟล์ $a$ ที่ให้คะแนนดีที่สุด
อย่างไรก็ตามในบางกรณีฉันเคยเห็นนางแบบชั้นนำในการแข่งขัน Kaggleทำสิ่งที่แตกต่างกันพอสมควรเช่นมีรูปแบบสุดท้ายของฟอร์ม$m_1^a + m_2^b$.
คำถามของฉันคืออะไรคือข้อดีและข้อเสียของทุกโซลูชัน? พวกเขาทำงานได้ดีขึ้นเมื่อใดและพวกเขาทำงานได้แย่ลงเมื่อใด วงดนตรีประเภทที่สามเหมาะสมเมื่อใดและมีการปรับแก้ฮิวริสติกแบบใดบ้าง$a$ และ $b$เหรอ?
คำตอบ
นั่นเป็นคำถามเชิงประจักษ์ คำตอบจะเปลี่ยนไปสำหรับรุ่นต่างๆและชุดข้อมูลที่แตกต่างกัน
แนวทางที่ดีที่สุดคือการใช้การตรวจสอบความถูกต้องข้ามเพื่อดูว่าเทคนิคการประกอบชุดใดมีคะแนนดีที่สุดในเมตริกการประเมินสำหรับข้อมูลที่ระบุ
คุณสามารถตั้งคำถามเดียวกันกับอัลกอริทึม Machine Learning ทุกตัวได้และคำตอบก็ยังคงเหมือนเดิม
ข้อดีของการถดถอยเชิงเส้นเหนือต้นไม้ตัดสินใจคืออะไร? ในการตอบคำถามนี้คุณสามารถกำหนดได้ทางคณิตศาสตร์ ในกรณีของคุณคำจำกัดความทางคณิตศาสตร์ดูเหมือนง่ายนั่นคือค่าเฉลี่ยถ่วงน้ำหนักหรือค่าเฉลี่ยทางเรขาคณิต
รุ่นใดทำงานได้ดีกว่ารุ่นอื่นเมื่อใด ลองใช้การตรวจสอบความถูกต้องข้ามกัน
น่าเศร้าที่วิธีการทางวิทยาศาสตร์ใน Machine Learning ทำได้โดยการลองผิดลองถูก การบอกว่าค่าพารามิเตอร์ของไฮเปอร์พารามิเตอร์ก่อนหน้านี้จะเป็นเท่าใดนั้นไม่น่าเชื่อถือ
คุณ "พิสูจน์" ว่าอัลกอริทึมทำงานใน ML เมื่อคุณเรียกใช้ผ่านชุดข้อมูลและทำงานได้ดีกว่าที่เหลือ
กลับมาที่คำถามของคุณสิ่งที่เกิดขึ้นใน kaggle มักจะเป็นสิ่งที่ก้าวหน้าที่สุด ดังนั้นถ้ามันอยู่ที่นั่นมันก็คุ้มค่าที่จะลองดู
ฉันเห็นด้วยกับ Brain โซลูชันที่จะทำงานได้ดีขึ้นคือโซลูชันที่เหมาะสมกับข้อมูลของคุณมากขึ้น
โปรดทราบว่าหากคุณมีพารามิเตอร์เพียงตัวเดียวคุณสามารถหาค่าที่เหมาะสมที่สุดแทนการค้นหาแบบตาราง เรา จำกัด กลุ่มวิธีการแก้ปัญหาของคุณดังนั้นฉันจึงไม่คาดหวังว่าจะได้รับผลประโยชน์อย่างมีนัยสำคัญ แต่ไม่มีเหตุผลที่จะไม่ใช้