मशीन लर्निंग मेट्रिक्स

मशीन लर्निंग मेट्रिक्स का उपयोग किसी विशेष कार्य पर मशीन लर्निंग मॉडल के प्रदर्शन का आकलन करने के लिए किया जाता है। कई अलग-अलग प्रकार के मूल्यांकन मेट्रिक्स हैं, और किस मीट्रिक का उपयोग करना है, यह कार्य की विशिष्ट विशेषताओं और उपयोग किए जा रहे मॉडल के प्रकार पर निर्भर करता है।

कुछ प्रमुख मीट्रिक में शामिल हैं:

सटीकता: यह सबसे अधिक इस्तेमाल किया जाने वाला मूल्यांकन मीट्रिक है, और यह केवल मॉडल द्वारा की गई सही भविष्यवाणियों का अनुपात है।

Accuracy= (Number of correct predictions) / (Total number of predictions)

Precision= (True positive) / (True positive + False positive)

Recall= (True positive) / (True positive + False negative)

F1 Score= 2 * (Precision * Recall) / (Precision + Recall)

वास्तविक सकारात्मक दर की गणना इस प्रकार की जाती है:

TPR = (True positive) / (True positive + False negative)

FPR = (False positive) / (False positive + True negative)

MSE = (1/n) * Σ(Predicted - True)²

मीन एब्सोल्यूट एरर (MAE): यह मीट्रिक आमतौर पर प्रतिगमन कार्यों के लिए भी उपयोग किया जाता है, और यह अनुमानित मूल्यों और वास्तविक मूल्यों के बीच औसत पूर्ण अंतर का एक उपाय है।

MAE = (1/n) * Σ|Predicted - True|

मान लीजिए कि हम यह भविष्यवाणी करने के लिए एक मशीन लर्निंग मॉडल विकसित कर रहे हैं कि क्या ग्राहक मंथन करेगा (यानी, किसी सेवा का उपयोग करना बंद कर देगा)। हमारे पास एक डेटासेट है जिसमें ग्राहकों के एक समूह के बारे में जानकारी है, जिसमें उनके जनसांख्यिकी, उपयोग के पैटर्न और क्या उन्होंने मंथन किया है। हम इस डेटा पर एक मॉडल को प्रशिक्षित करते हैं और परीक्षण डेटासेट पर भविष्यवाणियां करने के लिए इसका उपयोग करते हैं।

मॉडल के प्रदर्शन का मूल्यांकन करने के लिए, हम कई अलग-अलग मूल्यांकन मेट्रिक्स का उपयोग कर सकते हैं। उदाहरण के लिए, हम मॉडल की सटीकता की गणना उसके द्वारा की गई सही भविष्यवाणियों की संख्या की गणना करके कर सकते हैं (अर्थात, यह कितनी बार सही भविष्यवाणी करता है कि कोई ग्राहक मंथन करेगा) और भविष्यवाणियों की कुल संख्या से विभाजित करके। हम परीक्षण डेटासेट में अनुमानित मंथन दरों की वास्तविक मंथन दरों की तुलना करके मॉडल की सटीकता और रिकॉल की गणना भी कर सकते हैं।

एक अन्य विकल्प एयूसी-आरओसी वक्र की साजिश करना हो सकता है, जो झूठी सकारात्मक दर (यानी, गैर-मंथन करने वालों का अनुपात) के खिलाफ वास्तविक सकारात्मक दर (यानी, वास्तविक मंथन का अनुपात जो मॉडल द्वारा सही ढंग से भविष्यवाणी की गई थी) को प्लॉट करता है। गलत तरीके से मंथन के रूप में भविष्यवाणी की गई)। उच्च सटीकता और उच्च एयूसी-आरओसी स्कोर वाले मॉडल को अच्छा प्रदर्शन करने वाला माना जाएगा।

इस मामले में एक उत्पाद प्रबंधक के रूप में, आपका एक उद्देश्य (ओकेआर) यह सुनिश्चित करना हो सकता है कि मॉडल झूठी सकारात्मकताओं को कम करने के बीच एक संतुलन बनाता है (यानी, गलत भविष्यवाणी करता है कि एक ग्राहक मंथन करेगा) और वास्तविक सकारात्मक भविष्यवाणियों की संख्या को अधिकतम करना (यानी , सही ढंग से भविष्यवाणी करना कि ग्राहक मंथन करेगा)।

इस उद्देश्य तक पहुँचने के लिए, सटीकता को मापना और याद करना आवश्यक है, क्योंकि ये मीट्रिक मॉडल द्वारा की गई झूठी सकारात्मक और सही सकारात्मक भविष्यवाणियों की संख्या के बारे में जानकारी प्रदान करते हैं।

F1 स्कोर का उपयोग तब उद्देश्य की दिशा में प्रगति को ट्रैक करने के लिए किया जा सकता है, क्योंकि इसकी गणना सटीक और रिकॉल के बीच संतुलन के रूप में की जाती है, दोनों को ध्यान में रखते हुए, झूठी सकारात्मक संख्या और वास्तविक सकारात्मक भविष्यवाणियों की संख्या।

Precision = (True positive) / (True positive + False positive)
Recall= (True positive) / (True positive + False negative)
F1 Score= 2 * (Precision * Recall) / (Precision + Recall)|