Karar Zekası mı? Evet lütfen.

Bir süredir düzenli bir Medium okuyucusuyum ve benim için katılmamın ana nedenlerinden biri, insanların zor kazanılmış deneyimlerini cömertçe paylaşmasıydı.

Örneğin, "X'i seçmeden önce keşke bilseydim" hakkında okuduğumu hatırlıyorum; burada 'X', şirketimde yeni yaptığımız bir teknoloji seçimiydi. Makale, yüksek alevlerle yanan bir şeyin görüntüsüne sahipti.

İyi içgörüler, her zaman biraz şüpheyle alınmalı ve kendinize her zaman 'Tamam, şanssızlardı/çok erken/çok akıllı değiller' deyin. Farklıydı'. Arzuluyorsun…

Şimdi geri vermeye başlamamın, belki bazı okuyuculara biraz fikir vermenin veya en azından yalnız olmadıkları hissini vermenin, hatta belki de bu adamdan ve takım arkadaşlarından çok daha iyi olmanın sıcak hissini vermenin tam zamanı.

Şimdi, tıklama tuzağı başlığına gelecek olursak, 'Karar Zekası' içeren herhangi bir şey, haklı olarak, analitik alanında geçimini sağlamaya çalışan herkesin ilgisini çekmelidir.

Feragatname, geç biliyorum, bu metin özellikle Cassie Kozyrkov'un ( Cassie Kozyrkov ) çok iyi ifade ettiği şeyin öneminin bir başka teyidi . Gerçekten hakkında daha fazla bilgi edinmek istediğiniz şey buysa, bunu okumayı bırakın ve buraya gidin .

İşte başlıyoruz.

Parti hazır.

Bol miktarda veriye sahibiz ve verileri 'şarkı söyleme' konusunda gerçekten iyi olan insanlara sahibiz, verilerin sahiplerine sahibiz, verileri bir tur atmaktan başka bir şey istemeyen - hepimizin ondan ne yapabileceğimizi görmek için. Matematik sihirbazlarımız ve bilgisayar korsanlarımız var, iş adamlarımız var ve bir veya iki "bu alan hakkında herkesten daha çok şey biliyoruz". Drew Conway Venn şemasını defalarca ele aldık .

Ama nereden başlıyorsun? Orijinal "çalışma biçimimiz", eski (sic!) veri gölü zamanına geri dönerek, önce verileri almak, ardından iş aramaya çıkmaktı. Bu, çeşitli nedenlerle kolay değildi ve başlı başına bir konuydu (ipucu: önceki BI yolculuklarından hâlâ çok mutlu olmayan işletme sahiplerini havalı makine öğrenimi trenine atlamaya ikna etmeye çalışın).

Zamanla, pek çok soğuk görüşme ve yanlış anlaşılmadan sonra, hikaye anlatma ve bir MVP veya en azından bir POC için bir dava oluşturma konusunda daha iyi hale geldik ('POC mezarlıkları' burada Medium'da zaten ele alınmıştır/alılmalıdır, değilse lütfen ekleyin - bugünkü MLOps'un ana nedeni).

Doğru kişiyle konuş.

Açık, değil mi? Çok kolay değil. Daha büyük şirketlerde, bir analiz ekibi ile hedef müşterisi arasında birçok kişi vardır. Tüm bu insanlara ihtiyaç olduğuna eminim, ancak analitiği kullanarak bir fark yaratmak isteyen biri olarak asıl kararı veren kişiyle ve hedef alanla ilgili tüm ilgili ayrıntıları bilen kişi(ler) ile konuşmamız gerekiyor. /sistem/işlem/…

Bir projede, ben ve veri bilimi meslektaşım, belirli bir telekomünikasyon hizmetindeki arızaları tahmin etmek için modeller geliştirmek için birkaç ay (sonunda 6 aya yakın) harcadık. Bir noktada (sonunda) dahili bir analitik zirvesinde bir demo veriyorduk, üzerinde çalıştığımız şeyi ve arXiv'den yeni çıkmış, bazı projelerde denemekten hoşlanacağımız bazı harika derin öğrenme tekniklerini gösteriyorduk. lütfen, ne kadar havalı olacağını anlayın).

Kıdemli bir mühendis geldi. Devam eden kestirimci bakım projemizden bazı grafikler görmüştü. Yıllardır tam olarak bu telekomünikasyon hizmetiyle uygulamalı olarak çalıştığı için ilgilendi. Birçok. Yıllar Kibarca bazı soruları vardı. Bizi utandırmak istemediği açıktı ama sorular çok basitti ve çok açık bir şekilde bizi havalı olmaktan çok uzak gösteriyordu.

'Hangi hava durumu verilerini kullandınız? Karın bu konularda net bir etkisi olduğunu biliyorsunuz. Sıcak Yazlardan bahsetmiyorum bile, oğlum!' Yine, her iyi mühendis gibi sadece meraklıydı. Sonunda projemize büyük bir soru işareti koyan yorumla bitiriyoruz: 'Biliyorsunuz, bir şeyler bozulursa diye bunları her zaman yedek bileşenlerle çalıştırıyoruz'.

Peki burada ne olmuştu? Projeye iyi bir motivasyonla başladık: Bu sistemlerdeki arızaları tahmin etmenin değeri açıktı, bunu herkes biliyordu. Buna ek olarak, çözümü şirket içinde oluşturmak yerine dışarıdan satın alma planları da vardı.

Değer - kontrol edin.

Şirkete değerimizi kanıtlayan harici çözümü yendiğimizden emin olmak — evet, bunu yapacağız!

Doğru kişiyle konuşmak mı? Hayır, belli ki değil.

Ölçüyü doğru alın. Onay alın: ulaşılacak hedef, hedefe ulaşılırsa harekete geçme taahhüdü.

İlk uyarı işareti (yukarıdakiyle aynı projede), başarı ölçütlerini tartıştığımız zamandı, gerçek kararlar için tahminlerimizi kullanmak üzere iş dünyasından gerçekten bir taahhüt almaya çalıştık ve oraya ulaşmak için üzerinde anlaşmaya varılmış bir ölçütümüz olması gerekiyordu ve bu metriğe bağlı bir değer.

Uyarı işareti, ilk toplantılardan birinde, harici tedarikçinin işimizi 'çok yüksek doğrulukla' etkilediği sıradaydı. Şimdi. Bu ortamlarda arızalar nadirdir (tahmini modelleme yapmayı ekstra zorlaştırır). Çok nadir. O kadar nadir ki, herkes varsayılan kukla modeli getirebilir ve büyük bir doğruluk elde edebilir. Başarısızlık olacağını tahmin etmiyorum. Oh, %99 doğruluk elde ettim, harika!'. Hayır, havalı değil.

Böylece, bir şekilde, kullanılacak doğru metrik hakkında bazı sorular sorarak ve kendi işimizin bunun neden satıcının ucuz bir numarası olduğunu anlamasını sağlayarak projedeki yerimizi kazandık.

Şimdi. Bir metrik ve ulaşacağımız bir hedef bulabildik mi? Ve bunlar, eğer kullanılırsa, verilerimize dayanarak analizimize dayalı kararlar alınırsa, şirkete getireceği gerçek değere mi dayanıyordu?

Evet ve hayır. Açıkça tam olarak anlaşılmamış ve kurulmamıştı ve sonunda modellerimizin performansı (satıcınınkini geride bıraktı) kullanılabilecek kadar yüksek değildi. Harici bir çözüm satın almayarak (zaten kullanılmayacak olan) şirkete çok para kazandırdık. Ama aylar önce durdurabilirdik.

Daha fazla örnek, aynı hatalar

İkinci örnekte, sizi zaten kaybetmediysem, hepimiz iyi bir metin sınıflandırıcı (müşteri destek alanını düşünün) oluşturmaya yardımcı olmak için (o zamanlar) tüm saçmalık olan bir grup derin öğrenme mimarisini denemeye başladık. ).

Değer yine açıktı ve diğerleri (harici veri bilimi ekibi) denemişti. Çok daha kısa sürede çok daha iyisini yapabilirdik. Çantamıza bir sürü yeni alet aldık ve onu kullanacaktık.

Tekrar. Evet, rakiplerimizden çok daha iyi iş çıkardık ve onların aldığı sürenin bir kısmını ben aldım. Peki kullanıldı mı?

Hayır. Bu seferki daha pratik kısıtlamalardan kaynaklanıyordu: evet, metinleri 40'tan fazla makul grup halinde sınıflandırabildik, hepsi de hizmet çalışanları için mükemmel bir anlam ifade ediyordu. Ancak, gerçekte, posta ileti dizileri sınıfların üzerinden geçiyordu, artı hizmet görevlileri birçok sınıfı paralel olarak ele alıyordu (elbette) ve - çoğu zaman olduğu gibi - bizim çözdüğümüz sorun, onların önce çözmesi gereken sorunlardan çok uzaktı. Temelde 40'tan önce 240 zımpara öneriyorduk.

Ve ayrıca bu durumda sonuna kadar doğru insanlarla konuşamadık. Ve yine, geliştirdiğimiz şeyi (yeterince iyiyse) kullanma taahhüdünü önceden kabul etmedik.

Ödevini yap

Belki yukarıdan bir ders daha çıkar:

Başkalarının daha önce denemiş olması, sorunun doğru bir şekilde formüle edildiğini garanti etmez.

Her iki örnekte de önceki takımlardan ve kafa kafaya rekabetten daha iyi sonuçlar aldık. Yine de, oynamak için doğru oyun olduğu anlamına gelmez. Ders sanırım 'Ödevini yap!' şeklinde özetlenebilir.

Yukarıda beş yıl öncesinden örnekler vardı. Hem son beş yıldan hem de gelecekteki hatalardan kesinlikle daha fazlasını bekleyin.