hackernoon.com Open in urlscan Pro
2606:4700:20::681a:b59  Public Scan

Form analysis
2 forms found in the DOM

<form novalidate="" class="ais-SearchBox-form" action="" role="search"><input type="search" placeholder="Discover Anything" autocomplete="off" autocorrect="off" autocapitalize="off" spellcheck="false" required="" maxlength="512" value=""
    class="ais-SearchBox-input"><button type="submit" title="Submit your search query." class="ais-SearchBox-submit"><svg class="ais-SearchBox-submitIcon" xmlns="http://www.w3.org/2000/svg" width="10" height="10" viewBox="0 0 40 40">
      <path
        d="M26.804 29.01c-2.832 2.34-6.465 3.746-10.426 3.746C7.333 32.756 0 25.424 0 16.378 0 7.333 7.333 0 16.378 0c9.046 0 16.378 7.333 16.378 16.378 0 3.96-1.406 7.594-3.746 10.426l10.534 10.534c.607.607.61 1.59-.004 2.202-.61.61-1.597.61-2.202.004L26.804 29.01zm-10.426.627c7.323 0 13.26-5.936 13.26-13.26 0-7.32-5.937-13.257-13.26-13.257C9.056 3.12 3.12 9.056 3.12 16.378c0 7.323 5.936 13.26 13.258 13.26z">
      </path>
    </svg></button><button type="reset" title="Clear the search query." class="ais-SearchBox-reset" hidden=""><svg class="ais-SearchBox-resetIcon" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 20 20" width="10" height="10">
      <path d="M8.114 10L.944 2.83 0 1.885 1.886 0l.943.943L10 8.113l7.17-7.17.944-.943L20 1.886l-.943.943-7.17 7.17 7.17 7.17.943.944L18.114 20l-.943-.943-7.17-7.17-7.17 7.17-.944.943L0 18.114l.943-.943L8.113 10z"></path>
    </svg></button></form>

<form class="sc-2c3a4fc6-0 iJsfya newsletter-form" style="width: 100%; border-bottom: 1px solid white; padding-bottom: 30px;">
  <div style="width: 100%;">
    <h2 style="font-weight: 400; margin-top: 10px; font-size: 22px;">The HackerNoon Newsletter</h2>
  </div>
  <p style="color: rgb(229, 231, 235); width: 100%; text-align: left; font-style: normal; font-size: 14px;">Quality Reads About Technology Infiltrating Everything</p>
  <div class="sc-ea2620d9-0 jLbGYS"><label><input placeholder="name@company.com" name="email" type="email" required="" class="sc-2c3a4fc6-1 dsnAcm newsletter-form-input" value=""
        style="border: 1px solid white; border-radius: 10px; padding: 25px;"></label></div><button class="sc-ea2620d9-3 gvfHpO newsletter-form-button">Subscribe </button><label class="sc-ea2620d9-1 bvuZZA" style="width: 100%;"><input type="checkbox"
      required="" name="agreed"> Yes, I agree to receive electric content at Noon by HackerNoon</label>
</form>

Text Content

LoginReadWrite
Notifications
Hundreds of Templates, Editable Story Drafts & Improved Speed - All in
HackerNoon’s Latest Version of Mobile App. Download Now!
04/30/2024
NEW🔥Create your Pixelated Avatar with Hackernoon Today - Try it now! 🏃
04/12/2024
New alert! 🚨 One-tap Google login and signup is now live on HackerNoon! Give it
a try! 🚀
03/19/2024
This is a reminder to drink more water, and maybe get off your bed and exercise
a bit? 😂 Whatever you do, we support you. Stay hydrated while browsing
HackerNoon 💚
03/08/2024
You can now WRITE ANYWHERE with the HackerNoon Mobile App! Experience today 💚
03/08/2024
Time to update all your call-to-actions to gain more traffic 🚗🛵🚌
03/08/2024
What's trending in the HackerNoon Community today?
03/08/2024
What's new on HackerNoon this week? Find out now!
03/08/2024
New! Pixelated Icons Open Sourced by HackerNoon
01/30/2024
HackerNoon's original documentary is officially here! Watch Web 2.5 Today!
01/30/2024
see 3 more

LOGIN / SIGNUP
READ
Discover (Sort By)
Tech
Software
Tech Categories
TOP STORIES
Trending
Latest
Translations
WRITE
Start Writing
Story Templates
Writing Contests
Publish on HackerNoon
LEARN
Self-Paced Courses
Tech Deep Dives
Build Skillzz
WATCH WEB 2.5
COMPANIES
Top Tech Companies
Trending Companies
Tech Company News Pages
Startups Worldwide
ABOUT
Company
People
Software
HELP
Writers
Visitors
STARTUPS
Startups of the Year
Partner
JOBS
Find Top Tech Jobs
CRYPTO
Trending Coins (based on reader interest)
Top Crypto Stories
SHOP
Best Sellers
Accessories
ADVERTISE
Partnerships

 * READ
 * TOP STORIES
 * WRITE
 * LEARN
 * WATCH WEB 2.5
 * COMPANIES
 * ABOUT
 * HELP
 * STARTUPS
 * JOBS
 * CRYPTO
 * SHOP
 * ADVERTISE

Apply now and work #LikeABosch

Makine Öğreniminde Model Kalibrasyonu: Önemli Ama Göze Çarpan Bir
Kavram ile@sanjaykn170396



3,268 okumalar
3,268 okumalar



MAKINE ÖĞRENIMINDE MODEL KALIBRASYONU: ÖNEMLI AMA GÖZE ÇARPAN BIR KAVRAM

ile Sanjay Kumar


SANJAY KUMAR


@SANJAYKN170396

Data scientist | ML Engineer | Statistician

6 dk. read2023/01/28
Read this story in a terminal
Print this story
Read this story w/o Javascript

EN
Read this story in the original language, English!
TR
Bu hikayeyi Türkçe okuyun!
KO
이 이야기를 한국어로 읽어보세요!
DE
Lesen Sie diese Geschichte auf Deutsch!
BN
এই গল্পটি বাংলায় পড়ুন!
ES
Lee esta historia en Español!
HI
इस कहानी को हिंदी में पढ़ें!
ZH
用繁體中文閱讀這個故事！
VI
Đọc câu chuyện này bằng tiếng Việt!
FR
Lisez cette histoire en Français!
PT
Leia esta história em português!
JA
この物語を日本語で読んでください！
TR


ÇOK UZUN; OKUMAK

Kalibrasyon, makine öğrenmesindeki en önemli kavramlardan biridir. Özellikle
sınıflandırma modellerinde bir model tahminine ne kadar güvenebileceğimizi bize
anlatır. Makine öğrenmesi sınıflandırıcılarının sayısal çıktılarının anlamlı
yorumlanması için kalibrasyonun iyi anlaşılması bir zorunluluktur. Bu makalede,
makine öğrenimi modeli kalibrasyonunun arkasındaki teoriyi ve bunun önemini bazı
basit gerçek hayattan örneklerle tartışacağız.

Bu ses hikayenin orijinal dilinde üretilmiştir!Your browser does not support
theaudio element.
1x
Read by Dr. One
Ses Sunan:



SANJAY KUMAR

@sanjaykn170396

Data scientist | ML Engineer | Statistician


İÇINDEKILER

 * giriiş
 * Model kalibrasyonunun arkasındaki konsept
 * Model kalibrasyonunun bazı gerçek zamanlı uygulamaları
 * Çözüm
 * Referanslar


GIRIIŞ

Kalibrasyon - Makine öğrenimindeki en önemli kavramlardan biri olmasına rağmen,
AI/ML alanına yeni başlayan meraklılar arasında yeterince konuşulmuyor.
Kalibrasyon bize, özellikle sınıflandırma modellerinde, bir model tahminine ne
kadar güvenebileceğimizi anlatır. Makine öğrenmesi sınıflandırıcılarının sayısal
çıktılarının anlamlı yorumlanması için kalibrasyonun iyi anlaşılması bir
zorunluluktur. Bu makalede, makine öğrenimi modeli kalibrasyonunun arkasındaki
teoriyi ve bunun önemini bazı basit gerçek hayattan örneklerle tartışacağız.


MODEL KALIBRASYONUNUN ARKASINDAKI KONSEPT

Bir makine öğrenimi modeli, kalibre edilmiş olasılıklar üretiyorsa kalibre
edilir. Daha spesifik olarak, olasılıklar, p güvenine sahip bir sınıfın
tahmininin zamanın yüzde 100*p'sinde doğru olduğu durumda kalibre edilir.




Karmaşık mı görünüyor?




Basit bir örnekle anlayalım:




Belirli bir günde yağmur yağıp yağmayacağını tahmin etmek için bir makine
öğrenimi modeli oluşturmamız gerektiğini düşünelim. Yalnızca 2 olası sonuç
olduğundan - "Yağmur" ve "Yağmur Yok", bunu ikili bir sınıflandırma modeli
olarak düşünebiliriz.




Unsplash'ta Osman Rana'nın fotoğrafı




Burada “Yağmur” 1 ile temsil edilen pozitif bir sınıftır ve “Yağmur Yok” ise 0
ile temsil edilen negatif bir sınıftır.




Belirli bir gün için modelin tahmini 1 ise o günün yağmurlu geçeceğinin
beklendiğini düşünebiliriz.




Benzer şekilde, eğer modelin belirli bir gün için tahmini 0 ise o günün yağmurlu
olmayacağının beklendiğini düşünebiliriz.




Gerçek zamanlı olarak, makine öğrenimi modelleri genellikle tahminleri bazı
olasılık değerlerini temsil eden sayısal bir vektör olarak temsil eder.




Yani her zaman 0 veya 1 değerini almamız şart değil. Genellikle tahmin edilen
değer 0,5'ten büyük veya ona eşitse 1, tahmin edilen değer 0,5'ten küçükse 0
olarak kabul edilir. .




Örneğin, modelin belirli bir gün için tahmini 0,66 ise bunu 1 olarak kabul
edebiliriz. Benzer şekilde modelin belirli bir gün için tahmini 0,24 ise bunu 0
olarak kabul edebiliriz.




Modelimizin önümüzdeki 10 günün sonucunu şu şekilde tahmin ettiğini varsayalım:

Resim kaynağı: Yazar tarafından çizilmiştir




Olasılık değeri 0,5'ten büyük veya ona eşitse tahminin "Yağmur" olduğunu
görebiliriz.

Benzer şekilde olasılık değeri 0,5'ten küçükse tahminin "Yağmur Yok" olduğunu
görebiliriz.




Şimdi istatistiksel soru şu:




> “Olasılık değerleri sonuç için gerçek olasılık değerleri midir?”




Başka bir deyişle, eğer olasılık değerim 0,8 ise bu o günün yağmurlu olma
ihtimalinin %80 olduğu anlamına mı gelir?




Eğer olasılık değerim 0,2 ise bu, günün yağmurlu olma ihtimalinin %20 olduğu
anlamına mı gelir?




İstatistiksel olarak modelimin kalibre edildiğini iddia ediyorsam cevabım “Evet”
olmalıdır.




Olasılık değerleri, çıktı sınıfını belirlemek için yalnızca eşik değerleri
olmamalıdır. Bunun yerine, sonucun gerçek olasılığını temsil etmelidir.




Burada 1. Günün olasılık değeri 0,81 iken 10. Günün olasılık değeri yalnızca
0,76'dır. Bu, her iki günde de yağmur yağma ihtimali olmasına rağmen, 1. Günün
yağmurlu olma ihtimalinin 10. Güne göre %5 daha fazla olduğu anlamına gelir. Bu,
sonucun olasılıksal tahmininin gücünü gösterir. İyi bir istatistikçi, eğer böyle
bir modele sahipse, buna benzer çok sayıda sonuçtan çok sayıda model çıkarımı
yapacaktır.




İstatistikçilerin model kalibrasyonunu grafiksel olarak nasıl yorumladıklarını
görelim.

0'dan 1'e kadar olan değerlerin X ekseninde eşit olarak bölündüğü buna benzer
bir grafik düşünün.

Resim kaynağı: Yazar tarafından çizilmiştir




Şimdi her grupta sonucu olasılık değerlerine göre çizin.

Örneğin,




0,6-0,8 numaralı kümelerde 4 veri noktamız var - 4. Gün, 8. Gün, 9. Gün ve 10.
Gün.

Resim kaynağı: Yazar tarafından çizilmiştir




Benzer şekilde diğer tüm kovalar için de aynı işlemi uygulayabiliriz.

Resim kaynağı: Yazar tarafından çizilmiştir

Şu ana kadar sadece tahmin edilen değerleri çizdik.




Pozitif sınıfımız “Yağmur” olduğuna göre her bir kovadaki gerçek değeri “Yağmur”
olan değerlerin türevini alalım.


Resim kaynağı: Yazar tarafından çizilmiştir




Şimdi her grupta pozitif sınıfın kesrini bulun:


Resim kaynağı: Yazar tarafından çizilmiştir




Bu aşamaya ulaşıldığında, bu kesirli değerleri Y ekseni boyunca bir çizgi olarak
çizin.


Resim kaynağı: Yazar tarafından çizilmiştir




Çizgi düzgün bir doğrusal yapıda değil. Bu, modelimizin iyi kalibre edilmediği
anlamına gelir. İyi kalibre edilmiş bir modelin tablosu şöyle görünürdü:

Resim kaynağı: Yazar tarafından çizilmiştir




İdeal olarak, iyi kalibre edilmiş bir model, 3. kovada (0,4-0,6) "Yağmur"
olasılığının %40-%60 civarında olmasını bekler. Ancak modelimiz, sonucun
“Yağmur” olma ihtimalinin yalnızca %30 olduğunu veriyor. Bu önemli bir sapmadır.
Bu tür sapmaları diğer kovalarda da görmek mümkün.




Bazı istatistikçiler, modelin performansını değerlendirmek için kalibre edilmiş
eğri ile modelin olasılık eğrisi arasındaki alanı kullanır. Alan küçüldüğünde,
model eğrisi kalibre edilmiş eğriye daha yakın olacağından performans daha
yüksek olacaktır.




Resim kaynağı: Yazar tarafından çizilmiştir


MAKINE ÖĞRENIMINDE MODEL KALIBRASYONUNUN BAZI GERÇEK ZAMANLI UYGULAMALARI

ML uygulamalarının son kullanıcılarının etkili ve anlayışlı karar verme için
model kalibrasyonuna bağlı olduğu birçok gerçek zamanlı senaryo vardır:




 1. Bir e-ticaret platformu için sıralamaya dayalı bir model oluşturduğumuzu
    düşünelim. Bir model iyi kalibre edilmişse, öneri amacıyla olasılık
    değerlerine güvenilebilir. Örneğin model, kullanıcının A Ürününü beğenme
    ihtimalinin %80, B Ürününü beğenme ihtimalinin ise %65 olduğunu söylüyor.
    Dolayısıyla kullanıcıya ilk tercih olarak A Ürününü, B Ürününü ise
    kullanıcıya önerebiliriz. ikinci tercih olarak.
    
    
    

 2. Klinik araştırmalar söz konusu olduğunda bazı doktorların ilaç
    geliştirdiğini düşünün. Model, tedavi için 2 ilacın çok etkili olduğunu
    öngörüyorsa - İlaç A ve İlaç B. Şimdi doktorlar, risk alamayacakları için
    listeden mevcut en iyi seçeneği seçmelidirler çünkü bu, tedavi için oldukça
    riskli bir denemedir. insan hayatı. Eğer model A İlacı için %95 ve B İlacı
    için %90 olasılık değeri veriyorsa o zaman doktorların A İlacını tercih
    edecekleri açıktır.
    


ÇÖZÜM


Bu makalede, model kalibrasyonunun teorik temellerini inceledik ve bazı basit
gerçek hayattan örnekler aracılığıyla bir sınıflandırıcının kalibre edilip
edilmediğini anlamanın önemini tartıştık. Makine öğrenimi modelleri için
"Güvenilirlik" oluşturmak, araştırmacılar için genellikle onu geliştirmekten
veya sunuculara dağıtmaktan daha büyük bir zorluktur. Tahmin edilen olasılığın
ilgi çekici olduğu durumlarda model kalibrasyonu son derece değerlidir. Modelin
tahminindeki belirsizliğin anlaşılmasını veya anlaşılmasını sağlar ve buna bağlı
olarak modelin güvenilirliğinin, özellikle kritik uygulamalarda son kullanıcı
tarafından anlaşılmasını sağlar.




Umarım bu yazı bu kavrama bir önsöz edinmenize ve önemini anlamanıza yardımcı
olmuştur. Konuyu derinlemesine anlamak için referans bölümünde bahsedilen
materyallere başvurabilirsiniz.


REFERANSLAR

 1. Kalibrasyon - Vikipedi
 2. Gebel, Martin (2009). Sınıflandırıcı puanlarının olasılık uzayına çok
    değişkenli kalibrasyonu (PDF) (Doktora tezi). Dortmund Üniversitesi.
 3. UM Garczarek "2004-11-23 tarihinde Wayback Machine'de arşivlendi ,"
    Standardize Bölme Uzaylarında Sınıflandırma Kuralları, Tez, Dortmund
    Üniversitesi, 2002
 4. . Hastie ve R. Tibshirani, "İkili bağlantıyla sınıflandırma. İçinde: MI
    Jordan, MJ Kearns ve SA Solla (ed.), Sinirsel Bilgi İşleme Sistemlerinde
    Gelişmeler, cilt 10, Cambridge, MIT Press, 1998.





L O A D I N G
. . . comments & more!




ABOUT AUTHOR

Sanjay Kumar@sanjaykn170396
Data scientist | ML Engineer | Statistician
Read my storiesRead My Stories


ETİKETLERİ ASIN

machine-learning #artificial-intelligence #machine-learning #data-science
#statistics #binary-classification #evaluation-metrics #predictive-modeling
#hackernoon-top-story

LANGUAGES

EnglishTürkçePortuguêsहिंदीTiếng Việt中国人বাংলাEspañol日本語Deutsch한국인Français

BU YAZI...

Permanent on Arweave
Read this story in a terminal
 Terminal
Read this story w/o Javascript
 Lite

İLGİLİ ÖYKÜLER

Zehirli Bir Yöneticinin Üretkenliği ve Ekip Çalışmasını Bozan 4 Alışkanlığı
by dariasup


Jan 01, 1970
#toxic-workplaces
I bought Forbse.com
by guittetv


Jan 01, 1970
#growth-hacking
My Story in 12 Questions & Answers
by dorelb


Jan 01, 1970
#tech-interviews

Join HackerNoon
Latest technology trends. Customized Experience. Curated Stories. Publish Your
Ideas


ABOUT

 * Careers
 * Contact
 * Cookies
 * Emails
 * Help
 * Privacy
 * Sitemap
 * Shareholders
 * Startups 2023
 * Testimonials
 * Terms
 * Updates


READ

 * Archive
 * Categories
 * Image Gallery
 * Leaderboard
 * Learn Repo
 * Noonification
 * Signup
 * Tech Beat
 * Tech Brief
 * Tech Tags
 * Terminal Reader
 * Top Stories


WRITE

 * Distribution
 * Editing Protocol
 * Editor Tips
 * Guidelines
 * Help
 * New Story
 * Perks
 * Process
 * Subscribers
 * Story Templates
 * Testimonials
 * Why Write


BUSINESS

 * Billboard
 * Book Demo Meeting
 * Business Blogging
 * Case Studies
 * Company Directory
 * Crypto Directory
 * Live Business Posts
 * Newsletters
 * Niche Targetting
 * Partnerships
 * Startup Package
 * Writing Contests


THE HACKERNOON NEWSLETTER

Quality Reads About Technology Infiltrating Everything


Subscribe Yes, I agree to receive electric content at Noon by HackerNoon
Get our mobile app on
App Store Get our mobile app on
Google Play
© 2023 HackerNoon. All rights reserved - PO Box 2206, Edwards, Colorado 81632,
USA


HACKERNOON