Yeni başlayanlar için yazdığımız yazılar yolculuğundanki son yazı ile bu konudaki yazılarımızı tamamlamış oluyoruz. Daha önce paylaştığım yazılara sayfa sonundaki linklerden erişebilirsiniz.
Bu çalışmamızda bir veri bilimi projesi neleri içerir, hangi aşamalardan geçerek bir veri bilimi projesi ortaya çıkar, temel hatları ile incelemeye çalışacağım.
Veri bilimi çok farklı alanlarda elde edilen verilerden yola çıkarak belli algoritmalar(makine öğrenmesi) yardımı ile bilgisayarların hesaplama kabiliyetlerinden faydalanarak, verilerden anlamlı sonuçlar çıkarıp ve bu verileri faydalı çıktılara dönüştürme süreçleridir. Aşağıda görselini oluşturmaya çalıştığım çalışmada, veri biliminin ne tür sorulara/sorunlara hangi yöntemleri kullanarak çözümler üretmeye çalıştığını görebilirsiniz en temel anlamı ile.
A/B Testleri :
Bu tür çözümler çıktının sadece iki cevabının olduğu durumlar için kullanılır. Yani sorulan soruların alınan cevapları, Evet -Hayır, 1 – 0, olumlu – olumsuz gibi çıktıların olduğu durumlar için kullanılabilir.
Bu farklı mıdır ?
Elde edilen değerlerin mevcut değerler ile olan ilişkisinin kestirimsel olarak eldeki veriler ile olan benzerliğini yada farklılığını anlamak için yapılan çözümler, örneğin anomali tespiti işlemleri gibi.
Ne kadar ? Nasıl ?
Bu tür sorular sayısal sonuçların elde edildiği ve nasıl sorusuna cevap arandığı , örneğin bugün hava sıcaklığı kaç derece olacak ? Günlük satışlarımız ne kadar ?, gibi problemlerin çözümünde regresyon algoritmaları kullanarak çözümler üretilebilir.
Bu işleri nasıl organize edeceğiz ?
Eldeki verilerin, yapılacak işlerin organizasyonu ile ilgili bir problemimiz var ise kümeleme algoritmalarından faydalanarak bu sorunlar için çözümler arayabiliriz.
Kümeleme algoritması verileri özelliklere, renklere veya diğer ortak özelliklere göre düzenler ve gruplandırabilirler.
Veri bilimi Projesi Aşamaları :
Başlığımızın konusu olan noktaya geldiğimize göre bir veri biliminin hangi aşamalardan geçerek bir çözümü ürettiği ve proje döngüsünü nasıl tamamladığını inceleyelim.
Aşağıdaki görselde veri bilimi projesinin aşamalarını inceleyebilirsiniz. Tabi burada belirtilen aşamalar katı kurallar ile zorunluluk belirten işlem aşamalarını oluşturmuyor, eldeki imkanlar ve verilere göre bu aşamalar artabilir, azalabilir yada kendi içerisinde tekrarlayabilir süreçleri içermektedir.
Ana başlıkları ile görseldeki adımları özet bir şekilde inceleyelim,
1- Keşif : Her keşif doğru sorulan soruların ve doğru takip edilen adımların neticesinde gelir. Rastgele keşifler mümkün değildir. Bizlerde bir veri bilimi projesi için öncelikle doğru soruları sorarak ve iyi tanımlanmış problemlerden yola çıkarak bir proje hazırlığı yapmamız gerekir. Bu süreçte temel ihtiyaçları iyi belirlemeli, proje için ihtiyaç olacak tüm gereksinimleri (ekip, ekipman, zaman, veri ve hedeflenen çıktımız) iyi tanımlamalıyız ki nereden başladık, nasıl hareket ettik ve nereye varacağız sorularına cevap verebilelim.
2- Veri Hazırlama : Problemi tanımladık, veriler elde ancak bu veriler model için ne kadar kullanışlı, nasıl bu verileri kullanacağız, en önemlisi biz bu verileri hesaplamaya girdi olarak verince veriler arasındaki ilişkiyi bulabilecek miyiz ? Bu soruların yanıtlarını alabilmek için eldeki verileri bir takım ön işlemlerden geçirerek modelimizde kullanabileceğimiz seviyeye getirmeli ve bu şekilde modelimizi eğitmeliyiz. Veri hazırlama işlemi de kendi içerisinde bazı aşamalardan oluşuyor.
- Veri Temizleme
- Veri Azaltma
- Veri Dönüştürme
- Veri Görselleştirme
gibi aşamalardan geçerek verimizi hazır hale getirmeliyiz.
3- Model Planlama: Modeli oluşturma aşamasında çeşitli yöntemler ve araçlardan faydalanarak eldeki verileri girdi olarak işlediğimizde bize doğruluk oranı en yüksek sonucu verebilecek bir sonuç üretecek araç ve yöntemleri kullanmamız gerekir.
Bazı araçlar ki daha önce bahsetmiştik detaylı bilgiye linkten erişebilirsiniz;
- Python
- R
- SAS
- SQL Analitik Servisleri
4- Uygulama aşaması : Modeli oluşturup ve istenen doğruluk değerlerini elde ettikten sonra artık modelimizi uygulamaya alabiliriz, bu aşamada yaptığımız modeli devreye alıp, artık sonuçlarını gerçek uygulama üzerinden izleyebiliriz.
5- Değerlendirme: Son aşamada ise uygulama sonuçlarını gözlemleyip değerlendirmeler yaparak, modelde ve çalışmada hedeflenilen noktaya varılıp varılmadığı değerlendirilir, ihtiyaç duyulması halinde modelde yeni optimizasyonlar yapılarak mümkün olan en uygun sonuç alınacak şekilde çalışmamız tamamlanır. Tabi burda tamamlanan aslında ilk uygulama aşamasıdır, süreç içerisinde daha uygun yöntemler keşfedilerek modelde doğruluk seviyesini artıracak ara çalışmalar her zaman yapılmalıdır.
Yeni başlayanları için bir yol klavuzu olmak noktasında başladığımız yazılarımızın sonuna gelmiş bulunuyoruz, bu noktada yazıyı bitirmeden veri bilimi projelerinin hangi alanlarda ne tür uyulamalar olduğuna dair bazı örnekleri aşağıda bulabilirsiniz.
Resim ve Ses Tanıma Uygulamaları: Hepimizin kullandığı sosyal medya alanlarında(Facebook, Twitter, Instagram) dikkatinizi çekmiştir, paylaşılan resimlerde yapılan etiketlemeler birer resim tanıma algoritmasının arka planda çalıştığını gösterir.
Örneğin “Hey Siri”, ” Ok Google”, “Alexa” uygulamalarında bir ses tanıma algoritması çalışmaktadır.
İnternet Aramaları :Aynı şekilde internet arama motorlarında yaptığımız her türlü arama(resim, video, ses, metin) çalışmalarının arka planında bir makine öğrenmesi algoritması ve genelinde bir veri bilimi çalışması yapılmaktadır.
Sürücüsüz Araçlar: Bazı örnekleri ile zaman zaman karşılaştığınız ve yakın gelecekte bir çok araç öncelikle tehlikeli işlerde çalışılan alanlarda sürücüsüz araçlar hayatımıza daha fazla girecektir, işte bu sürücüsüz araçları hareket ettiren yapının arka planında derin öğrenme algoritmaları çalışmaktadır.
Sağlık : Sağlık alanında da yapay zeka çalışmaları şu an çeşitli alanlarda kullanılmaktadır. Örneğin meme kanseri, boğaz kanseri, akciğer kanseri vb. gibi alanlarda görüntülerden önemli doğruluk düzeylerinde tespitler yapabilmekte ve karar destek süreçlerinde tıp doktorlarına önemli noktalarda yardımcı araç görevleri yapmaktadırlar.
Öneri Sistemleri: En temel anlamı ile hergün kullanmakta olduğumuz internet aramalarında , yapılmış olunan arama sonuçlarına göre arkaplanda bir makine öğrenmesi algoritması çalışmakta ve arama kriterlerine bağlı olarak çeşitli önerilerde bulunmaktadırlar. Örneğin, bir kitap aradığınızda o kitaba eşlenik olarak yada sizin aradığınız kitabı daha önce arayıp beğenenler ve başka kitaplar alan kişilerin verilerinden elde edilen değerlendirmeler neticesinde sizede kitap önerileri sunmalarının altında yine makine öğrenmesi algoritmaları ve bunların genelinde veri bilimi daha da üst noktada ise yapay zeka çalışmaları yeralmaktadır.
Risk Analizleri: Bankalar, finans kuruluşları ve dahi bir çok kurum kendi risk analizlerini oluşturarak finansal dengelerini elde edilen veriler ile oluşturulan modeller desteği ile yapmaktadırlar. Nasıl ki bir bankadan kredi talebinde bulunduğunuzda size kredi verilip verilmeyeceğini, hangi oranlarda verilen kredinin geri dönüşü olup olmayacağı gibi tahminsel kararları yine makine öğrenmesi algoritmaları ve dahilince veri bilimi çalışmaları neticesinde oluşturulan modeller ile yapılmaktadır.
Üretim Proseslerinde Makine bakım onarım kestirimleri : Fabrikalarda endüstri 4.0 bağlamında yapılan çalışmalarda da yine veri bilimi alanında çalışmalar yapılmaktadır, elde edilen verileri doğru değerlendirip ilerde çıkabilecek arızalara ve oluşabilecek olumsuzluklara önlem alma noktasında yapılan çalışmalar ile üretim süreçlerini sekteye uğratmamak için yine makine öğrenmesi algoritmaları ve veri bilimi çalışmaları yeralmaktadır.
Yazılarımıza örnek uygulama çalışmaları ile devam edeceğiz.
Bugün ve yakın geleceğin dünyası bu üç teknoloji üzerinde şekillenecektir.
-> Yapay Zeka (Veri bilimi, Makine Öğrenmesi, Derin Öğrenme) -> Görme – Düşünme – Değerlendirme
-> IoT ( Verileri Toplama)
-> Blockchain (Tüm bu süreçleri en üst seviyede koruma ve merkeziyetsiz bir sistem.)
https://www.datasciencearth.com/veri-bilimi-projesi-yasam-dongusuasamalari/