Ünite 8: 8. Ün te - İşlemtabloları le Ver Madenc l ğ

180 Günlük Evaluation Sürümü

Microsoft SQL Server 2012 Enterprise Edition yazılımının tüm özelliklerini içeren deneme sürümü, öğrencilerin ve analistlerin veri madenciliği çalışmalarını ücretsiz test edebilmeleri için 180 gün boyunca tam yetkiyle sunulmaktadır.

SQL Server Kurulumunda Kritik Mod Seçimi

Analysis Services yapılandırılırken 'Multidimensional and Data Mining Mode' seçilmelidir. Eğer yanlışlıkla 'Tabular Mode' seçilirse, Excel veri madenciliği eklentisi SSAS motoru ile sağlıklı iletişim kuramaz ve işlemler başarısız olur.

Veri Hazırlığının Zaman Maliyeti

Veri analitiği projelerinde analistlerin toplam çalışma enerjisinin ve zamanının %50'sinden fazlası verinin temizlenmesi, aykırılıkların giderilmesi ve hazırlanması aşamasına harcanmaktadır.

6195 Personel Kaydı Örneği

Kitapta sunulan Örnek 1 kapsamında, büyük ölçekli bir şirkette çalışan 6195 personelin evlilik durumu, cinsiyet ve yıllık gelir bilgileri Classify sihirbazı ile analiz edilerek evlilik kararlarındaki faktörler modellenmiştir.

Anahtar Kavramlar

Veri ModeliVerileri anlamlı bilgilere dönüştüren, gözlem ve analizlerle keşfedilen ilişkileri ve hipotezleri temsil eden matematiksel veya mantıksal yapılardır.

Veri Madenciliği AlgoritmasıBüyük veri yığınları içerisindeki gizli örüntüleri, ilişkileri, kuralları ve trendleri ortaya çıkarmak için kullanılan istatistiksel ve yapay zekâ tabanlı matematiksel hesaplama yöntemleridir.

SQL ServerMicrosoft tarafından geliştirilen, veri madenciliği eklentisinin ihtiyaç duyduğu veritabanı altyapısını ve Analysis Services servislerini barındıran ilişkisel veritabanı yönetim sistemidir.

SSAS (SQL Server Analysis Services)Excel veri madenciliği sihirbazlarının arkasında çalışan, veri madenciliği algoritmalarını ve modellerini yürüten motor görevindeki analiz servisidir.

Excel Veri Madenciliği EklentisiExcel tablolarındaki verileri SSAS motoruna bağlayarak gelişmiş veri madenciliği algoritmalarının Excel arayüzünden çalıştırılmasını sağlayan istemci yazılımıdır.

Verinin HazırlanmasıVeri madenciliği işlemlerinin sağlıklı yapılabilmesi için verilerin gözden geçirilmesi, temizlenmesi, aykırılıkların giderilmesi ve uygun şekilde örneklenmesi sürecidir.

Verinin ModellenmesiHazırlanmış verilerin sınıflandırma, kümeleme veya birliktelik gibi algoritmalarla işlenerek geleceğe yönelik kestirimler ve desenler üretilmesi aşamasıdır.

Örnekleme (Sampling)Büyük bir veri setinden, analiz veya test süreçlerinde kullanılmak üzere belirli kurallara göre seçilen temsil yeteneğine sahip alt veri gruplarının oluşturulmasıdır.

Aykırılık (Outlier)Veri seti içerisinde beklenen aralığın çok dışında olan, yanlış yazılmış veya boş bırakılmış, modelin doğruluğunu olumsuz etkileyen sıra dışı değerlerdir.

Rastgele ÖrneklemeVeri setindeki her bir satırın eşit seçilme şansına sahip olduğu, veriyi modelleme ve test gruplarına bölmek için kullanılan tarafsız örnekleme yöntemidir.

Amaçlı Örnekleme (Oversampling)Veri setinde nadir bulunan önemli durumların, yeni oluşturulan örneklemde daha sık yer almasını sağlayarak modelin bu durumları daha iyi öğrenmesini amaçlayan yöntemdir.

Sınıflandırma (Classification)Mevcut verilerden yola çıkarak yeni durumların hangi kategoriye ait olacağını tahmin etmek amacıyla kullanılan, kategorik sonuçlar üreten modelleme yöntemidir.

Tahminleme (Estimation)Sonuç değerlerinin miktar, para birimi veya zaman gibi sürekli sayısal değerler olduğu durumlarda, girdilere bağlı olarak sayısal sonuçlar öngören modelleme türüdür.

Kümeleme (Clustering)Verileri kendi içerisindeki benzerliklerine göre homojen gruplara ayıran, önceden tanımlanmış hedef sınıf etiketi gerektirmeyen gözetimsiz öğrenme yöntemidir.

Birliktelik Analizi (Association)İşlem verilerinde birlikte satın alınan veya gerçekleşen ögeler arasındaki ilişkileri ve kuralları ortaya çıkaran pazar-sepet analizi yöntemidir.

Öngörüleme (Forecasting)Zaman serisi verilerindeki tarihsel trendleri analiz ederek gelecekteki zaman dilimlerine ait değerleri tahmin etmek için kullanılan regresyon tabanlı yöntemdir.

Çapraz Doğrulama (Cross-Validation)Veri setini birden fazla bölüme ayırarak her bölümü sırayla test verisi olarak kullanan ve modelin tutarlılığını ölçen gelişmiş doğrulama tekniğidir.

Tahmin Sorgusu (Prediction Query)Oluşturulmuş ve eğitilmiş bir veri madenciliği modelinin, yeni ve bilinmeyen veriler üzerine uygulanarak kestirimler üretilmesi sürecidir.

Diğer Önemli Bilgiler

Personel Analizinde %70 Örneklem Oranı

6195 personelden oluşan veri seti üzerinde gerçekleştirilen sınıflandırma modelinde, desenlerin keşfedilmesi ve karar ağacının eğitilmesi amacıyla kayıtların %70'i örneklem olarak kullanılmıştır.

Termos Satış Öngörüsü Örneği

Örnek 2'de bir termos üreticisinin Temmuz 2013 ile Haziran 2016 tarihleri arasındaki satış verileri Forecast sihirbazı ile analiz edilerek gelecek dönemlerin il bazlı satış trendleri çıkarılmıştır.

Kasım 2016 Ankara Satış Artışı Öngörüsü

Termos üreticisi örneğinde zaman serisi analizi sonucunda, Kasım 2016'da Temmuz 2013'e kıyasla Ankara ilinde %1.728,17 oranında olağanüstü bir satış artışı gerçekleşeceği öngörülmüştür.

Kasım 2016 İstanbul ve İzmir Öngörüleri

Aynı termos satış modelinde, Kasım 2016 dönemi için İstanbul ilinde %489,57 oranında, İzmir ilinde ise %32,96 oranında satış artışı gerçekleşeceği tahmin edilmiştir.

Bebek Bezi ve Pil Birlikteliği

Kendimizi Sınayalım bölümünde yer alan klasik pazar sepeti örneğinde, bebek bezi satın alan müşterilerin %25'inin aynı zamanda pil de satın aldığı birliktelik analizi ile tespit edilmiştir.

Kız ve Erkek Öğrenci Silgi Tercihi

Kitapta yer alan sınıflandırma örneğinde, kız öğrencilerin pembe renk silgi, erkek öğrencilerin ise beyaz renk silgi satın alma eğiliminde olduğu Classify sihirbazı ile kurallara bağlanmıştır.

Microsoft Office Visio Entegrasyonu

Browse sihirbazı ile elde edilen karmaşık karar ağaçları ve ilişki diyagramları, daha profesyonel raporlama ve vektörel çizimler için doğrudan Microsoft Office Visio yazılımına aktarılabilmektedir.

DMX (Data Mining Extensions) Dili

Trace sihirbazı ile Excel ve SSAS arasındaki tüm veri madenciliği işlemleri DMX ifadeleri olarak kaydedilir. Bu dil, SQL benzeri yapısıyla madencilik modellerini sorgulamak için kullanılır.

Varsayılan Veritabanı Adı: DMAddinsDB

Excel Data Mining eklentisi için SSAS yapılandırılırken, sihirbaz tarafından kullanıcılara önerilen ve arka planda tüm modelleri saklayan varsayılan veritabanı katalog adı DMAddinsDB'dir.

Sınavda Dikkat Et

SQL Server kurulumunda 'Multidimensional and Data Mining Mode' seçeneğine dikkat edin; Tabular Mode seçilirse Excel veri madenciliği eklentisi çalışmaz.
Oversampling (Amaçlı Örnekleme) sihirbazının sadece Excel tablolarındaki verilerde uygulanabildiğini, dış veri kaynaklarında doğrudan çalışmadığını unutmayın.
Classify sihirbazının kategorik (nitel) sonuçları, Estimate sihirbazının ise sürekli sayısal (nicel) sonuçları tahmin etmek için kullanıldığını ayırt edin.
Associate (Birliktelik) sihirbazının çalışabilmesi için veri tablosunun mutlaka kayıt-işleme (transaction table) formatında olması gerektiğini sınavda aklınızda bulundurun.
Forecast sihirbazının çalışabilmesi için veri setinde mutlaka tarih veya saat gibi bir 'durum serisi' sütununun bulunması zorunludur.
Sınıflandırma modellerinin performansının 'İyileşme Grafiği' (Lift Chart), tahminleme modellerinin ise 'Serpme Diyagramı' ile test edildiğini unutmayın.