Ünite 11: DAĞILIMI / FARKLILAŞMAYI ÖLÇMEK

Arjantin Senatosu Harcamaları Analizi (2004-2013)

2014 yılında Arjantin yönetimi, 2004-2013 yılları arasındaki kamu harcamalarını ham ve yapılandırılmamış PDF formatında yayınlamıştır. La Nacion gazetesi veri gazetecileri bu PDF'leri kazıyıp Excel ve CSV formatına dönüştürmüş, kamu harcamalarını manşet haber yaparak şeffaflık sağlamış ve bu çalışmayla uluslararası ödül kazanmıştır.

23 Temmuz 2016 Resmi Gazete OHAL KHK'sı

23 Temmuz 2016 tarihli Resmi Gazete'de yayınlanan 58 sayfalık OHAL Kanun Hükmünde Kararnamesi taranmış bir PDF dosyasıdır. Yapılandırılmamış ve resim formatında olduğu için makine okunabilirliği yoktur ve Tabula gibi doğrudan PDF kazıma araçlarıyla işlenemez.

Dünya Bankası Büyüme Oranları Veri Seti (1961-2015)

Dünya Bankası'nın sunmuş olduğu veri setinde 216 ülkenin 1961 ile 2015 yılları arasındaki yıllık GDP büyüme oranları yer almaktadır. Ders kapsamında bu veri seti Excel'de ortalama, standart sapma, açıklık ve değişim katsayısı hesaplamalarında örnek uygulama olarak kullanılmıştır.

#DIV/0! Hatası ve Ada Ülkeleri

Dünya Bankası büyüme verisi analiz edilirken bazı ada ülkelerinin verisi bulunmadığından büyüme değerleri sıfır kalmış ve değişim katsayısı hesaplanırken sıfıra bölme hatası nedeniyle Excel'de `#DIV/0!` uyarısı alınmıştır. Bu ülkeler analiz dışı tutulmak üzere tabloda farklı renkle işaretlenmiştir.

Anahtar Kavramlar

Açıklık (Range)Bir veri setinde yer alan en büyük değer ile en küçük değer arasındaki farktır. Değişkenliği ölçen en basit ölçüttür ancak uç değerlerden aşırı derecede etkilenir.

Varyans (Variance)Veri setindeki her bir değerin ortalamadan olan farklarının karelerinin ortalamasıdır. Standart sapmanın karesine eşittir ve birim karesel olduğu için yorumlanması zordur.

Standart Sapma (Standard Deviation)Bir veri setindeki değerlerin ortalamadan ne kadar saptığını ve farklılaştığını gösteren, varyansın karekökü alınarak bulunan temel istatistiksel ölçüttür. Veri setinin tipik temsilcisine olan ortalama uzaklığı ifade eder.

Değişim Katsayısı (Coefficient of Variation)Standart sapmanın ortalamaya oranlanmasıyla (Standart Sapma / Ortalama) elde edilen görelilik ölçütüdür. Ortalamaları birbirinden farklı olan veri setlerinin değişkenlik ve istikrar açısından karşılaştırılmasını sağlar.

Analysis ToolPakExcel içerisinde yer alan ve karmaşık betimsel istatistiksel analizleri (ortalama, standart sapma, çarpıklık, basıklık vb.) tek bir işlemle özet tablo halinde sunan gelişmiş bir eklentidir.

Özet Tablo (Pivot Table)Excel'de büyük ve karmaşık veri kümelerini satırlar, sütunlar, filtreler ve değerler boyutunda özetleyerek hızlıca analiz etmeye ve gruplandırmaya yarayan dinamik bir araçtır.

Makine Okunabilir Veri (Machine-Readable Data)Bilgisayar yazılımları tarafından doğrudan işlenebilen, yapılandırılmış (CSV, XLS, JSON gibi) veri formatıdır. Taranmış belgeler veya ham PDF'ler makine okunabilir nitelikte değildir.

TabulaElektronik ortamlarda oluşturulmuş PDF dosyaları içerisindeki tabloları algılayıp bunları CSV veya Excel formatına dönüştüren açık kaynaklı bir veri kazıma aracıdır.

Import.ioHTML tabanlı web sayfalarındaki yapılandırılmamış tablo ve listeleri URL adresi üzerinden otomatik olarak kazıyıp düzenli veriye çeviren web tabanlı bir veri kazıma yazılımıdır.

OpenRefineDağınık, hatalı, boşluklu veya uyumsuz veri setlerini temizlemek, dönüştürmek ve standart hale getirmek için web tarayıcısı üzerinde çalışan açık kaynaklı veri temizleme yazılımıdır.

Text FacetOpenRefine yazılımında bir sütundaki tekrarlayan metin değerlerini gruplandırarak kaçar kez geçtiklerini gösteren ve yazım farklılıklarını manuel düzenlemeye imkan tanıyan bir kategorileştirme aracıdır.

Kümeleme (Clustering)OpenRefine içerisinde birbirine çok benzen, hatalı veya farklı yazılmış kelimeleri algoritma yardımıyla tespit edip tek bir standart terim altında birleştirmeye yarayan otomatik temizleme fonksiyonudur.

Diğer Önemli Bilgiler

Tabula Kurulumu ve Java Gereksinimi

Açık kaynaklı PDF kazıma aracı olan Tabula'nın bilgisayarda çalışabilmesi için sistemde mutlaka Java yazılımının kurulu olması gerekmektedir. Tabula başlatıldığında bilgisayarın varsayılan web tarayıcısında yeni bir sekme açılarak arayüz üzerinden işlem yapılır.

MEB 2015-2016 Eğitim İstatistikleri Raporu Kazıma

Bilgi edinme hakkı kapsamında temin edilen MEB Eğitim İstatistikleri Raporu elektronik bir PDF dosyasıdır. Tabula uygulamasına yüklenerek eğitim bütçesi tablosu taranmış, satır ve sütunlar ayrılarak CSV formatına dönüştürülmüş ve Google E-Tablolar'a aktarılmıştır.

Türkiye Hükümetleri Wikipedia Verisi (Import.io)

Wikipedia üzerinde yer alan Türkiye'de iktidara gelen hükümetler listesi HTML tabanlı yapılandırılmamış bir veridir. Import.io aracına URL yapıştırılarak tablo sütunlara bölünmüş, CSV olarak indirilip Excel formatına dönüştürülerek makine okunabilir hale getirilmiştir.

2015 Yılı Müze ve Ören Yeri Ziyaretçi Verileri

Kültür ve Turizm Bakanlığı'na ait 2015 yılı müze ve ören yeri ziyaretçi sayıları veri seti, bilinçli olarak dağınık hale getirilerek OpenRefine eğitiminde kullanılmıştır. Veri setindeki adres karmaşası, yazım hataları ve düzensiz şehir isimleri OpenRefine ile temizlenmiştir.

Excel Aritmetik Biçimlendirme ve 8 Ondalık Kuralı

Excel programında hücreler önceden biçimlendirilmemişse, yapılan matematiksel işlemler sonucunda varsayılan olarak noktadan sonra 8 ondalıklı bir sayısal ifade görüntülenir. Ondalık basamak sayısını düzenlemek için hücreye sağ tıklanarak Format Cells > Number > Decimal Places adımları izlenmelidir.

Sınavda Dikkat Et

Sınavda iki veri setinin istikrarı/değişkenliği karşılaştırılırken ortalamalarının eşit olup olmadığına mutlaka dikkat edin; ortalamalar farklıysa standart sapmaya değil Değişim Katsayısına (CV) bakılır.
Açıklık (Range) hesabının sadece maksimum ve minimum değer farkı olduğunu, bu yüzden ekstrem (uç) değerlerden çok fazla etkilendiğini unutmayın.
Varyans ve Standart Sapma ilişkisine dair sorularda Varyansın 'Standart Sapmanın Karesi' olduğunu, Standart Sapmanın ise 'Varyansın Karekökü' olduğunu kural olarak hatırlayın.
Excel'de hesaplama sorularında formülün başında '=' işaretinin bulunmasının şart olduğunu, aksi takdirde ifadenin metin kabul edileceğini soru köklerinde gözden kaçırmayın.
Tabula'nın taranmış (resim/fotoğraf) PDF'lerde çalışmadığını, yalnızca elektronik ortamlarda üretilmiş PDF'lerde çalıştığını ve Java gerektirdiğini unutmayın.
Web sayfalarından (HTML) veri kazımak için Import.io, PDF tablolarından veri kazımak için Tabula, dağınık verileri temizlemek için ise OpenRefine araçlarının kullanıldığını eşleştirme soruları için ezberleyin.