İstatistiksel araştırmalarda evrenin tüm birimlerinin incelenmesine tamsayım denir. Ancak her durumda tamsayım yapmak mümkün veya pratik değildir. Örneğin bir fakültede kayıtlı N=2000 öğrenci içerisinden n=200 öğrenciden oluşan bir örneklem seçildiğinde, bu örneklem cinsiyet ve yaş aralığı gibi değişkenler bakımından evreni temsil edebiliyorsa 'temsili örneklem' adını alır. Evrenin sonsuz evren olması durumunda tamsayım yapmak kesinlikle imkansızdır. Bir bisküvi fabrikasında üretilen paketlerin ağırlıklarının denetlenmesi sürecinde üretim sürdükçe yeni paketler evrene dahil olur; dolayısıyla bu bisküvi paketleri evreni sonsuz bir evrendir ve örnekleme başvurmak zorunludur. Evren sonlu olduğunda tamsayım veya örnekleme arasında karar verilirken maliyet, zaman, doğru veri elde etme imkanı, birimlerin fiziksel zarara uğraması ve evrenin değişkenliği gibi kriterler değerlendirilir. Örneğin bir savunma sanayiinde mermilerin hatalı oranını bulmak için tamsayım yapılırsa tüm mermilerin patlatma testine tabi tutulması gerekir ki bu da üretimin amacını tamamen yok eder. Örnekleme girecek birimlerin seçiminde kullanılan yöntemler keyfî seçim yöntemi ve rassal seçim yöntemi olarak ikiye ayrılır. Keyfî seçimde araştırmacı bilerek ve isteyerek, tüm birimlere eşit şans tanımadan birimleri seçer. Buna karşın rassal seçimde evrendeki birimlere eşit veya bilinen olasılıklarla seçilme şansı verilir. Sonlu evrenlerde rassal birim seçimi için en yaygın iki uygulama kura seçimi ve sistematik seçimdir. Kura seçimi iadeli veya iadesiz olarak yapılabilir. İadeli seçimde çekilen birim tekrar torbaya atılır ve bağımsızlık koşulu sağlanır; ancak uygulamada genellikle iadesiz seçim tercih edilir. Sistematik seçim yönteminde evren birimleri 1'den N'ye numaralandırılır, k = N/n formülüyle 'büyütme faktörü' (örnekleme aralığı) hesaplanır. 1 ile k arasında rassal bir a sayısı seçilerek a, a+k, a+2k şeklinde örneklem oluşturulur. Olasılıklı örnekleme, evren parametreleri hakkında genelleme yapmaya ve örnekleme hatasının büyüklüğünü ölçmeye olanak tanır. Genel olarak örnekleme süreci 5 aşamadan oluşur: Evrenin tanımlanması, çerçevenin belirlenmesi, örnekleme yönteminin seçimi, örneklem hacminin belirlenmesi ve örneklemin seçimi. Evrenin tanımlanması; örnekleme birimi, gözlem birimi, yer ve zaman kavramlarıyla yapılır. Bazı durumlarda örnekleme birimi ile gözlem birimi birbirinden farklı olabilir; örneğin ailelerin deterjan tercihi araştırmasında örnekleme birimi aile iken gözlem birimi evdeki alışveriş tercihini yapan kişidir. Çerçeve, sonlu evrenin bütün birimlerinin kayıtlı olduğu liste veya cetveldir (seçmen kütükleri, nüfus kayıtları, öğrenci listeleri vb.). Çerçevede yer almaması gereken birimlerin yer alması veya olması gerekenlerin olmaması 'kapsam hatası'na yol açar. Örneklem hacmi 'n' harfi ile gösterilir. Hacmin belirlenmesinde evrenin homojenliği, verilecek kararın önemi ve araştırmanın yapısı gibi nitel faktörlerin yanı sıra, karşılanabilecek maliyet veya kabul edilebilir hata düzeyi gibi nicel yöntemler de kullanılır. Araştırmacının kişisel arzu, değer yargıları ve isteklerinin etkili olduğu, birim seçiminin keyfî yapıldığı yöntemler olasılıklı olmayan örnekleme yöntemleridir. Bu yöntemlerle elde edilen istatistikler evren parametreleri hakkında genelleme yapmak için kullanılamaz. Kolayda örnekleme, kolayca ulaşılabilir ve doğru zamanda doğru yerde bulunan gönüllü birimlerden örneklem oluşturulmasıdır (örn. semt pazarındaki alışverişçilerle görüşmek). Yargısal örnekleme ise araştırmacının uzman fikirleri ve kişisel deneyimlerine dayalı ölçütlerle birimleri seçtiği yöntemdir. Kota örneklemesi, heterojen evrenlerde tabaka oranlarına sadık kalarak keyfî seçimle birimlerin seçilmesini sağlar. Kartopu örneklemesi ise çerçeve bulunmayan durumlarda (örn. uyuşturucu kullananlar veya yasadışı göçmenler) bir bireyin referansıyla diğerine ulaşarak örneklemi büyütme yöntemidir. Olasılıklı örnekleme, evrendeki her birime sıfırdan farklı ve hesaplanabilir bir seçilme şansı veren rassal yöntemlerdir. Basit rassal örnekleme, CNn büyüklüğündeki olası tüm örneklemlere eşit şans tanıyan temel olasılıklı yöntemdir. Tabakalı örnekleme, heterojen evrenlerde birimlerin homojen alt tabakalara ayrılması ve her tabakadan rassal seçimle örneklem oluşturulması sürecidir. Tabaka içi homojenlik arttıkça tabakalar içi varyanslar küçülür ve tahminleyicinin varyansı azalır, bu da doğruluğu artırır. Tek aşamalı ve çok aşamalı küme örneklemesinde ise coğrafi kriterlere göre gruplar (kümeler) oluşturulur, bu kümelerden rassal olarak seçilenlerin içindeki tüm birimler veya alt kümeler örnekleme dahil edilir. Küme örneklemesinde kümelerin olabildiğince heterojen olması istenir. Örnekleme dağılımı, bir rassal değişken olan örneklem istatistiğinin (örneğin örneklem ortalaması X̄ veya örneklem oranı p) olası tüm örneklemlerde alacağı değerlerin olasılık dağılımıdır. Araştırmalarda tek bir örneklem seçilmesine rağmen, teorik örnekleme dağılımının özelliklerinden yararlanarak evren parametreleri hakkında çıkarım yapılır. Merkezî limit teoremine göre, evrenin dağılım şekli ne olursa olsun örneklem hacmi büyüdükçe (uygulamada n ≥ 30 kabul edilir) örneklem ortalamasının dağılımı normal dağılıma yaklaşır. Bu dağılımın ortalaması evren ortalamasına (μ) eşit, varyansı ise s²/n'dir. İki örneklem istatistiği arasındaki farkın örnekleme dağılımı (örneğin iki ortalama farkı X̄₁ - X̄₂ veya iki oran farkı p₁ - p₂) bağımsız iki evrenden seçilen örneklemlerin farklarının teorik dağılımıdır. Bu dağılımlar normal dağılım özellikleri gösterdiği için Z istatistiği hesaplanarak parametreler hakkında güvenilir çıkarımlar yapılabilir.