Bilimsel araştırmalarda 'gerçek değerler' ile 'ölçme sonuçları' arasında daima bir fark olma olasılığı vardır; ölçmenin temel amacı bu farkı (yanılgıyı) minimize etmektir. Ölçme yanılgılarının üç temel kaynağı bulunur: Ölçme kuralı (araç ve birim), ölçmeyi uygulayan kişi ve ölçülen özelliğin kendisi.
Ölçme kuralı, özellikle dolaylı ölçmelerde en büyük yanılgı kaynağıdır. Araç ne kadar iyi tasarlanırsa tasarlansın, uygulayıcının bilgisizliği veya yanlılığı aracın verimliliğini yok edebilir. Ayrıca, zamanla değişebilen veya süreklilik göstermeyen özelliklerin ölçülmesi, yanılgı riskini artıran üçüncü bir faktördür.
Yanılgılar 'sistemli' (yanlı) ve 'tesadüfi' (yansız) olmak üzere ikiye ayrılır. Sistemli yanılgılar tek yönlüdür ve her zaman gerçek değerden uzaklaşmaya neden olur; bu yüzden düzeltilmeleri zordur. Tesadüfi yanılgılar ise çift yönlüdür ve çok sayıda ölçümde birbirini dengeleyerek ortalamayı gerçeğe yaklaştırabilir.
Ölçeklerde kategori sayısı, ayırt ediciliği ve normal dağılıma yakınlığı etkiler. Kategori sayısı arttıkça gruplar arası farkları belirlemek kolaylaşır ancak cevaplayıcıların ayrım yapması zorlaşabilir. Geleneksel olarak 5 ile 9 arasında kategori kullanımı önerilir; tecrübesiz denekler için az, tecrübeliler için çok sayıda kategori tercih edilmelidir.
Ölçeklerde denge, olumlu ve olumsuz seçeneklerin eşitliği ile sağlanır. Dengeli ölçekler çarpıklığı azaltır. Tek sayılı kategorilerde 'orta nokta' (tarafsız) seçeneği bulunurken, çift sayılı kategoriler denekleri taraf olmaya zorlar. 'Zorlanmış ölçek'te 'fikrim yok' seçeneği bulunmazken, 'zorlanmamış ölçek'te bu seçenek mevcuttur.
Fiziksel form ve gösterim de veriyi etkiler. Kelimelerle ifade edilen kategoriler, özellikle tecrübesiz denekler için daha anlaşılırdır. Çocuklar gibi özel gruplar için gülen yüzler gibi resimsel gösterimler kullanılabilir. Cevaplayıcıların 'yumuşak' ifadeleri tercih etme eğilimi olduğu unutulmamalıdır.
Bilimsel araştırmada verilerin inandırıcılığı için geçerlilik ve güvenilirlik esastır. Geçerlilik, bir ölçeğin ölçmeyi amaçladığı şeyi ölçme derecesidir. Geçerlilik evrensel değildir; bir amaç için geçerli olan araç, başka bir amaç veya grup için geçerli olmayabilir. İçerik, uygulama ve yapı geçerliliği en yaygın türlerdir.
Güvenilirlik, ölçümün tutarlılığı ve kararlılığıdır; aynı şartlarda tekrarlandığında benzer sonuçlar vermesidir. Güvenilirlik teknik bir sorundur ve korelasyon katsayısı (r) ile ölçülür. 1.00'e yaklaştıkça güvenilirlik artar. Güvenilirlik, geçerlilik için zorunlu ancak yeterli olmayan bir koşuldur; güvenilir olmayan bir ölçek geçerli olamaz.
Güvenilirlik ölçümünde test-yeniden test, alternatif formlar ve içsel tutarlılık (Cronbach alfa) yöntemleri kullanılır. Alfa katsayısının 0.7 ve üzeri olması arzu edilir. Sistematik hatalar güvenilirliği bozmazken, tesadüfi hatalar güvenilirliği düşürür.