Regresyon analizi, aralarında ilişki bulunan iki veya daha fazla değişken arasındaki ilişkinin doğasını belirlemek ve bu ilişkiyi kullanarak geleceğe yönelik tahminler ya da kestirimler yapabilmek amacıyla kullanılan temel istatistiksel tekniklerden biridir. Analiz sırasında bağımlı değişken (Yi) üzerinde oluşan değişimlerin, bir veya birden fazla bağımsız değişken (Xi) yardımıyla açıklanması hedeflenir. Eğer modelde tek bir bağımsız değişken bulunuyorsa buna 'basit doğrusal regresyon analizi' adı verilir. Basit doğrusal model genel olarak Yi = α + βXi + εi şeklinde ifade edilir. Buradaki Yi bağımlı değişkenin i'inci gözlem değerini, Xi bağımsız değişkenin i'inci gözlem değerini, εi ise modelin hata terimini temsil eder. Modelde yer alan α parametresi doğrunun sabit terimidir ve X=0 olduğunda regresyon doğrusunun dikey eksen olan Y eksenini kestiği noktayı gösterir. β parametresi ise regresyon doğrusunun eğimidir ve bağımsız değişken X'teki bir birimlik değişimin, bağımlı değişken Y'de ne kadarlık bir değişmeye yol açacağını ortaya koyar. İstatistiksel çalışmaların büyük bir kısmında anakütlenin tamamına ulaşılamadığı için analizler bu evrenden seçilen örneklem verileriyle gerçekleştirilir. Örneklem verilerinden hareketle anakütle parametreleri olan α ve β'nın tahminlerini elde edebilmek için En Küçük Kareler (EKK) yönteminden yararlanılır. Serpilme diyagramı çizildiğinde gözlem ikilileri arasında doğrusal bir eğilim görülüyorsa, değişkenler arasındaki matematiksel fonksiyonun doğrusal olduğuna karar verilir. Gözlem noktalarından çok sayıda doğru geçirilebilir ancak bunlardan en uygunu, gözlem değerlerine en yakın kuramsal tahmin değerlerini veren doğrudur. En Küçük Kareler (EKK) yönteminin temel esası, gözlem değerleri (Yi) ile kuramsal tahmin değerleri (Y^i) arasındaki farkların (artıkların) kareler toplamını minimum yapacak şekilde α ve β parametre tahminleri olan a ve b'yi belirlemektir. ei = Yi - Y^i şeklinde hesaplanan hata terimlerinin cebirsel toplamı sıfıra eşittir. EKK yöntemi, bu artıkların kareleri toplamını [Σ(Yi - Y^i)^2 = Σ(Yi - a - bXi)^2] en küçük yapabilen a ve b katsayılarının elde edilmesini sağlar. EKK denklemlerinin çözümü için fonksiyonun a ve b'ye göre kısmi türevleri alınıp sıfıra eşitlenir. Bu işlemler sonucunda 'normal denklemler' adı verilen iki bilinmeyenli iki denklem sistemi elde edilir: ΣYi = an + bΣXi ve ΣXiYi = aΣXi + bΣXi^2. Bu normal denklemlerdeki Xi ve değerleri sıfır orijinine göre ifade edilmiştir. Bu değerler hesaplandıktan sonra basit doğrusal regresyon modelindeki a ve b katsayıları çözülerek tahmin edilen regresyon denklemi Y^ = a + bX şeklinde yazılır. Araştırmacı bu denklemi kullanarak herhangi bir X değeri için beklenen Y^ tahmin değerini hesaplayabileceği gibi, tersine Y'nin belirli bir değerini üretecek X bağımsız değişkeninin değerini de bulabilir. Tahmin edilen modeldeki b katsayısının sıfırdan farklı olması X ile Y arasında bir ilişki olduğunu gösterir. b'nin işareti pozitifse aynı yönlü (artış yönlü), negatifse ters yönlü bir ilişkinin varlığı söz konusudur. Ayrıca normal denklemlerde X ve Y yerine bunların aritmetik ortalamadan sapmaları olan x ve y değerleri konulursa hesaplamalar daha pratik hale gelebilir. Basit doğrusal regresyon modelinde parametre tahminlerinin yanı sıra aralık tahminleri ve hipotez testleri yapabilmek için hata terimlerinin ortak varyansı olan σ^2'nin tahminine gereksinim duyulur. Hataların kareler toplamının (HKT = Σ(Yi - Y^i)^2) serbestlik derecesine bölünmesiyle elde edilen hata kareler ortalaması (HKO), σ^2'nin bir tahminidir. Modelde a ve b parametreleri tahmin edildiği için serbestlik derecesi (n-2) olarak alınır ve HKO'nun karekökü alınarak modelin standart hatası (σ^) elde edilir. İstatistiksel çıkarımlarda gerçek parametre değerlerine ulaşabilmek için aralık tahminlerinden yararlanılır. Örneklem verileriyle çalışıldığı için elde edilen a ve b katsayıları, anakütle parametreleri olan α ve β için güven aralıkları oluşturulmasında kullanılır. Örneğin β katsayısı için güven aralığı hesaplanırken b değerine, b'nin standart hatası (sb) ve t tablo değerinin çarpımı eklenip çıkarılır. Regresyon katsayısının anlamlılık testinde ise H0: β = 0 ve H1: β ≠ 0 hipotezleri kurulur. th = b / sb formülüyle hesaplanan t istatistiği, tablodan elde edilen kritik t değeri ile karşılaştırılır. Hesaplanan t değeri tablo değerinden büyükse H0 reddedilir; bu durum regresyon doğrusunun ve dolayısıyla iki değişken arasındaki doğrusal ilişkinin istatistiksel olarak anlamlı olduğunu kanıtlar. Regresyon analizi değişkenler arasındaki denklemi kurarken, korelasyon analizi iki değişken arasındaki doğrusal ilişkinin derecesini ve yönünü inceler. İki nicel değişken arasındaki ilişkinin derecesini belirlemek için r ile gösterilen Pearson korelasyon katsayısı (veya basit korelasyon katsayısı) hesaplanır. Bu katsayı her zaman -1 ile +1 arasında değerler alır. Korelasyon katsayısının pozitif olması değişkenlerden biri arttığında diğerinin de arttığını (aynı yönlü ilişki), negatif olması ise birinin değeri artarken diğerinin azaldığını (ters yönlü ilişki) gösterir. r = ±1 olması mükemmel bir doğrusal ilişkiyi, r = 0 olması ise değişkenler arasında hiçbir doğrusal ilişki olmadığını ifade eder. r katsayısı farklı formüllerle, örneğin standart sapmalar yardımıyla veya doğrudan gözlem verileri kullanılarak hesaplanabilir. Korelasyon katsayısı r'nin karesinin alınmasıyla elde edilen değere 'belirlilik katsayısı' (r^2) denir. Belirlilik katsayısı, bağımlı değişkende meydana gelen değişmelerin ne kadarının bağımsız değişkendeki değişmelerle açıklanabileceğini gösterir. 0 ile 1 arasında değer alan r^2, modelin açıklama gücünü yüzde olarak ifade etmemizi sağlar. Evren korelasyon katsayısının (ρ) sıfıra eşit olup olmadığını test etmek için ise t istatistiği hesaplanarak anlamlılık testleri gerçekleştirilir.