İki veya daha fazla değişken arasındaki nedensel ilişkinin matematiksel ve fonksiyonel yapısını belirlemek amacıyla kullanılan istatistiksel bir analiz yöntemidir. Örneğin, gelir düzeyi ile tüketim harcamaları arasındaki ilişki bu analizle modellenir.

Regresyon modelinde davranışı tahmin edilmeye çalışılan, diğer değişken veya değişkenler tarafından açıklanan değişkendir ve genellikle Y ile gösterilir. Örneğin, bir hastanın iyileşme süreci ilacın dozuna bağlı olduğu için iyileşme süreci bağımlı değişkendir.

Bağımlı değişkeni etkileyen ve onun değerini açıklamaya çalışan, modelde bilinen sabitler olarak kabul edilen değişkendir ve X ile gösterilir. Örneğin, suç oranlarını inceleyen bir çalışmada işsizlik oranı bağımsız değişken olarak ele alınır.

Regresyon denkleminde b0 ile gösterilen, bağımsız değişkenin sıfır (0) değerini aldığında bağımlı değişkenin alacağı ortalama değeri gösteren parametredir. Örneğin, reklam harcamasının sıfır olduğu durumda firmanın baz satış miktarını ifade eder.

Regresyon denkleminde b1 ile gösterilen, bağımsız değişkendeki birim değişikliklerin bağımlı değişken üzerinde oluşturduğu ortalama değişimi gösteren katsayıdır. Örneğin, eğim katsayısı 1.5 ise X'teki 1 birimlik artış Y'de ortalama 1.5 birim artışa yol açar.

Gerçek gözlem değerleri ile modelin tahmin ettiği değerler arasındaki farkı ifade eden ve denklemde εi ile gösterilen terimdir. Modele dahil edilmeyen diğer etkenlerin veya ölçüm hatalarının etkisini yansıtır.

Değişkenler arasındaki ilişkinin hiçbir istatistiksel sapma olmaksızın kesin bir matematiksel fonksiyonla ifade edilebildiği ilişki türüdür. Fiziksel kanunlar bu ilişkiye örnek gösterilebilir ancak sosyal bilimlerde nadirdir.

Değişkenler arasında kesin bir kural olmamakla birlikte genel bir eğilimin olduğu, hata payı barındıran ilişki türüdür. Arz-talep ve gelir-tüketim ilişkileri olasılıksal ilişkilere örnek olarak verilebilir.

İncelenen modelde sadece bir tane bağımlı değişken ile bir tane bağımsız değişkenin bulunduğu regresyon türüdür. Örneğin, sadece reklam harcaması ile satışlar arasındaki ilişkinin incelenmesi.

Bir bağımlı değişkeni açıklamak veya tahmin etmek için birden fazla bağımsız değişkenin modele dahil edildiği regresyon analizidir. Örneğin, satış miktarını hem reklama hem de çalışan sayısına bağlı olarak modellemek.

İki değişkenin gözlem değerlerinin ikili koordinat noktaları şeklinde bir grafik üzerine işlenmesiyle elde edilen ve aralarındaki ilişkinin yönü hakkında fikir veren görsel araçtır. Noktaların dağılımına bakılarak doğrusal model seçimi yapılır.

Gözlem noktaları ile regresyon doğrusu arasındaki dik uzaklıkların kareleri toplamını minimum yaparak en uygun parametre tahminlerini veren matematiksel yöntemdir. Regresyon analizinde temel tahmin kriteridir.

Hata kareler toplamının sabit ve eğim parametrelerine göre türevlerinin sıfıra eşitlenmesiyle elde edilen ve regresyon katsayılarını çözmekte kullanılan denklem sistemidir. Lineer cebir kurallarına göre çözülür.

Orijinal gözlem değerlerinin kendi aritmetik ortalamalarından çıkarılmasıyla elde edilen (x = Xi - X_ort) ve hesaplamaları kolaylaştıran dönüşüm değerleridir. Toplamları her zaman sıfıra eşittir.

Oluşturulan regresyon denklemine bağımsız değişkenin (X) bilinen değerleri yazıldığında elde edilen ve bağımlı değişkenin tahmini ortalamasını gösteren değerdir. Gözlenen Yi değerlerinden farklı olabilir.