Olasılık kuramı, belirsizlik içeren durumları matematiksel bir çerçevede modellemek ve analiz etmek için kullanılan en temel araçlardan biridir. Ünlü matematikçi Laplace'ın ifadesiyle, 'Olasılık, ortak duyunun hesaba dökülmüş halidir.' Günlük hayatta karşılaştığımız gürültü (noise), rastgele sinyaller ve belirsiz süreçler, olasılıksal modeller yardımıyla açıklanabilir hale getirilir. Bu durum özellikle mühendislik alanlarında, örneğin termal gürültü veya toplanır beyaz Gauss gürültüsü (AWGN) gibi fiziksel olayların modellenmesinde kritik öneme sahiptir.
Olasılık teorisi, belirsizlik içeren olayları matematiksel bir çerçevede modellemek için kullanılır. Bir olasılık modelinin kurulabilmesi için öncelikle iki temel elemanın tanımlanması gerekir: Örnek uzay (Omega - Ω veya S) ve olasılık kuralı (P). Rastgele bir deneyin (random experiment) mümkün olan tüm çıktılarının (outcomes) oluşturduğu kümeye örnek uzay adı verilir.
Koşullu olasılık, bir deneyin sonucuna dair kısmi bir bilgiye sahip olduğumuz durumları analiz etmek için kullanılan temel bir olasılık aracıdır. Geleneksel olasılık hesaplamalarında tüm olası çıktıları barındıran genel bir örnek uzay (S veya Ω) temel alınırken, belirli bir B olayının gerçekleştiği bilgisi elde edildiğinde artık olasılık evrenimiz bu B olayı ile sınırlanır. Bu durum, örnek uzayın daraltılması (reduced sample space) anlamına gelir.
Olasılık teorisinde karmaşık olayların olasılıklarını hesaplamak her zaman doğrudan mümkün olmayabilir. Bu gibi durumlarda 'böl ve yönet' (divide-and-conquer) yaklaşımı devreye girer. Bu yaklaşımın temelini oluşturan Toplam Olasılık Teoremi, örnek uzayın (S) birbirini dışlayan ve birleşimleri örnek uzayı oluşturan alt kümelere, yani bir bölüntüye (partition) ayrılması prensibine dayanır.
Olasılık teorisinde iki olayın birbiriyle olan ilişkisi analiz edilirken en kritik kavramlardan biri bağımsızlıktır. Sezgisel olarak, bir A olayının gerçekleşmiş olması, B olayının gerçekleşme olasılığı üzerinde hiçbir etkiye sahip değilse bu iki olayın bağımsız olduğu söylenir. Matematiksel olarak bu durum, B olayı verildiğinde A olayının koşullu olasılığının, A olayının koşulsuz (sade) olasılığına eşit olması şeklinde ifade edilir.
Olasılık hesaplamalarında, özellikle eş olasılıklı örnek uzaylarında, ilgilenilen olayların ve tüm örnek uzayının eleman sayısını belirlemek temel bir adımdır. Sayma İlkesi (The Counting Principle), karmaşık sayma işlemlerini aşamalara bölerek çözen bir 'böl ve yönet' (divide-and-conquer) yaklaşımına dayanır. Bu ilkeye göre, bir süreç ardışık r adet aşamadan oluşuyorsa ve her aşamadaki seçim sayısı bir önceki aşamada yapılan seçimlerden bağımsız olarak belirli bir değere sahipse, toplam sonuç sayısı bu aşamalardaki seçenek sayılarının çarpımı ile bulunur.
Olasılık teorisinde rastgele değişken (random variable), bir rastgele deneyin her bir olası çıktısına reel sayılar kümesinden tek bir sayısal değer atayan matematiksel bir fonksiyondur. Klasik olasılık analizinde örnek uzay (sample space) soyut veya sözel çıktılardan oluşabilirken, rastgele değişkenler bu çıktıları matematiksel ve istatistiksel işlemlere tabi tutabileceğimiz sayısal bir düzleme taşır. Örneğin, üç kez madeni para atılması deneyinde örnek uzay HHH, HHT, HTH gibi sözel dizilimlerden oluşurken, 'gelen tura sayısı' olarak tanımlanan bir X rastgele değişkeni bu çıktıları sırasıyla 3, 2, 2 gibi sayısal değerlere dönüştürür.
Olasılık teorisinde, bir rastgele değişkenin fonksiyonu da yeni bir rastgele değişken tanımlar. Eğer X bir rastgele değişken ise ve g(X) şeklinde tanımlanmış bir fonksiyonumuz varsa, Y = g(X) ifadesi de kendi olasılık dağılımına sahip yeni bir rastgele değişken olur. Bu fonksiyonel ilişki doğrusal (lineer) olabileceği gibi doğrusal olmayan (nonlineer) bir yapıda da kurulabilir.
Aynı deneyle ilişkili iki kesikli rastgele değişken X ve Y olduğunda, bu değişkenlerin birlikte nasıl davrandıklarını tanımlamak için ortak olasılık kütle fonksiyonu (Joint Probability Mass Function - Joint PMF) kullanılır. Ortak PMF, X'in belirli bir x değerini ve Y'nin belirli bir y değerini aynı anda alma olasılığını gösterir. Matematiksel olarak p_{X,Y}(x, y) = P(X = x, Y = y) şeklinde ifade edilir.
Olasılık teorisinde bir rastlantı değişkeninin (random variable) davranışı, belirli bir olayın gerçekleştiği bilgisi altında değişebilir. Bu durum 'koşullandırma' (conditioning) olarak adlandırılır. Bir X rastlantı değişkeninin, olasılığı sıfırdan büyük olan bir A olayı verildiğindeki koşullu Olasılık Kütle Fonksiyonu (PMF), $p_{X|A}(x)$ sembolü ile gösterilir.
Olasılık teorisinde, kesikli rastlantı değişkenlerinin aksine, sürekli bir aralıkta sonsuz sayıda değer alabilen değişkenlere sürekli rastlantı değişkenleri denir. Sürekli bir rastlantı değişkeninin olasılık yapısı, Olasılık Yoğunluk Fonksiyonu (Probability Density Function - PDF) ile tanımlanır. Bir X rastlantı değişkeninin belirli bir B kümesinde veya aralığında değer alma olasılığı, bu fonksiyonun ilgili aralık üzerindeki integraline eşittir.
Birikimli Dağılım Fonksiyonu (Cumulative Distribution Function - CDF), bir rastgele değişkenin belirli bir reel sayı değerine eşit veya bu değerden küçük olma olasılığını veren fonksiyondur. Matematiksel olarak F_X(x) = P(X <= x) şeklinde gösterilir. Bu fonksiyon, hem kesikli hem de sürekli rastgele değişkenler için ortak bir payda oluşturarak olasılık hesaplamalarını standartlaştırır.
Olasılık teorisinde birden fazla sürekli rastgele değişkenin davranışını aynı anda incelemek için ortak olasılık yoğunluk fonksiyonu (joint PDF) kullanılır. İki rastgele değişken olan X ve Y için ortak PDF, f_{X,Y}(x,y) sembolü ile gösterilir. Bu fonksiyon, iki boyutlu uzayda tanımlı herhangi bir B kümesi için (X,Y) ikilisinin bu kümenin içinde yer alma olasılığını hesaplamamızı sağlar.