基于贝叶斯决策理论的分类器

贝叶斯决策理论

就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策

$$PAB=\frac{PBA \cdot PA} {PB}$$

其中$PA$表示A事件发生的概率，$PBA$表示在A事件发生的前提下事件B发生的概率，$PB$表示事件B发生的概率，$PAB$表示在已知事件B发生的前提下事件A发生的概率

假设$\omega_1,\omega_2$表示样本所属类别

如果N是训练样本的总数，其中有$N_1,N_2$个样本分别属于$\omega_1,\omega_2$,则
$P\omega_1\approx N_1 / N$
$P\omega_2\approx N_2 / N$

如果对于$x$,则贝叶斯分类规则描述为
如果$P\omega_1x > P\omega_2x$ 则$x$属于$\omega_1$
如果$P\omega_1x < P\omega_2x$ 则$x$属于$\omega_2$