累积反馈学习的简单贝叶斯垃圾邮件过滤

第２５卷第１０期

２００８年１０月

计算机应用与软件

Ｃｏｍｐｕｔｅｒ Ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ Ｓｏｆｔｗａｒｅ

Ｖｏ１．２５ ＮＯ．１０

０ｃｔ．２００８

累积反馈学习的简单贝叶斯垃圾邮件过滤

张学农 张立成

（广东药学院网络中心广东广州５１０００６）

（中山大学软件研究所广东广州５１０２７５）

摘 要 给出了一种基于累积反馈学习的简单贝叶斯邮件过滤方法。在此基础上，通过领域规则的引入，对基于累积反馈学习的

简单贝叶斯过滤方法进行了改进。实验结果表明累积反馈学习对不断保持和提高分类器的分类效果是必要的。

关键词 垃圾邮件过滤 简单贝叶斯 累积反馈学习

ＮＡＩＶＥ ＢＡＹＥＳＩＡＮ ＳＰＡＭ ＦＩＬＴＥＲＩＮＧ ＢＡＳＥＤ ｏＮ

ＡＣＣＵＭＵＬＡＴＩＶＥ ＦＥＥＤＢＡＣＫ ＬＥＡＲＮＩＮＧ

Ｚｈａｎｇ Ｘｕｅｎｏｎｇ Ｚｈａｎｇ Ｌｉｃｈｅｎｇ ，

（Ｎｅｔｗｏｒｋ Ｃｅｎｔｅｒ，Ｇｕａｎｇｄｏｎｇ Ｐｈａｒｍａｃｅ¨ｔｉｃａｌ Ｕｎｉｖｅｒｓｉｔ） ，Ｇｕａｎｇｚｈｏ“５ ０ＯＤ６，ＧＭａｎｇｄｏｎｇ，ＣｈｉｎⅡ）

。（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｓｏｆｔｗａｒｅ Ｒｅｓｅａｒｃｈ，Ｓｕｎ Ｙａｔ—Ｓｅｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｇｕａｎｇｚｈｏｕ ５１０２７５，Ｇｕａｎｇｄｏｎｇ，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ Ｉｎ ｔｈｉｓ ｐａｐｅｒ ｉｔ ｐｒｏｐｏｓｅｓ ａ Ｎａｉ＇ｖｅ Ｂａｙｅｓｉａｎ ｓｐａｍ ｆｉｌｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ａｃｃｕｍｕｌａｔｉｖｅ ｆｅｅｄｂａｃｋ ｍｏｄｅ１．Ａｐｐｌｙｉｎｇ ｓｏｍｅ ｄｏ—

ｍａｉｎ ｒｕｌｅｓ ｉｎ ｏｕｒ ａｃｃｕｍｕｌａｔｉｖｅ ｆｅｅｄｂａｃｋ Ｎａ￣＇ｖｅ Ｂａｙｅｓｉａｎ ｓｐａｒｅ ｆｉｌｔｅｒ，ｔｈｅ ｆｉｌｔｅｒ’Ｓ ｐｅｒｆｏｒｍａｎｃｅ ｉｓ ｉｍｐｒｏｖｅｄ．Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｉｎｄｉｃａｔｅ ｔｈａｔ

ｔｈｅ ａｃｃｕｍｕｌａｔｉｖｅ ｆｅｅｄｂａｃｋ ｍｅｔｈｏｄ ｉｓ ｎｅｃｅｓｓａｒｙ ｏｎ ｍａｉｎｔａｉｎｉｎｇ ａｎｄ ｅｎｈａｎｃｉｎｇ ｔｈｅ ｃｌａｓｓｉｉｆｅｒ’ｓ ｅｆｆｅｃｔ．

Ｋｅｙｗｏｒｄｓ Ｓｐａｒｅ ｆｉｌｔｅｒｉｎｇ Ｎａ＇ｆｖｅ Ｂａｙｅｓｉａｎ Ａｃｃｕｍｕｌａｔｉｖｅ ｆｅｅｄｂａｃｋ ｌｅａｒｎｉｎｇ

我们要进行分类处理的对象是文本，通常采用向量空间模

０ 引 言

基于内容的垃圾邮件过滤方法…是处理垃圾邮件问题的

型来表示。文本可表示为一个ｎ维向量（ ， ，…，Ｗ ），其中

Ｗ （ｉ＝ｔ，２，…，ｎ）表示第ｉ个特征项的权重， 是特征项的个

数，特征项可以是字、词、短语等。权重有多种计算方法，最简单

的是布尔权重。更一般的情况下，权重计算采用词频和文档频

常用方法。现主要基于内容的垃圾邮件过滤方法有：贝叶斯方

法 、ｋ近邻、支持向量机、神经网络、Ｂｏｏｓｔｉｎｇ方法、决策树、粗

糙集方法等。简单贝叶斯分类 方法利用贝叶斯公式计算文

本属于每个类别的概率，从而将文本归为概率最大的一类。从 ｃ ）｝，其中ｍ ∈Ｍ，Ｃ ∈｛ｓ，Ｌ｝，样本数为ｄ。

目前的分类效果看，该方法的结果比较理想 。国内学者也进 定义３样本邮件ｍ ＝（ ，…，Ｗ ）， ＝１，２，…，ｄ，

行了有益的研究 。 厂（ｍ ）＝ｃ ，选择特征数为ｎ。

．

次的某种组合。

定义２ 邮件样本是集合｛（ｍ ，ｃ ），（ｍ：，ｃ：），…，（ｍ ，

垃圾邮件在内容和形式上是不断变化的。垃圾邮件发布者 待分类的邮件可表示为ｍ ＝（ ｗ …，ｗ ），分类器的

为了使其邮件能到达最终用户，逃脱过滤器的检查，会不断地改 ｛ｓ， ｝。 任务是将ｍ 分到相应的类别中去。即，（ｍ ）＝ｃ ，Ｃ

变垃圾邮件的内容和形式；其次，垃圾邮件发布的内容多半是产

品推销、网站宣传等广告信息，具有时间性和潮流性；有的垃圾

邮件是由于蠕虫病毒所产生的，邮件内容就会因病毒不同而不

同。为保持邮件过滤器的效果，需不断累积新的知识，并且强化

其对误判邮件的学习。

取新的知识，并且强化对误判邮件的学习。

为了保持邮件过滤器的效果，本文采用累计反馈学习的方法获

２基于简单贝叶斯的累积反馈学习

学习的主要任务是求解类的先验概率Ｐ（Ｃ），用特定方法

垃圾邮件过滤问题的描述

基于内容的垃圾邮件过滤，我们的目标就是通过一定的机

器学习方法，得到一个邮件过滤器（分类器），也就是邮件判定

函数，，我们能通过函数厂来判断一封邮件是正常邮件还是垃圾

邮件。

定义１ 邮件过滤器是判定函数＿厂：Ｍ一｛Ｓ，Ｌ｝，其中Ｍ为待

选择合适的特征词 ，计算特征词 的类条件概率Ｐ（ ｌ Ｃ），

而Ｐ（Ｃ）、Ｐ（ 『Ｃ）可以通过对邮件样本的相关的统计信息来

计算得到。这些统计信息包括：用于训练的邮件样本总数Ⅳ，垃

圾邮件总数 ，正常的邮件总数 ，特征词 在垃圾邮件中出

现的次数Ⅳ 和其在正常邮件中出现的次数Ⅳ

，

。

进行累积反

收稿日期：２００７—０３—０９。张学农，博士，主研领域：知识工程与

应用。

处理的邮件集合， 表示正常邮件，ｓ表示垃圾邮件。