51批改网

67

第22卷现代教育技术Vol.22

2012年第10期ModernEducationalTechnologyNo.102012

在线写作自动评改系统在大学英语写作教学中的应用研究*

——以句酷批改网为例

石晓玲

（南通大学外国语学院，江苏南通226019）

【摘要】作文批改与反馈是英语写作教学的一个重要环节，对提高学生的英语写作能力有着不可低估的作用。将在线写作自动

评改系统与课堂教学整合是英语写作教学改革的重要途径。本研究以句酷批改网为例，以学生的作文样本为研究语料，以问卷调查和

访谈等为研究手段，着重探析了在线写作自动评改系统的有效性，并提出应增强在线自动评改系统的智能性及构建多元写作反馈机制。

【关键词】在线写作自动评改系统；英语写作教学；反馈

【中图分类号】G40-057【文献标识码】A【论文编号】1009—8097（2012）10—0067—05

一引言

作文批改与反馈（feedback）是英语写作教学的一个重要

环节，其目的是向写作者提供修改作文的信息，使其明白自

己作文的“组织逻辑性不强”，或“内容发展不够”，或“用

词和时态等错误”[1]。这些信息有的是针对学习者作文表层错

误的纠错性反馈（correctivefeedback）；有的是面向作文语篇

层面（如内容和组织结构）的反馈；评语和评分也是信息反

馈的重要方面[2]。有研究表明，学生依据反馈信息对作文进行

修改，是第二写作过程，对提高学生的语言能力有着极重要

的作用[3]。

传统反馈多以纸质形式呈现，很多教师由于教学任务繁

重，对学生的作文批改常常流于形式，给学生的反馈非常有

限；大部分学生无法从教师提供的反馈中看到自己作文中实

际存在的问题，更遑论进行第二写作过程。

随着现代教育技术的发展，人们对利用网络平台提升学

生的写作兴趣、写作方法以及写作应用能力等进行了有益的

教学实验和探索。例如，郭晓英研究了博客环境下写作能力

的培养模式[4]，而张文霞等[5]、杨永林[6]介绍了清华大学外语

系研发的“易得”写作软件的理论背景、技术探索和系统设

计过程。但对利用在线写作评改系统加强英语作文反馈的研

究还不多见。

二在线写作自动评改系统的技术特点及其应用

1技术特点

所谓自动写作评改系统（AutomatedEssayScoring，AES），

就是利用计算机技术对作文进行评估与评分。该方向的研究

至今已历时近四十年，在此过程中，采用了统计、自然语言

处理及人工智能等方面的最新成果，并于1999年进入实际应

用阶段[7]。自动作文评改系统的研究与应用在国内外已成为计

算机辅助外语写作教学的热点。

国外研发成功并投入使用的自动评改系统有十余种，其

中最具代表性的是EG（ProjectEssayGrade）、IEA（Intelligent

EssayAsssor）和E-rater。它们各具特色，PEG重语言形式，

IEA重作文内容，E-rater则既重形式又重内容[8]，但这些自

动评改系统多应用于以英语为母语的写作评估与反馈中，对

中国学生的英文写作适用性不太强。

目前在国内多所高校推广使用的句酷批改网

（，以下简称批改网）是一种网上智能批

改系统，以SAAS（软件即服务）的方式为教师和英语学习者

提供英语作文的在线自动批改服务，旨在为学生提供一个写

作环境，给出实时评分与诊断性反馈，激发学生积极修改作

文，不断提高写作能力；同时还能减轻教师的作文批改工作

量，并帮助教师更加直观地了解学生的英文写作水平。

句酷批改网具有以下特点：

（1）使用便捷

教师登录批改网，布置作文，写明要求，系统生成作文

号；学生获得作文号后，在学生帐户页面搜索作文号，找到

教师布置的作文题目进行写作并提交；

图1批改网登录界面

68

（2）反馈及时

系统对学生作文进行分析，自动识别词汇、搭配、语法

等常见错误，实时给出修改建议和分数。

图2批改网评分与评语界面

（3）按句点评

系统除了指出作文每一句中存在的拼写、语法、词汇、

搭配错误外，还分析错误类型，为学生用户提供特定知识点

的扩展训练、搭配推荐、参考例句等，为学生提供全面的写

作指导，帮助学生自主学习。

图3批改网按句点评界面

（4）抄袭检测

句酷批改网在学生提交作文后，以句子为单位，查验该

作文是否与本班其他同学作文有内容重复、与本校学生作文

是否有重复、与语料库是否有重复、与互联网网页内容是否

有重复，并提供重复度指标供教师参考。

（5）进度报告

进步报告记录了一个学校、一个班级或某个具体学生写

作能力的成长过程。该报告有利于学校和老师掌握学校、班

级学生总体薄弱点和个体薄弱点，了解各知识点掌握程度的

变化趋势，为学校和教师进行英语教学的安排提供数据支持。

2在英语写作教学中的应用

自2011年下半年以来，批改网在我校英语教学中得

到推广使用。在使用过程中，教师和学生发现，批改网确

实具有上述优点，但也发现了一些问题（如批改网评分与

教师评分很多时候不一致）。因此，有必要对以批改网代

表的在线写作自动评价系统做一番研究，分析其在英文写

作教学中的适切性与局限性，以便使教师和学生更科学合

理地使用该工具。

三在线写作自动评改系统的有效性研究

1研究问题

本研究旨在探讨以批改网为代表的在线写作自动评改系

统对提高学生英语写作能力的有效性。鉴于此，具体研究问

题为：（1）大学一年级学生英文写作中主要存在什么问题？

（2）作为一种在线自动评改系统，批改网能否帮助学生提高

英语写作水平？在哪一方面对学生帮助最大？（3）人工批改

与在线工具批改具有什么明显差异？（4）批改网在作文评改

与反馈方面还存在哪些局限性？如何改进？

2研究对象

为了客观、准确地反映实际情况，本研究在抽取研究对

象时，考虑了专业特点、学生的写作能力、在线写作经历等

因素，选取了英语专业本科一年级两个自然班（27人+28人）

以及非英语专业本科一年级3个自然班（33人+35人+38人），

共161人。这些学生都必须每周在线提交一篇作文，并由批

改网提供反馈意见与评分。

3研究工具

针对研究问题，本研究采用了作文样本分析、问卷调查、

访谈等研究工具。

（1）作文样本（writingsamples）。对每个自然班采用随

机抽样的方式选取作文各5篇，总共25篇，由批改网与任课

教师分别批改，对比分析两者在批改形式、批改侧重点、批

改结果、评语、分数等几个方面的异同点。

（2）问卷调查（questionnaire）。学生在进行了为期10

周的批改网写作训练后做了该项问卷调查。该问卷共有30题，

主要涵盖4个方面的内容：○

1

对英文写作目的、英文写作中

包含的重要因素以及自己英文写作水平的总体认知；○

2

对自

己作文中的错误如何纠正的看法；○

3

使用批改网的具体情况；

○

4

对批改网的评价以及使用批改网后的效果。

（3）访谈（interview）。本研究还分别对教师和学生进行

了半结构访谈（mi-structuredinterview），更深入地了解教师

和学生对批改网的评价以及在使用过程中出现的问题。接受

访谈的教师为4位任课教师；学生为每个班的批改网系统中

记载的成绩好、中、差各2名学生，共10名学生。

4研究结果

（1）问卷调查的结果。

1）学生对自己英语写作水平的认知。在152份有效问卷

中，大多数学生认为自己的英语写作水平一般或较差；在被

问及到作文中的主要问题时，学生的回答较为多样：42.7%的

学生认为是思想表达不清，37.5%的学生认为是前后不连贯，

整体性差；63.2%的学生认为是用词不当或词汇单调；67.1%

的学生认为是语法错误多，56.6%的学生认为是句型单一（见

表1）。多数学生认为自己在词汇、语法、句型方面有待提高。

69

表1学生对自己英语写作水平的认知

有效

问卷

问题选项

人

数

比例

很好

74.6%

较好

2013.2%

一般

8958.6%

较差

2818.3%

你认为自己的

英语写作水平

如何？

很差

85.3%

思想表达不清

6542.7%

前后不连贯，整体性差

5737.5%

用词不当或词汇单调

9663.2%

语法错误多

10267.1%

152

份

你认为目前你

作文中的主要

问题是什么？

（可多选）

句型单一

8656.6%

2）对自己作文中的错误如何纠正的看法。

在回答喜欢老师面批还是书面批改时，152份有效问卷

中，绝大多数学生喜欢教师个别式面批；而在教师书面批改

中，59.9%的学生喜欢教师详细评点语法及用词上的错误，

喜欢教师“标出错处、留待学生改正”的只占21.1%；只有少

数学生喜欢教师“简单谈谈大体印象”这种方式或“只写出

分数或等级”（见表2）。

3）学生使用批改网的情况。

大多数学生（86.8%）很希望并很有信心（78.3%）能通

过使用批改网提高自己的英语写作水平，对此有很大的期待；

但很多学生（65.1%）只是在老师要求时才使用批改网写作文；

一些学生（47.4%）会根据批改网提供的点评重新修改自己的

作文直至得到满意的分数。

表2学生对作文中的错误如何纠正的看法

有效

问卷

问题选项

人

数

比例

个别

式面

批

12984.7%

详细评点语法及

用词错误

9159.9%

标出错处、留待学

生改正

3221.1%

简单谈谈大体印

象

1811.8%

152

份

你认为对

自己作文

中的错误

书面

批改

只写出分数或等

级

117.2%

4）学生对批改网的评价及使用的效果。

从表3可以看出，被试学生认为，批改网最大的优势是

批改及时，其次是能很快获知自己作文的分数。“按句点评”

也被很多学生认为是批改网较大的优势，但对“提供同义词、

扩大了词汇量”和“提供评语，能了解作文的每一项情况”，

不赞同的学生数明显上升。

被试学生认为，批改网最大的问题是提供的词汇和语法

方面的反馈较多，但关于作文的思想内容、逻辑性和连贯性

以及篇章结构方面提供的反馈较少。

从表4可以看出，近一半左右（48%）的学生对使用批改

网持非常喜欢和比较喜欢的态度；一些学生（36.2%）会根据

批改网提供的点评意见反复修改自己的作文，直至满意的分

数；批改网对学生作文中的词汇和语法帮助最大。

表3学生对批改网的评价

态度

非常赞成比较赞成不赞成

有效问卷问题选项

人数比例人数比例人数比例

能很快获知自己作文的分数

8757.2%4932.3%1610.5%

批改及时

7952%6442.1%95.9%

按句点评，一目了然

8354.6%4630.3%2315.1%

提供同义词，扩大了词汇量

4328.3%5838.2%5133.6%

你认为批改网的

优势是什么?

提供评语，能了解作文的每一项情况

4730.9%4227.6%6341.4%

上网不方便，费时费钱

95.9%2818.5%11575.6%

难以找到老师布置的作文号

2717.8%3120.4%9461.8%

不习惯在网上写作和阅读

1912.5%2516.4%10871.1%

批改网提供的修改反馈太多，没时间仔细阅读

5334.7%7851.4%2113.9%

152份

你认为下列哪一

点是使用批改网

最大的问题？

只提供词汇和语法反馈，内容和逻辑性反馈较少

5133.5%6744.1%3422.4%

70

表4学生对使用批改网效果的看法

有效问卷问题选项人数比例

非常喜欢2516.4%

比较喜欢4831.6%

一般4529.7%

比较不喜欢2315.1%

你对使用批改网持什

么态度？

绝对不喜欢117.2%

肯定会1610.5%

多数时候会3925.7%

有时会6240.8%

多数时候不会2214.5%

你是否会根据批改网

提供的点评反复修改

自己的作文直至得到

满意的分数？

不会138.5%

思想内容53.3%

篇章结构1711.2%

词汇7951.9%

语法4328.3%

152份

你认为批改网对你的

英文写作哪方面帮助

最大?

逻辑性/连贯性85.3%

（2）作文样本分析结果。

为了更深入地了解批改网的优点与不足，我们对人工批

改与网络批改进行了定量和定性分析。

首先，我们按错误类型对25份作文样本进行了统计，具

体包括以下几个参数：1）思想内容（主题是否明确、有新意；

文章是否跑题）；2）篇章结构（内容是否分引言、正文和结尾，

是否分段论述，是否有中心思想句和主题句）；3）连贯性（段

落是否衔接良好）；4）语法（主谓一致、名词单复数、动词时

态、冠词等）；5）句型（句子的结构是否正确）；6）词法（用

词是否正确、贴切，搭配是否合理）；7）写作常规（大小写、

标点符号、拼写等）。根据的错误性质不同，这些参数予以不

同的加权[9]，有的1个错是1个百分点：1=1%，有的是3个错

算1个百分点：3=1%。统计结果见表5。

表5教师反馈与在线自动评改系统反馈的作文错误类型统计

内容教师反馈作文（N=25）批改网反馈作（N=25）

思想（1=1%）17%0%

篇章（1=1%）32%6%

连贯性（1=1%）37%11%

语法（3=1%）87%92%

句型（3=1%）56%65%

词法（3=1%）83%89%

规范（5=1%）76%0%

其次，我们还对作文样本做了详细的定性分析，其结果

发现：1）批改网给出的反馈信息多为提示性的，内容比较宽

泛，不够具体；而教师给出的反馈信息则比较直观明了。大

多教师不仅划出作文中的错误，还给出了修改建议，或直接

修改错误点；2）批改网提供大量近义词辨析，而教师评改则

较少提供类似信息；3）批改网大多不改变学生作文中的原有

句型，而教师评改则更加灵活。

例如，针对学生作文中的错误句“InChina,Englishistook

tobeaforeighlanguagewhichmanystudentchoodtolearn”，

两者的反馈信息各有侧重（见表6）

表6批改网与教师提供的反馈信息对比

批改网提供的反馈信息教师提供的反馈信息

教师A:在took,foreigh,student,

chood等词语下划线，提示学

生注意这些错误，由他们独立完

成修改。

教师B：在took，foreigh，student,

chood等词语下划线，并提供

相应的正确形式：taken,foreign,

students,choo

教师C:在took,oreigh,student,

chood等词语下划线，提示错

误类型。如：在took下注gr.（意

为语法错误），在foreigh下注sp.

（意为拼写错误）,在student下

注pl.（意为改为复数形式）,

在chood下注gr.（语法错误）

udent可数名词应用

复数形式，student改为students.

2.建议把istookto改成is

takento/istakingto(Auxiliary

VerbAgreement)

h拼写错误，可替换选

项为：foreign,freight,fore.

d拼写错误，可替换选

项为：choos,choo,chad

[学习提示]易混词汇:know,

learn,comprehend,understand

都含“懂，知道，明了”之意。

know:普通用词，多指通过学

习、经验或他人传播而得到知

识，含直接知道的意味；learn:

通常指通过他人而获得消息或

情况,侧重从不知到知的变化过

程；comprehend:侧重熟悉了解的

过程；understand:指对事物已有

彻底的认识,不仅知其性质、含义

和细节,而且了解其内外的关系。

教师D：这个句子不是地道的英

语句，建议改为：InChina,many

studentslearnEnglishasa

foreignlanguage.

5分析与讨论

从上述研究结果可以看出，绝大多数学生喜欢教师个别

式面批，或详细评点语法及用词上的错误，但一般情况下，

由于教师教学工作量大，难以满足每个学生的这一需求。批

改网能充分满足学生个性化评改和反馈的需求，并在词汇、

语法层面给予学生比较充分的评改与反馈，因此，大多数学

生喜欢使用批改网，并会根据批改网的点评意见反复修改自

己的作文，直至得到满意的分数。这对提高学生的写作能力

起到了积极的作用，因为过程写作理论认为，写作过程是非

直线性的。一篇结构完整、表达清楚、读者易懂的作品最终

得以完成，需要经过反复思考，反复修改[10]。

然而，目前自动写作评改系统对学生作文的评价主要集

中在词汇层面和部分较为成熟的语法分析。由此，自动写作

评改系统的评分只是对作文中语言使用的一个大概的评估

[11]，无法准确地评估作文的内在质量,如写作的流畅性、句子

结构的复杂度、文章的措辞、内部的逻辑性与关联性等，因

而也就无法全面评估学生的英文写作水平。

针对这一问题，可采取以下两种方法弥补其不足。

第一，信息技术人员与应用语言学家共同努力，提升在

线自动评改系统的信度。充分利用人工智能技术，尤其是自

然语言处理及智能语言辅导技术，构建新的写作自动评改系

统模型（见图4），使之不仅能提供每篇作文的总分，还能提

供写作内容、篇章结构、语体、词汇、语法及格式规范的各

单项分及个性化反馈，更多关注对文章思想内容的评估。

71

图4在线自动评改系统模型构建示意图

第二，在大学英语写作教学中构建多元反馈机制。建立

一种融教师反馈、自动评改工具反馈及利用网络平台的同伴

反馈（peerfeedback，即同学间互相评改作文）的多元反馈机

制，以弥补单一反馈模式的不足。有研究表明，同伴反馈能

（1）增强学生的读者意识；（2）提高学生学习和掌握英语写

作技巧的积极性；（3）提高学生的文章质量意识；（4）明显

提高学生作文内容和语言质量；（5）帮助学生形成英语学习

社群[12]。利用网络平台进行同伴反馈是较好的弥补手段。

四结语

在线写作自动评改系统的实时反馈有效激发了学生的写

作兴趣，增加了作文的修改频次，达到了以评促学的目的，

凸现了过程写作学习法的重要性。由于系统自身的技术特点，

在词汇和语法层面给予学生的帮助较大，但在篇章结构、内

容逻辑性和连贯性层面的优势并不明显。因此，既要增强评

改系统的智能性；也要补充其他反馈手段，以弥补其不足。

本研究时间短，调查范围也有限，因此具有一定的局限

性。后续研究将扩大研究范围，更深入地探讨在线自动评改

系统在写作教学中的应用效果及对学生写作能力的影响。

————————

参考文献

[1]Keh,ckinthewritingprocess:Amodeland

methodsforimplementation[J].ELTJournal,1990,44:294-304.

[2]郭翠红,秦晓晴.国外二语学习者作文书面反馈研究——研

究的视角及对大学英语作文评改的启示[J].解放军外国语

学院学报,2006,(5):59-63.

[3]何万贯.第二写作过程研究[J].现代外语,2007,

(4):375-275-386.

[4]郭晓英.博客环境下大学英语写作模式的设计与实践[J].现

代外语,2009,(3):314-322.

[5]张文霞等.“易得”论文设计与学术写作专家系统[J].外语电

化教学,2005,(3):3-10.

[6]杨永林.宏大叙事与技术精巧——再论“易得”文章利器的

妙用[J].外语电化教学.2006,(1):3-9.

[7]Dikli,tedEssayScoring[J].TurkishOnlineJournal

ofDistanceEducation,2006,7(1):49-62.

[8]梁茂成,文秋芳.国外作文自动评分系统评述及启示[J].外语

电化教学,2007,(5):18-24.

[9][12]蔡基刚.中国大学生英语写作在线同伴反馈和教师反馈

对比研究[J].外语界,2011,(2):65-72.

[10]石晓玲.多媒体计算机与英文写作教学的改革[J].外语界,

2001,(6):22-25.

[11]葛诗利,陈潇潇.大学英语作文自动评分研究中的问题及对

策[J].山东外语教学,2009,(3):21-26.

ATentativeSudyontheValidityofOnlineAutomatedEssayScoringUdintheTeachingofEFLWriting

——Exemplifiedbyhttp//

SHIXiao-ling

(SchoolofForeignStudies,NantongUniversity,Nantong,Jiangsu226019,China)

Abstract:TheimportanceofcorrectionandfeedbackintheteachingofEFLwritingcannotbeunderestimatedintermsofimproving

students'ationofonlineautomatedessayscoring(OAES)intoEFLteachinghasbeenconsideredasaneffective

ifiedbypigaiwang(http//),thestudytriestoinvestigatethevalidityofOAESinEFL

writingbyanalyzingstudents’ludesthatitisnecessary

toenhancetheintelligenceofOAESandconstructamultiplefeedbackmechanismintheteachingofEFLwriting.

Keywords:onlineautomatedessayscoring;theteachingofEFLwriting;feedback

-----------------------

*基金项目：本文为江苏省教育厅2012年度高校哲学社会科学研究基金项目“基于网络平台的人际互动与话语结构研究”（编号

2012SJB740024)、江苏省现代教育技术研究2012年度重点课题“Blackboard网络课程管理系统支持下的整合型外语教学研究”

（编号2012-R-21572）、南通大学2011年度教学研究课题“基于Blackboard网络平台的《综合英语》立体式教学的行动研究”

（编号2011B26）的阶段性研究成果。

作者简介：石晓玲，南通大学外国语学院副教授、硕士生导师。研究方向:语言与文化，应用语言学，计算机辅助外语教学。

收稿日期:2012年5月21日

编辑：李婷

特征分析

词法

分析器

句法

分析器

篇章

分析器

主题

分析器

论点

分析器

模型

构建

评分

与反馈