融媒体视角下多模态词典文本的设计构想”
章宜华
摘要随着信息和通信技术的发展以及数字媒体在辞书编纂中的运用，多模态和融媒体词典成为辞书界热议的话题。但从发表的文章来看，它们大多模糊了媒体与模态的关系，所涉词典并不具有真正的多模态特征。文章从纸质辞书的困境与数字化辞书的必然性入手，从三个方面来探讨如何在融媒体框架下设计多模态词典文本，阐释多模态元素的释义功能，包括词典从平面媒体向融媒体的进化、融媒体框架下的媒体与模态的融合、多模态词典文本的特征与数据结构等。
关键词触媒体多媒体词典多gsp文件
模态词典文本多模态释义
词典与新媒体的结合使词典的查阅终端发生了很大变化，这种词典表象的变化倒逼词典文本结构和释义等闲视之的意思
内容不得不发生改变，因为词典只有多模态化和数据化才能适应融媒体的技术需要，且其改变程度也决定着词典满足数字时代词典用户需求的程度。(章宜华2019)本文从融媒体视角探讨(外语)语文学习词典如何进行模态与媒体的融合，并提出多模态释义构想。
一、纸质辞书的困境与数字化辞书的必然
词典的核心问题是释义，这是国际辞书界的共识。但释义是一个复杂的问题，尽管词典编者把主要精力
都放在释义上，但其问题仍是层出不穷。在纸媒时代，词典学家们为了使释义准确易懂，把使用了几千年，但释义模糊且容易引起循环释义的同义对释逐渐转换成了“解述型”释义，或以括注的形式对释义词进行各种限制，并在学习词典中推行控制性释义词汇(controlled defining vocabulary:2000—3000基本词汇)。释义方式经历了从词汇对释到短语释义(pha definition)，从短语释义到句子释义(ntence definition)，又从句子释义到情景释义(situational definition)的过程；但循环释义、内涵不彰，或释义庞杂(释义夹杂各种注释)、理解困难，以及注释信息冗余与文化信息欠缺、释义过度与释义不足、概念模糊与用法不清等问题同时存在。为此，词典又增加了文化信息、用法说明和语义辨析等附加内容，百科性词典和学习型词典还引入了插图。
但无论词典学家如何努力，纸质词典的“进化”变得越来越困难。譬女口，“牛津”“朗文”等系列学习词典虽然还在不断修订，但也仅是注释方法的微调和注释项目量的变化，难有
本文为国家语委“十三五”规划2019年度重点项目(项目编号：ZDI135-91)的阶段性研究成果。
融媒体视角下多模态词典文本的设计构想21
大的提升，以致用户对纸质词典的兴趣逐年下降。作者在多年前的调查发现，在接受型的语言活动中，大学生中使用电子词典者居多，达52.23%。（章宜华2015）而近些年，随着新媒体终端的普及，纸质词典的使用率已经降至“冰点”。据张恒等（2O17）118420'155调查，经常使用纸质词典的为
4%，偶尔使用的占26%，极少使用的占51%，从不使用的有19%之多。而与此相反,91%的学生表示经常使用电子词典，极少或从不使用的只有3%。这些数据基本符合当时辞书市场的现实；事实上，现在基本100%的学生都使用词典App，经常使用纸质词典的人大致占10%。而笔者接触到的词典学硕士生许多都没有纸质学习词典，需要参考时还要到资料室去借。在这种情况下，数字化就成为辞书发展的必然，也正是在2017年前后，我国专业辞书出版社开始加快数字词典的研发。
二、词典从平面媒体向融媒体的进化
从信息技术角度讲，当代词典的发展要经历从纸质词典到电子化，再到数字化的过程；前者指词典承载方式由物理媒介向电子媒介转化，后者指将词典中的图像、声音、文字等模拟信号转换为数字信号，是信息数据化和网络化的技术保证。从辞书表征的视角讲，词典则由平面媒体向多媒体、多模态和融媒体方向发展，而媒体融合的对象就是词典的多模态表征。
早在20世纪90年代，纸质词典电子化和网络化已经开始。当时，国内市场上出现了一大批光盘液体英文
词典，如《康普顿交互式百科全书》《IBM智能词典》《微软书架》《韦氏新世界光盘词典》《美国传统有声词典》等,“牛津”“朗文”也先后推出了光盘和网络词典。尽管这些词典大多是纸质版的电子化，体例结构与传统词典并无二致，但有的学者还是捕捉到了多媒体辞书的动向，并认识到多媒体有三个重要特性：用户友好界面、查阅的交互性、信息的多样性。（麦志强1994；夏南强2000）国内在90年代
中期也推出了网络词典（如洪恩在线,1996）,《汉语大词典》光盘版（1997）等。但进入21世纪后，专业辞书出版社在“触网”方面一直停滞不前，市场上流行的网络词典和词典App大多出自IT公司,《金山词霸》《有道》《海词》《百度百科》等占据了在线词典的主要市场份额。
《金山词霸》（以下简称《词霸》）是一款比较经典的电子词典，最大的特点就是全文发音。最初同步发音效果并不理想,2005年引入英语培训品牌视频词库，用户可与教师“面对面”学习，练习听力、发音和语音语调等。2010年后，《词霸》开始整本内置“牛津”和“柯林斯”等品牌词典，但多媒体元素并没有实质性改变，基禅宗经典
本不用图形或视频，词典的查询显示仍是平面格式，只是在左边加入一列选择链接（释义、例句、搭配、辨析等）o《有道》和《海词》也都宣称是面向学习者编写的，但在多媒体方面仍是以“读音”为主。《有道》的体例和结构与《词霸》类似，也内置了《柯林斯英汉双解大词典》和《牛津词典》等内容，在少量实物词条（如anchor、animal、car‘leapfrog等）中配有图片（参见图1）。《海词》主要是自编内容，没有发现“插图”，但每一词条都提供了“释义常用度分布图”，在“栏目”设置和查询选择方面，可以通过选择“详尽释义”“双语释义”“英英释义”提取和显示不同的释义内容。
总体来讲，上述几种“学习词”主要是信息的堆积，并没有突出的多媒体和多模态特征，且词典信息项的表述方法和质量都不太适合“学习”的需要。例如，《有道》和《海词》都
22辞书研究2021年第2期
leapfrog 口
英 rlirpfrng] <> 箕 l'li:pfr>:y| Qi
n 跳背游戏
v.炕踽背诉戏；砂圾提升；tfliS. 190.
(H9)［过玄式 leapfrogged 讨幺分id leapfrogged lW&^iol leapfrogging 擁二人粗迫
数 leapfrogs ]网堵轉义 专卄释义 英英理义
leapfrog [ *li ph 〉q ]
n.
1. advancing as if in the child's game, by looping over obstacles or compotitor&
"the company stilt believes the chip is a leapfrog in integration and w/li pay hug & dividends"
2 a game in which one child bends down and another leaps over
*1. Jump acrosft
'He leapfrogged hi, classmates'
2. progress by large jumps in&tead of small increments
图1《有道》的主査询和显示界面
-3t |议诅| 话广东詰蜒迥人名
O iC&学礼仪
nbsp; 1 .C IT% r^ioi [anchor
KA
W)inanchor
vlo4in cr
H 雨务》Googh 已关闭此广告
anchor R *^***
a> >nk4>)l V sr*nkjl V
n. ; ; fft ■: NMUBOi; SRkJlS
V. NV.停a 用・用住：ffitf (广！!祁目)B3EW 人
X Tr-ni ； sor-ad
Already In China? we re hiring
sccretwid Able ram
anchored 读书笔记六年级
; anchored a&^a anchoring MEA^wr anchors
(I ｝英 ▼
聲义
英莫黑义
Noua:
1 ・ a fnechanical iSevtoe that p (went a ve-ttel from moving
2. a central cohesive source of support and siatsMy;
图2《海词》的主查询和显示界面
融媒体视角下多模态词典文本的设计构想23
不分义项，把不同的意义混淆在一起，例如：《有道》的“leapfrog”.玩跳背游戏；越级提升；超过，超越；跨越（障碍）”，《海词》的“anchor”.抛锚；停泊；用锚系住；担任（广播电视新闻节目）的主持人”等。此外，释义和标注错误时有发生，如“ cheerleader（啦啦队员）”被释为"啦啦队长"，"get on one北宋官制
^nerves（让人厌烦）"被释为"令人不安"，及物动词"consolidate （使加强）”后出现了“合计金额”的名词性“对等词”等。《有道》的不少释义是从网上提取的，错误似乎更常见一些，如purple patch本来是“幸运时刻”的意思，却被释为“辞藻华丽的段落”purcha则释为“……支点；（地产的）年收益；紧握；起重装置”等;boardroom则释为："会议室；交换场所"；更奇怪的是informations被立为词
目[1]，释为"informati广播体操第一套
on的复数⑵”。这些词典的一大特点是例证丰富，并且还做了分类，但大多是从网上抓取的，未经细致的筛选和区分，也无义项针对性，只是重复的堆积，对学习者的作用有限。
在学界，介绍和研究这类词典的文章也不少，在知网检索到有关《词霸》和《有道》的论文分别为107和20篇，但极少有人把它们作为多媒体词典来研究，批评其编纂质量的却不少。从媒体性质来讲，含有文本、声音和图像等内容的就可以叫作多媒体词典，而上述词典并没有系统、平衡地运用这些媒体，所以其多媒体特征不强。
然而，语言教学界对多媒体和多模态词典的呼声很高，这是因为：1）语言的自然习得和日常交流都发生在多模态场景;2）通信技术的发展使人们的阅读习惯发生了改变; 3）多元识读与多模态语境被引入二语教学，对词典提出了新的要求。近十年来，有关多模态词典的研究引起学界重视，波兰学者Lew（2010）提出了多模态词典学（Multimodal Lexicography），党军（2010）也提出了“双语词典多模态化”。但他们的研究混淆了“媒体”与“模态”的概念，把复杂的模态简化为了媒体。之后一些研究（闫美荣2011；罗永胜2012,2015；陈维红2015）大多也是这个路子，有些则从功能语言学的视角来谈词典的图文和语义关系（杨信彰2012；张春燕，陈思一叶2016），有的从界面设置或插图位置来谈多模态电子词典（钱亦斐2016），都没有涉及多模态元素的性质特征和语义表征机制。
那么，模态与媒体之间是什么样的关系？模态的实质特征是什么？多模态元素的语义机制和释义方法是什么呢？我们将在融媒体的框架下来讨论这些问题。
三、融媒体框架下的媒体与模态的融合
多模态源于系统功能语言学的多模态语篇分析，其主旨在于用各种语言和非语言符号来解释语言的三大元功能：概念功能、人际功能和语篇功能，并指出不同模态可使用不同媒介来的表达。（Kress&van Leeuwen1990/2006；Martinec2005；Royce2007；Matthiesn 200刀然而，尽管我们可以从功能的角度来研究词典学（语篇词典学），但词典的语篇毕竟不同于自然语篇，当然也不宜直接用功能语言学中的多模态方法来描述词典中的模态；因为词典组织“语篇”的方法与自然语篇有很大不同。前者是“从具体到抽象”，后者则是“由抽象到具体”的认知过程。另一方面，词典用户是语言“学习者”，查阅词典往往是任务驱动，所以必须要结合词典释义的实际来谈多模态，而不是纯粹套用语篇分析的方法。
（-）多模态的必要性与可行性
多模态语义表征方法比较适用于二语学习词典，因为成人在学习二语前已经具有比较
24辞书研究2021年第2期
成熟的母语知识系统，但缺乏或没有二语的语感，离散的（不系统的）词汇知识或孤立的解释往往会受其母语负迁移或目的语规则过度泛化的影响，从而产生中介语偏误。（章宜华2012）从这个角度讲，
二语学习者没有一语自然习得的那种语言环境，这就需要我们在词典中营造一种学习者缺乏的自然语境，而多模态释义就是营造这种语境最有效的方法。多元识读理论（New London Group1994,1996）的提出和多模态教学的实施从理论和实践两个方面证明了多模态词典释义的必要性和可行性。多元识读就是对多媒体和多模态信息的解读能力（Williamson2005），已经被证明是一种二语习得的有效的学习方法（吴玲娟2013；张燕2018；高丽华2018），传统的以读写为主的识读能力在多媒体时代已不够用了（胡壮麟2007）o
实际上，多模态交际方式普遍存在于我们的日常生活，也就是说，我们的任何交际都是多模态的，所以很容易被识读和记忆。然而，传统词典受限于信息媒介的限制，只能是单媒体语境，查阅和理解有一定难度。进入融媒体时代，信息技术和媒体融合技术为多模态在词典中的运用创造了条件，使各种模态可以与数字媒体有机结合起来，能大幅提升词典释义和使用效果。
（二）多模态表征与承载形式
在词典释义中提供多模态语境或多模态元素有助于二语学习和用户对词典释义的解读。（杨信彰2012；钱亦斐2016）但模态的形成、承载和传输是一个复杂的语言认上海崇明岛
知和信息处理过程，涉及媒体、多媒体、多模态、融媒体诸多要素。语言认知始于感官（眼、耳、鼻、舌、身），通过光波、声波、嗅觉传感器、味觉传感器和触感传感器获得承载某种信息的图形、声音、气味、口味、感应等意象图
式，这就是模态-----种在大脑中形成的心理实体（mental entity）。如果要表达这些模态信息、让他人知晓，就需要借助特定的媒体，包括逻辑媒介和物理媒介，前者包括文字、声音、图像、图1895年
形、图表、色彩、结构、动画、视频和音频流等，后者包括纸张、磁盘、光盘、网络、云平台、电波，以及各种终端设备（平板电脑、手机、阅读器等）。从词典学的角度讲，语义模态（词典信息）需要逻辑媒介来承载，而逻辑媒介则需要物理媒体来承载和传播。在融媒框架下，这些元素可以得到有效融合（见图3）。模态因为有媒体承载而具有一定的形式，而媒体则因为承载了模态才具有一定的意义。
（三）多媒体与多模态的融合
总体来讲，多模态首先是一个"感官模态系统"（nsory modalities）0（顾曰国2015）人们通过这些感官与客观世界互动，并由此产生对应于多个感官的多模态心理意象，然后合成具有语言学意义的模态。具体地讲，多模态是词典用户感知到的词典信息与其指称的实体发生映射而形成的心理意象，并触发相应的心理空间形成“新”“旧”知识的触发和联想，最终形成被释义词的概念图式，以特定的语音、声音、图形、颜色、动作、结构等来表达。这个认知融合过程（化学反应）需有两个条件或“催化剂”：逻辑媒体和物理媒体——媒体是外在形式，模态才是知识内容，两者需要有机融合（参见图3）。
具体地讲，概念图式是抽象的、心理的，它需要用文字、声音、图像或音乐等来表达，通过网络、电
视、广播等来传输。这就是模态与媒体融合的逻辑机制。这种融合机制可以有效帮助词典编纂者建立多模态词典释义情景，特别是将来拟真模态和VR技术的运用，它
