电子计算机与多媒体

第一章多媒体技术概述

一、主要内容

1、什么是媒体?

1)一是指用以存储信息的实体,如磁盘、磁带、光盘和半导体存储器;

2)一是指信息的载体,如数字、文本、声音、图形图像和视频等。

2、CCITT给媒体做的分类

1)感觉媒体:指能直接作用于人的感官,使人能直接产生感觉的一类媒体

2)表示媒体:为了加工、处理和传输感觉媒体而人为地研究、构造出来的一种

媒体。其目的是将感觉媒体从一个地方向另一个地方传送,以便于加工和处理。表

示媒体包括各种编码方式。

3)显示媒体:指感觉媒体与用于通信的电信号之间转换用的一类媒体。包括输

入显示媒体和输出显示媒体

4)存储媒体:用来存放表示媒体,以方便计算机处理加工和调用,主要指与计算

机想着的外部存储设备。

5)传输媒体:用来将媒体从一个地方传送到另一个地方的物理载体,是通信的

信息载体。3、多媒体定义

所谓多媒体,是指信息表示媒体的多样化,常见的多媒体有文字、图形、图

像、声音、音乐、视频、动画等多种形式。

4、多媒体技术

就是利用计算机技术把文本、声音、视频、动画、图形和图像等多种媒体进

行综合处理,使多种信息之间建立逻辑连接,集成为一个完整的系统。

5、多媒体的特征

1)多维化:信息媒体的多样化。

2)集成性:不仅指多媒体设备集成,也包含多媒体信息集成或表现集成。

3)交互性:是使人们获取和使信息变被动为主动的最为重要的特征。

4)实时性:主要指类似声音和视频这样的媒体,与时间密切相关,要求多媒体技

术必须支持实时处理。

6、多媒体计算机技术及发展

1)MPC1:1990年

2)MPC2:1993年

3)MPC3:1995年

7、多媒体技术主要内容:

1)多媒体软硬件平台

2)专用芯片:DSP

3)数据压缩及编码技术

4)多媒体同步:集成模式:制约式、交互式和协作式。

5)多媒体网络与分布式处理技术

6)信息的组织与管理

7)多媒体数据存储

8)虚拟现实技术

8、多媒体技术的应用

1)视频点播

2)电子出版物

3)CAI

4)游戏与娱乐

5)计算机视频会议

6)多媒体展示和信息查询系统

7)MIS与OA

8)传媒、广告

9)讲演辅助

10)联机服务

第二章多媒体计算机系统的组成

一、主要内容

1、多媒体I/O设备分类

输入设备、输出设备、用于网络通信的通信设备。

2、输入设备

除了基本的键盘、鼠标等以外,还包括手写板、磁卡设备、IC卡设备、条码

设备、图像扫描仪、数字化仪、触摸屏、视频卡和视频捕获卡等。

3、图像扫描仪主要性能指标

1)分辨率:以每英寸上扫描象素点数(DPI)表示,通常在300DPI到1200DPI之

间。

2)灰度,指图像亮度层次范围,目前可达250

3)色彩度,指彩色扫描仪支持的色彩范围,用象素的数据位表示,如24位支持

16M色。

4)速度,在指定的分辨率和图像尺寸下的扫描时间。

5)幅面:支持的幅面大小,如A4、A3

扫描仪按幅面大小份为台式和手持式,按图像类型分为灰度和彩色扫描仪。

4、触摸屏

一般由两部分组成:触摸屏控制卡和触摸检测装置。按介质及工作原理,可分

为电阻式、电容式、红外线式和声表面波式。

5、视频捕获卡

将模拟视频信号转换为数字视频信号的转换卡。选择时要考虑的问题:

1)是否有Overlay(叠加)功能,可直接把视频信号送到VGA显示器。

2)支持的输入视频标准、视频源和图形文件格式。NTSC、PAL和S-Video。

3)与VGA卡的兼容性

4)是否采用了硬件压缩

5)“录像”质量:图像尺寸、支持的颜色数、丢帧。

6、输出设备

1)CRT:两大类:图像显示、矢量图形方式。种类:存储型、随机扫描型、随机

扫描彩色CRT。

2)液晶显示器(LCD):低电压、低功耗。按技术性质分单纯矩阵驱动和主动矩

阵驱动,TFT是主要发展方向。

3)等离子体显示器(PDP)

4)显示卡:主要作用是对图形函数进行加速。

5)打印机:击打式和非击打式,点阵针击、激光、喷墨。

7、通信设备

1)调制解调器:Modem

2)网卡,局域网最基本的部件之一,又称网络卡或网络接口卡,简称NIC。主要

工作是整理计算机上发往网线上的数据,并将数据分解为适当大小的数据包之后向

网络上发送出去,还

负责网线上传过来的数据。

3)传真/通讯卡

8、存储设备

1)软盘、硬盘、光盘

2)NAS:网络附加存储,以数据为中心,将存储设备与服务器彻底分离,集中管理

数据。

3)SAN:存储局域网,以数据存储为中心,采用伸缩的网络拓扑结构,通过具有高

传输速率的光通道的直接连接方式,提供SAN内部任意结点之间的多路可选择的数

据交换,并且将数据存储管理集中在相对独立的存储区域网内。

9、USB设备

通用串行总线,主要特点:即插即用、可热插拔,并具有自动配置能力。1.1版

12Mb/s,2.0版480Mb/s。USB采用四线电缆,其中两根是用来传递数据的串行通道,

另两根为下游设备提供电源。

USB支持4种基本的数据传输模式:控制传输、等时传输、中断传输及数据块

传输。

10、多媒体与CPU芯片

MMX技术:重要特色是使用了单指令多数据流技术(SIMD),即一条指令并行处

理多个数据,从而成倍地提高了机器计算速度。

第三章数字图像处理技术

一、主要内容

1、彩色空间及变换

图像处理技术中最基本的问题是对颜色的处理。颜色模式主要有:

1)RGB:红、绿、蓝

2)Lab:是由RGB转为HSB或CMYK模式的桥梁,发光率、颜色A、B。

3)HSB:色泽、饱和度、亮度

4)YUV:电视系统常用模式,亮度Y和色差U、V组成。Y与U、V独立变化,可

用于压缩。

5)CMYK:彩色印刷使用。

2、冗余数据压缩

对多媒体数据进行压缩的前提是数据存在大量的冗余,压缩的目的就是尽可能

消除这些冗余,分为:

1)统计冗余:大量统计特征上的重复

2)信息熵冗余:信息熵定义为一组数据所表示的信息量,等于各记录码元的二

进制位数(即编码长度)与该码元出现的概率乘积之和。

3)结构冗余:图像纹理

4)知识冗余:

5)视觉冗余:人的视觉对某些细节不敏感

3、压缩算法评价

1)压缩比

2)算法的复杂性和运算速度

3)失真度:无损编码、有损编码

4、行程长度编码(重点掌握并应用)

RLE,又称游程编码,就是把一系列的重复值用一个单独的值加上一个计数值来

取代。

5、哈夫曼编码(重点掌握并应用)

基本思路:出现频率越高的值其对应的编码长度越短,反之出现频率越低的值,

其对应的编码长度越长。步骤如下:

1)统计信源符号出现的概率

2)将信源符号按概率递减顺序排列

3)将两个最小的概率值加起来,作为一个新组合符号的概率。

4)重复2、3步,直到概率和达到1为止

5)在每次合并信源时,将合并的信源分别标记为“1”和“0”(例如,概率小的

标记为“1”,概率大的标记为“0”)

6)寻找从每一信源符号到概率为1的路径,记录下路径上的“1”和“0”

7)对每一版本号写出“1”和“0”序列

缺点:

1)必须精确统计出每个值出现的频率,通常需要两遍操作,速度慢。

2)译码过程比较复杂,对于位的增删比较敏感。

6、预测编码

可分为线性预测和非线性预测编码。前者常被称为差分脉冲编码调制,即

DPCM。其基本原理是基于图像中相邻象素之间的相关性,每个象素可通过与之相关

的几个象素来进行预测。

7、变换编码

就是将时域信号变换到频域信号上进行处理的方法。常用有K-L和DCT(离散

余弦变换)。

8、模型法编码

预测编码、矢量量化编码以及变换编码都属于波形编码。其理论基础是信号

理论和信息论,其出发点是将图像信号看作不规则的统计信息,从象素之间的相关性

这一图像信号统计模型出发设计编码器。而模型编码则是利用计算机视觉和计算机

图形学的知识对图像信号的分析与合成。模型编码的关键是对特定的图像建立模型,

并根据这个模型确定图像中景物的特征参数,如运动参数,形状参数等。解码时则根

据参数和已知模型用图像合成技术重建图像。

9、混合编码

以两种或两种以上方法对图像进行编码称为混合编码。

10、图的分类:

1)矢量图:用数学方法描述的一系列点、线、弧和其它几何形状。

2)位映像图:也称光栅图,由像点组成。

11、BMP格式

位图文件格式,三部分组成:位图文件头数据结构、位图信息数据结构和位图

阵列。

位图阵列数据支持RLE4和RLE8压缩格式。

12、GIF格式

CompuServe公司开发的格式,称为图形交换格式。以数据块为单位来存储图

像的相关信息,使用LZW压缩算法来存储,支持透明属性,可以在一个文件中存放多

幅图像。

13、TIF格式

TIFF格式,与硬件无关,可以用几种不同的压缩方法压缩。文件组成:文件

头、参数指针表、参数数据表。

14、PNG格式

便携网络图形格式,使用LZ77派生的无损数据压缩算法,目的是替换GIF和

TIFF。

15、PNGvsGIFvsJPEG(掌握)

1)PNG兼有GIF和JPEG的色彩模式,GIF用256索引色,JPEG用真彩色,PNG都

支持。

2)PNG能把图像压缩到极限,但又保留图像品质。文字线条类图形用类GIF方

式,相片类用类JPEG方式处理,但采用非破坏性压缩。

3)PNG更优化的传输显示。支持类GIF的交错模式。

4)GIF只支持0/1透明,JPEG不支持透明,PNG支持“a”频段0-255的透明信

息。

5)GIF在不同系统上显示的画面可能不同,PNG则可完全相同。

6)GIF支持一个文件多图像,PNG不支持。

7)PNG用无损压缩,虽然压缩比高于JPEG,但是JPEG可以牺牲品质换尺寸。

8)PNG不支持CMYK模式。

(后三个是PNG的缺点)

16、JPEG格式

ISO和CCITT静止图像编码联合专家组。用于连续色调的静止图像压缩编码

的通用算法的国际标准。

两种工作方式:顺序方式和渐进方式。

顺序方式中,图像被分割成行成列的四方小块,编码时由左而右,由上而下地逐

行逐列对每个小块进行运算,直到所有小块都被编码为止。渐进方式下,先以一种低

于最终质量要求的标准进行编码,完成后再以较上次高一级的质量要求再进行一次

编译,但仅传送为改善质量所需增加的那部分信息。重复若干次直至达到所需的最

终质量要求。

三种级别编码算法:基本系统、扩展系统、无失真系统。

基本系统编码以离散余弦变换为核心,采用顺序工作方式,适用于一般精度

(8bit)的图像,有良好的压缩效果,压缩比可调。

将基本系统在若干方面增强并减少一些限制条件后就称为扩展系统,支持

(4bit-12bit),可采用渐进方式,可选哈夫曼或算法码对离散余弦变换产生的统计事

件进行压缩编码。

无失真系统采用二维DPCM技术,实现无失真压缩,压缩比较低。

17、JPEG基本系统编码过程(重点掌握)

1)二维DCT正变换,减少图像数据的相关性

2)系数量化,根据压缩精度将变换系数用较少的比特数表示

3)编码模型与统计事件,压缩系数矩阵中的零数据,从量化后的系数矩阵生成

供熵编码的统计事件。直流分量使用DPCM编码。

4)熵编码:基本系统中用哈夫曼编码,扩展系统中可用算术编码。

5)数据结构,增加一些附加信息

18、JPEG渐进方式

1)谱选择法,对DCT变换后的系数,先低频后高频按级编码。

2)逐次逼近,第一级只送系数的近似值(如舍弃系数的几个低比特位),后面各

级补上。

3)阶梯方式,先用小尺寸编码,再编码原图像与它的差值。

19、JPEG的压缩效果

0.15b/p,可识别,0.25有用,0.75极佳,1.5时基本与原图无区别。

20、JPEG2000

核心算法改用离散小波变换算法的多解析编码方式。优势:

1)高压缩率,比JPEG高10%-30%

2)无损压缩,支持预测法无损压缩

3)渐进传输

4)感兴趣区域压缩,为感兴趣区域指定不同的压缩质量。

21、MPEG系统

继续阅读