第29卷，第4期国土资源遥感V〇L29，N〇.4 2017 年12 月REMOTE SENSING FOR LAND & RESOURCES Dec. ,2017
doi ：10. 6046/gtzyyg. 2017. 04. 32
引用格式：随欣欣，王彦佐，晋佩东，等.基于RasterCatalog的海量遥感数据存储及快速浏览技术研究[J].国土资源遥感，2017,29(4) ：214 -218. (Sui X X,W ang Y Z,Jin P D,et al. Rearch on mass remote nsing image storage and rapid brow bad on RasterCatalog[ J]. Remote Sensing for Land and Resource,2017 ,29(4)：214 -218.)
基于RasterCatalog的海量遥感数据存储
及快速浏览技术研究
随欣欣\王彦佐\晋佩东\魏英娟\王文凯2，马骏欢2
(1.中国国土资源航空物探遥感中心，北京100083; 2.北京吉威数源信息技术有限公司，北京100043)
摘要：高分一号卫星自2013年4月26日发射至今，已获取了大量的数据，数据量已达到了T B级，而且还在持续增 长。基于高分数据的有效管理、检索和展示的需求，对海量数据存储模型和影响图像浏览速度的因素进行分析。
通过实验验证，采用压缩质量为50%的JPE G压缩和双线性插值法构建影像金字塔，以64 X 64切片大小进行数据 存储，并通过构建GDB RasterCatalog Layer，能够实现海量遥感数据的存储与快速浏览展示，满足高分系列卫星在行 业应用中数据管理与显示需求。
关键词：高分数据；RasterCatalog；快速浏览
mmorpg是什么意思
中图法分类号：TP 79文献标志码：A 文章编号：1001 -070X(2017)04- 0214 - 05
〇引言
随着遥感技术的不断发展，遥感数据的获取途 径也在不断的增多，并且随着空间分辨率、波段数的 提高，遥感影像的数据量级别也在不断增长。中国 国土资源航空物探遥感中心（下文简称航遥中心）2016年5月就已存储各类遥感影像数据达176万 余景，数据量达533.9 T B，其中高分一号卫星影像 数据81.8万余景,189.7 T B；高分二号卫星影像数 据45.5万余景,220.2 T B，且国产卫星数据仍以每 天2 000余景，1.0 T B数据量的增长速度不断增加。航遥中心承担着高分国土资源业务卫星数据的统 筹、管理、服务及保障任务，巨大的数据量对海量数 据的高效管理和服务提出了挑战，急需应用合理的 技术高效管理这些海量高分影像，为应用提供数据 支持。近年来，很多专家和学者针对海量数据的存 储管理进行了大量的研究与系统建设，如许自舟 等[1]进行了海量影像数据储存与发布的技术研究，表明采用影像压缩、影像金字塔和影像切片等技术 能有效提高海量影像数据储存与发布性能；薛涛 等[2]
研究了基于空间数据库、文件目录方式和W e b Sennce等方式的数据存储和发布。虽然数据存储管理方式层出不穷，但是应用最广泛的是基于关系 型数据库+空间数据引擎与文件系统相结合的方式 实现海量数据的管理[3_5]。而针对遥感影像数据的 浏览展示，以往主要通过单一 Oracle关系数据库 B L O B字段存储，影像检索及叠加展示效率较低；而 后续的研究主要运用金字塔、影像分块等技术[6]，能够实现较好的浏览展示效果。
本文通过研究发现，基于RasterCatalog栅格数 据组织方式结合影像金字塔、数据压缩技术能够实 现海量遥感影像数据的高效存储与快速展示，其效 果明显优于关系数据库B L O B字段的影像数据存储 方式。
1影像数据存储技术
近年来，随着遥感影像数据量的不断增长，海量 遥感影像数据的存储技术也随之迅速发展，国内外 学者提出了以关系数据库、空间数据库为主的栅格 数据存储技术[7]，其中应用广泛的有Oracle关系数 据库B L O B字段存储和空间数据引擎A r c S D E存储 2种。
Oracle关系数据库B L O B字段存储方式易于管 理，具有可伸缩性、安全性及可用性的优点；空间数
收稿日期：2016 -05 -05；修订日期：2016 -06 -21
基金项目：中国国土资源航空物探遥感中心项目“高分基础数据支撑分系统建设”（编号：201330106)和“资源一号02C卫星应用系统 (地矿）影像产品数据整合建库及管理”（编号：201530605)共同资助。
第一作者：随欣欣（1983 -)，女，博士，工程师，主要从事遥感信息化研究。E m a i l:s x x5666@163.c o m 。
第4期随欣欣，等：基于RasterCatalog的海量遥感数据存储及快速浏览技术研究.215.
据引擎支持超大型数据集，可灵活、高性能地搜索提 取空间数据，是专门为多用户、分布式环境设计开发 的体系架构，拥有逻辑上的无缝、连续的非瓦片式的 空间目标数据模型，并支持多用户并发查询的快速 响应。以下针对关系数据库b l o b字段和空间数据 引擎的存储原理进行分析。
1.1关系数据库B L O B字段存储
在Oracle数据库中，大对象（large objects,L O B)是用来存储大量的二进制和文本数据的一种数据类 型（一个L O B字段可存储多达4 G B的数据）。Ora-cle8i以上支持3种类型的内部L O B：二进制数据 (B L O B)、单字节字符数据（C L O B)和多字节字符数 据（N C L O B)。其中B L O B字段适用于存储大量的 二进制数据，如图像、视频和音频等。在通常的遥感 影像数据管理系统中，影像数据以b l o b字段存储 在Oracle数据库中。B L O B字段包含B L O B列、B L O B数据段和B L O B索引段3部分：
B L O B列由 B L O B定位符和B L O B值组成，B L O B定位符是一个 指向B L O B字段实际存放位置的指针，B L O B值存 储B L O B数据；B L O B数据段由多个数据块（chunk)组成，每个c h u n k用来存放B L O B数据；B L O B索引 段由多个entry组成，主要用于存放B L O B索引。
遥感影像由于数据量较大的原因，通常存放在 B L O B数据段中。若c h u n k未超过12块，通过 B L O B定位符指向存储在B L O B字段中的影像，不 使用B L O B索引段；否则需要用B L O B索引段进行 寻址，数据段中每一个c h u n k地址都存放在B L O B 索引中，通过索引段寻址方式，可以定位到影像在 B L O B字段中的存储位置，从而读取高分影像进行 展示。这就导致B L O B字段存储和网络资源占用 大，影响遥感影像的检索获取效率，多用户对海量遥 感影像的并发访问受限。
1.2空间数据引擎存储
空间数据引擎（spatial databa engine,S D E)是 G I S中介于应用程序和空间数据库之间的中间件技 术，能够在常规数据库管理系统功能之外获得空间 数据存储和管理的能力，具有代表性的是E S R I的A r c S D E0RasterCatalog数据模型是 ArcSDE 中存储、管理栅格数据的一种组织方式，通过ArcEngine提 供的接口，将多个独立的影像数据文件无缝地显示 在一个RasterCatalog图层中，并同时存储影像数据 的空间位置信息。
RasterCatalog图层在Oracle数据库中存储在若 干张相互关联的表中，其中真正存储栅格影像数据 的
表包括：附录信息表、分块表、波段表和栅格表。附录信息表存储影像颜色映射、统计信息等；分块表真正存储栅格像素值；波段表存储影像的所有波 段信息；栅格表存储RasterCatalog中包含的栅格的 属性。对于高分影像数据，S D E通过建立Raster_ Columns(SRID外键 < Spatial_References > )兀数据 表，来建立与导入的业务表（business table)之间的 关系。
栅格目录中的每个影像数据都是独立的，利于 数据更新和数据库维护，常用于管理分幅数据或者 同一地区的多期数据，航遥中心现有影像多数为原 始分幅影像，具有数据量大、覆盖面积广和部分地区 多次覆盖的特点，使用RasterCatalog存储方式能够 有效管理影像数据。
2海量影像数据显示优化技术
2.1影像数据压缩类型与压缩质量
海量遥感影像数据管理系统在管理海量影像数 据时，为了节省数据库中的数据存储空间，在影像数 据入库前，对数据进行压缩存储。系统内部在导入 栅格影像数据时，可以根据需要选择不同的压缩类 型和压缩质量，常见的压缩类型有无压缩、LZ77和 J P E G等，其中LZ77为无损压缩类型，J P E G为有损 压缩类型，对于J P E G有损压缩类型还可以选择不 同的压缩质量完成数据压缩。
2.2影像数据金字塔
对原始图像创建金字塔是改善影像数据显示性 能的一种重要方法。影像金字塔的创建过程就是一 个重采样的过程，金字塔文件中存放了多种空间分 辨率的栅格数据，同一空间分辨率的栅格数据被组 织在一个层面（layer)内，而不同空间分辨率的栅格 数据具有上下的垂直组织关系：越靠近顶层，数据 的空间分辨率越小，数据量也越小，只能反映原始数 据的概貌；越靠近底层，数据的空间分辨率越大，数 据量也越大，更能反映原始详情。
影像金字塔的各个连续图层间通常以4:1的比 例进行重采样，常用的重采样方法有最邻近法、双线 性插值法和二次卷积法。卫星或航空摄影等tiff和 m g格式的影像数据多采用双线性插值法或者三次 卷积法[1]进行重采样，以保证影像平滑显示效果。影像数据越大、金字塔级数越多，创建金字塔花费时 间就越长，但在浏览展示时也将节省更多时间。
bbc南太平洋2.3影像数据切片
随着遥感技术的发展，卫星遥感影像数据单幅 数据量也越来越大，影像切片技术通过将一幅较大 影像数据切分成很多小的切片进行存储，在加载影 像时，根据视图窗口地理位置加载相应的切片数据，
• 216 •国土赛源遥惑201? Sp
从而减少数据加载时间，提奔数据浏览展示的效率 ■刺用Ras.t erCatalog_圈..层进行影像数据存储时，
栅 格影像数据(包括金字塔）被切割成一块块存储在 S D E_B L K_ < N >表中，每条记录代表了一个切片£，切片默认尺寸大小为128像素x128像素，通常根 据实际影像大小对切片尺寸大小进行调整。
三年级下册英语人教版电子课本3实例分析
本文在研究影像数据高效展示的基础上，结合 现有的影像数据存储技术，以Visual Studio2010作 为系统开发平台，O r a d e l l g作为数据库管理平台，ArcSDElO.1作为中间件消息处理技术，构建了影像处理支撑数据库管理系统。作为一个海量数据管理 系统，系统存储管理了大量P产M影像数据(如 G F- 1和Z Y02C等）以及一些其他辅助数据，共计 176万余景，数据量约534 T B。
通过对影像数据存储技术、展示技术的对比研 究，关系数据库B L O B字段存储方式存储时直接存 储的是影像文件，占用较大存储空间，因此影像处理 支撑数据库管理系统中采用了空间数据库Raster-Catalog图层方式存储。系统构建了 以数据压缩人 库，创建金字塔，创建切片生成地图缓存，客户端浏 览展示的工作流程，可实现影像数据的高效展示6影像数据存储与展示流程如图1所示。
昂立少儿英语数据入库存储数据浏览展示
图1影像数据存储与展示流程
Fig. 1 Storage and display process of image data
3.1压缩比对浏览效果的影响
选取一景4. 72 G大小、tiff格式无压缩无金字
塔的栅格影像数据为数据源，在ArcCatalog中进行
无压缩、LZ77和J P E G共3种压缩类型的压缩测试，
得到的测试结果以及视觉效果如表1所承。
表1压缩类型性能对比
Tab. 1 Performance contrast of compresd format
压缩类型
into压缩
质量/%
压缩后
数据量
压缩比/
%
耗时/s视觉效果
无压缩— 4.72 G100.00翁理猜術
LZ77— 3.92 G83.1968纹理澝晰
100 2.05 G43.4223纹通靖晰JPEG75598 M12.4171纹理较清晰
50396 M8.2146纹理明显对比实验结果得出，LZ77无损压缩视觉效果很
好，但由于是无损压缩，存储空间占用较大压缩质量为75%的J P E G在压缩比纹理效果相对较好，在 1:3 000比例尺下，纹理仍然能保持比较清晰；压缩 质量为50%时，视觉效果较75%略差，但整体效果 尚可，在1:3 000比例尺下,，纹理较明显。，
通过空间库RasterCatalog图层方式人库时，真正存储栅格像素值的S D E_B L K_ < N>表存在增长 过
快的情况，出现况倍的存储空间膨胀。考虑到数 据存储空间匈视觉效果，对比分析无损压縮以及压 缩类型为J P E G，压缩质量分别为乃％和5〇%这3 种情况对影像数据入库存储时存储空间膨胀的影响 (如表2 .所示）实验用RastarCatalog.共72条数据，原始数据文件共11.2 G s存储瓮间膨胀比率为栅 格数据占用存储空词与原始文件大小的比值，
表2压缩类型结果对比
Tab. 2 Results of compresd format
压缩类型
压缩
质量/%
B L K表
记录数
B L K表
jenny mccarthy
大小/G
平均单条数
据占用空间
存储空间
膨胀比率
m
无损压缩—19 810188.2 2.61 G16.78
JPEG
7519 81014.9212.38 M 1.33
5019 8100.4 5.69 M0.04通过对比得出，当压缩类型为J P E G、压缩质量 为50%时存储空间膨胀比率最低，有利于影像数据 的存储管理。，
通过对压缩类型、压缩质量、
视觉效果和存储空
第4期随欣欣，等：基于RasterCatalog的海量遥感数据存储及快速浏览技术研究.217.
间膨胀比率的综合分析，影像处理支撑数据库管理 系统采用压缩类型为JPEG，压缩质量为50%进行 压缩入库管理，能够满足大范围影像浏览的需求。3.2金字塔构建方式对浏览效果影响
数据入库后，为了实现快速浏览展示，程序内部 对已入库的数据建立影像金字塔。对以JPEG压缩 类型、50%压缩质量进行数据入库的数据分别采用 最邻近法、双线性插值法和三次卷积法3种常用的 重采样方法进行对比(表3)，设置构建7层金字塔。
表3重采样方法性能对比
Tab. 3 Performance contrast of different
resampling methods
重采样方法完成时间Zs金字塔文件数据量/M视觉效果
最邻近法410465较差双线性插值法433446很好
三次卷积法614432很好
对比3种重采样方法，就压缩速度、文件数据量 和视觉效果结合来看，双线性插值法建立金字塔耗 时较短，且能够获得很好的视觉效果，但最终文件数 据量略大于三次卷积法。而三次卷积法耗时太长，不建议采用，因此影像处理支撑数据库管理系统选 取了双线性插值法建立影像金字塔。
3.3图像切片大小对浏览速率的影响
空间数据库对影像进行存储时，切片大小默认 为128像素x 128像素。对于无压缩的数据,128像 素x 128像素切片大小的栅格影像数据切片应该包 含16 K个像素。就高分影像数据而言，影像位深为 16 Bit，即每个像素占据2个字节；因此，128像素x 128像素切片大小将在数据库中占据32 KB存储空 间。采用Oracle数据库进行入库时，默认创建数据 库的数据块大小为8K，则128像素x 128像素切片 占据了 2个数据块，Oracle读取这个切片就需要做4 个I/O操作。在数据库中，通过尽量减少I/O操作 来提高数据库访问效率，因此，针对现有高分数据源 以及系统部署环境等实际情况，系统采用64像素x 64像素作为最优切片大小进行影像切片。
3.4影像数据展示速度比较
根据现有技术，主要设计如下3种技术路线实 现影像数据展示。
方式1：以关系数据库b l o b字段作为影像数 据存储方式。在数据库中，通过数据I D判断影像数 据是否存在。如果存在，则下载影像文件并生成坐 标参考文件，读取文件并构造IRasterCatalog Layer, 从而实现影像数据的浏览展示；如果不存在，则不 进行展示。
方式2：以空间数据库作为影像存储方式。在数据库中，通过数据ID获取RasterCatalog相关联 表，判断影像数据是否存在。如果存在，则获取数据 库中存储的影像数据构建Raster Layer，实现影像数 据的浏览展示；如果不存在，则不进行展示。
方式3：以空间数据库作为影像存储方式。在 数据库中，通过数据ID获取RasterCatalog相关联 表，判断影像数据是否存在。如果存在，则直接通过RasterG atalog 构建成 G D B RasterG atalog Layei•并设置显示条件，实现影像数据的浏览展示；如果不存 在，则不进行展示。
在影像处理支撑数据库管理系统中，针对以上 3种浏览展示技术进行效率测试，结果如表4所示。
表4影像数据浏览展示性能分析
Tab. 4 Performance analysis of image
data ’ s brow and display (s)数据量/景方式1方式2方式3 105 ~105 ~10<1
50>2012-14<1
100>4024-37<2
500>13596 ~ 120<3
1 000>410230 -325<5
通过对比分析，方式3的数据浏览展示效率最 高，且数据量越大，优势更加明显。因此在影像处理 支
撑数据库管理系统中最终采用该方式实现影像数 据的快速浏览展示。
4应用分析
在相同的环境下，对采用了方式3的影像处理 支撑数据库管理系统和采用了方式1的其他影像管 理系统进行了应用对比分析。通过验证分析，针对 超大型数据集空间数据库RasterCatalog图层存储方 式较Oracle数据库中关系数据库BLOB字段存储方 式更具优势。
将10 000景高分一号卫星影像数据分别在影 像处理支撑数据库管理系统及其他影像管理系统中 进行数据入库管理和浏览展示，统计不同数据量执 行1〇次操作的平均耗时，结果如表5所示。
表5不同系统中数据浏览展示性能分析Tab. 5 Performance analysis of different system, s
brow and display functions (s)数据量/景
影像处理支撑数据库
管理系统（方式3)
其他影像管理系统
(方式1)
100.798.29
500.9815.77
mueller100 1.6432.70
500 2.3198.92
1 0004.20362.90
.218 .国土资源遥感2017 年
对比实验结果可以看出，影像处理支撑数据库 管理系统较其他影像管理系统在数据浏览展示效率 上存在明显的优势，能够较好地实现海量影像数据 的快速浏览展示。
5结论
本文通过对关系数据库b l o b字段存储和空间 数据库RasterCataldg存储2种存储栅格影像的方式 进行了对比分析，选择空间数据库RasterCatalog作 为航遥中心海量数据的存储方案。通过对影响浏览 速
度的参数进行实验，定量分析了不同的压缩格式、切片大小和金字塔采样方式等对海量数据浏览性能 的影响，实验证明当采用压缩质量为50%的J P E G 压缩和双线性插值法构建影像金字塔，以64像素x 64像素切片大小进行数据存储时，浏览效果最优。在此基础上完成了航遥中心影像处理支撑数据库管 理系统533 T B数据的入库管理，并通过与前期开发 的其他影像管理系统进行了性能对比，验证了该系 统能显著提高高分影像的浏览速度，表明了基于 RasterCatalog栅格数据模型能够实现海量遥感数据 的高效存储与快速展示，满足航遥中心现有影像数 据的存储管理需求。
参考文献（References):
[1]许自舟，孙淑艳，梁斌，等.A r c G I S中海量影像数据储存与发
布技术[J].海洋环境科学,2014,33(1) :99 - 104.
X u Z Z, S u n S Y, L i a n g B,e t al. T e c h n i q u e for m a s s i m a g e dat a
m a n a g e m e n t a n d p ub l ica t ion b a s e d o n A r c G I S [ J]. M a r i n e E n v i
r o n m e n t a l S c i e n c e,2014 ,33 (1) ：99 - 104.
[2]薛涛，刁明光，李建存，等.资源环境遥感海量空间数据存储
检索和访问方法[J L国土资源遥感，2013,25(3) :168- 173.
d o i：10. 6046/g t z y y g. 2013.03.28.
X u e T,D i a o M G,L i J C,e t al. A p p r o a c h to storing, retrieving a n d
a c c e s s i n g m a s s spatial d a t a in r e s o u rc es a n d e n v i r o n m e n t s r e m o t e
s e n s i n g[ J ]. R e m o t e S e n s i n g for L a n d a n d R e s o u r c e s, 2013,25
(3)：168 - 173. d o i：10. 6046/g t z y y g.2013. 03.28.
[3]王昀昀，朱勤东.基于A r e S D E的影像数据入库研究[J].测绘
通报，2013(1):84 -86.
W a n g Y Y, Z h u Q D.R e s e a r c h o n i m a g e d a t a storage b a s e d o n
A r c S D E[J]. Bulletin of S u r v e y i n g a n d M a p p i n g,2013 ( 1)： 84-
86.
penang
[4]钟永友.基于A r c S D E的物流信息系统空间数据库设计[J].计
算机与数字工程，2010，38(1) :74 -77.
Z h o n g Y Y. D e s i g n of logistics i n f o r ma ti on s y s t e m spatial d a t a b a s e
b a s e d o n A r
c S D E[J]. C o m p u t e r a n
d Digital E n g i n
e e r i n g,2010,38
(I) ：74 -77.
[5]胡仪员.基于A r c S D E for O r a c l e的地震灾害紧急救援队数据库
系统建设[D].成都：西南交通大学,2008.
H u Y Y. T h e C o n s t r u c t i o n of D a t a b a s e for E a r t h q u a k e Di s ast e r E
m e r g e n c y a n d R e s c u e T e a m B a s e d o n A r c S D E for O r a c l e [ D ].
C h e n g d u：S o u t h w e s t Jia ot on g Univ e rsi t y ,2008.
[6]王华斌，唐新明，李黔湘.海量遥感影像数据存储管理技术研
究与实现[】].测绘科学，2008,33(6):156 -157，153.
服务员英文翻译
W a n g H B,T a n g X M,L i Q X. R e s e a r c h a n d i m p l e m e n t a t i o n of the
m a s s i v e r e m o t e s e n s i n g i m a g e storage a n d m a n a g e m e n t t e c h n o l o g y
[J]. S c i e n c e of S u r v e y i n g a n d M a p p i n g,2008 ,33 (6)：156 - 157,
153.
[7]李宗华，彭明军.基于关系数据库技术的遥感影像数据建库研
究[J] •武汉大学学报（信息科学版），2005，30(2):166 - 169.
L i Z H,P e n g M J. R e m o t e s e n s i n g i m a g e d a t a b a s e b a s e d o n R D
B M S[J]. G e o m a t i c s a n d I n f o r m a t i o n S c i e n c e of W u h a n U n i v e r s i t y,
2005,30(2)：166 -169.
Rearch on mass remote nsing image storage and
rapid brow bad on RasterCatalog英孚少儿教育
SUI Xinxin1,W A N G Yanzuo1,JIN Peidong1,W E I Yingjuan1,W A N G Wenkai2,M A Junhuan2
(1.China Aero Geophysical Survey and Remote Sensing Center for Land and Resources,Bejing100083, China；
2. Beijing JW Digital Source IT Co.Ltd.,Beijing100043, China)
Abstract；Since the G F- 1satellite was launched on April26, 2013 ,a large quantity of data have been obtained, and the data volumes have entered into the multi - terabyte range,and even continue to grow.For effective management,retrieval and display of high - resolution remote nsing images,the authors take the efficient data storage model and faster browsing into consideration.The related experiments show that the storage and fast browsing of mass data can be realized by constr
ucting the image pyramid by method of J P E G compression quality of 50%and method of quadratic interpolation,storing data with slices of64 X64, and creating G D B RasterCatalog Layer,which satisfies the need of industry- specific applications.
Keywords：G F image data；RasterCatalog；rapid brow
(责任编辑：李瑜)
