基于Web的海量遥感数字共享体系设计与实现
第1章 绪 论
1.1 选题背景、目的与意义
遥感数据作为一种对地观测目标的空间信息载体，具有覆盖面积大、信息含量丰富、获取速度快等特点，目前已日渐成为地球系统科学研究和社会经济生活的重要数据源，并被广泛应用于国土资源、环境、救灾防灾、矿产、水利、测绘、军事等行业。近年来，我国对地观测技术发展迅速，一个以多平台、多传感器、多角度获取方式的高空间分辨率、高光谱分辨率、高时相分辨率遥感数据全方位立体获取体系已经初步形成[2]，与此同时遥感数据的数据量也在飞速增长，数量级从 TB级向PB级甚至 EB级发展。能否高效的集成与共享这些海量多源遥感数据，关系到遥感数据能不能更好的服务于各个行业，也是空间信息科学领域研究，遥感业务应用部门和机构重点关心的问题之一。
针对遥感数据具有多源异构、多时空尺度的特点，为了实现对遥感数据的一体化组织管理和共享以及综合应用与分析，中科院遥感与数字地球研究所设计了五层十五级的遥感数据瓦片切分规则，不同于传统的影像金字塔模型，该规则下不同类型原始数据在切分时对应与其分辨率相近的固定层级，因此得到的遥感数据切片最大限度的保留了原始数据的信息，不仅仅可用于二三维可视化，更能满足科学分析及其它广泛的数据应用的需求。由于五层十五级瓦片切分规则的特殊性，该规则下的切片数据具有多时相、多种类和全覆盖的特性，切片数据的数量巨大且是动态变化的，应用也不只局限于可视化，这就对数据的存储、查询、浏览和下载都提出了新的挑战和更高的要求。针对五层十五级瓦片切分规则下切片数据存储的问题，中科院遥感与数字地球研究所设计了基于嵌入式数据库的遥感切片数据直接寻址存储方法，实现了存储的动态无限扩展以及数据的模糊检索和直接定位。
要想真正实现海量多源遥感数据的集成与共享，不仅要实现对多源遥感数据的整合与集成，对海量遥感数据的存储与管理，还要实现基于 Web 环境的海量多源遥感数据查询、浏览与下载等功能。本文基于中科院遥感与数字地球研究所五层十五级瓦片切分组织方式和遥感切片数据直接寻址存储方法，以及原始数据的组织与存储结构，针对切片数据和原始数据自身和其组织存储结构的特点，重点研究基于 WebGIS 的海量多源遥感切片数据和原始数据的快速高效可视化查询与浏览技术，以及 Web 环境下基于WebDAV 协议的数据快速下载技术，并在研究的基础上借助 Web 服务等相关计算机技术设计并开发了共享原型系统，实现了对海量多源遥感数据的 Web 共享。
1.2 国内外研究现状
对于海量遥感数据共享中的查询、浏览、下载等关键技术，专家学者们做了大量的研究，其中：李继元、孟令奎等针对海量多源遥感数据的低处理效率和低共享程度等问题，分析了空间数据密集和并行计算、快速检索与传输等几个关键支撑技术，并初步设计了符合水利遥感数据共享实际需求的高性能运行框架；王连备针对遥感影像共享服务的应用需求，提出基于中间件技术的影像数据共享方法，并设计了基于中间件技术的影像数据服务模式；南卓铜等设计开发了 EOS Data Dumper，一个 EOS 免费数据自动下载与重新发布系统，该系统通过用程序模拟正常的下载流程，可以实现从 NASA 的EOSDIS 网站上自动下载自定义区域的 EOS 免费数据，并将下载的数据进行 Web 的自动重发布，该系统利用现有的资源，减少了科研设施的重复投资，并且提高了 EOS 数据下载的效率；曹广生设计了一种基于 Web 服务的遥感影像共享平台的系统结构，该结构使用 Web 服务的方式进行遥感影像的共享，具有跨平台、支持多种编程语言、支持多源异构遥感影像数据的特点，实现了用户对分布式存储的遥感数据的透明操作，是一种高效的数据集成共享方式；胡倩提出了基于动态抽取的影像按需传输技术和混合的对等网络结构传输体系架构，以解决单幅遥感数据量大、服务器负担过重等遥感数据在线传输中问题，并取得了较好的效果。
目前国内外有很多机构和单位针对各种数据源建立了一系列的遥感数据共享平台网站，如美国的EOS 数据门户网站（EDG）、中国资源卫星应用中心遥感卫星数据服务系统、资源三号测绘卫星数据服务网、风云卫星遥感数据服务网、国家卫星海洋应用中心网站、北京一号对观测小卫星网站等，这些遥感数据共享平台基于不同的数据组织与存储结构，提供基于Web 的数据的查询、浏览和下载服务。
中国资源卫星应用中心遥感卫星数据服务系统为用户提供国产陆地观测卫星遥感数据产品的可视化检索与浏览、订购和下载服务，数据来源包括高分一号卫星、资源三号卫星、资源一号 02C 卫星、环境 1A 卫星、环境 1B 卫星等卫星。数据分发的具体流程分为用户注册、数据查询、数据浏览、数据订购、数据提交、数据下载几部。用户服务系统提供数据的 GIS 可视化查询、浏览，采用 FTP 服务器的形式为用户提供下载服务，用户订单被处理完成后，系统会自动发送下载链接到用户注册时登记的电子信箱里，用户也可以直接访问用户服务系统中的产品下载模块进行产品的下载。中国资源卫星应用中心遥感卫星数据服务系统数据查询界面如图 1-1所示。
第2章 系统关键技术研究
2.1 海量遥感数据的组织与存储
本文是在中科院遥感与数字地球研究所现有的一种海量遥感数据组织存储结构上进行研究，本节将详细介绍这种数据组织存储结构和其中涉及的关键技术。
2.1.1 原始数据组织与存储结构
原始数据的存储基于元数据管理技术和直接寻址技术，采用关系型数据库（MySQL）与文件管理系统相结合的集中式存储结构，其中关系数据库中存有所有原始数据的元数据信息，数据的文件目录组织采用直接寻址的方式。
元数据是包含描述数据自身及其环境信息的数据，使用元数据管理技术对海量多源遥感数据进行分类，并将元数据分类管理，建立统一的元数据交换格式，可以实现对数据的集成管理，基于元数据信息对数据进行快速查询检索，并为用户提供简易、一致、方便的交互接口。
数据直接寻址方式常用于处理内存单元的数据，后因其快速定位、以及脱离关系型数据库等特点，被引入到遥感数据的组织应用中。遥感影像数据直接寻址，主要指在通过已知的遥感数据信息，如文件名、元数据信息等，直接构建出数据存放路径，从而跳过海量数据检索等高耗步骤，达到数据快速定位与获取的目的。
遥感影像数据直接寻址技术适用于已知数据完整信息的情况，可以实现数据的快速定位，但其不具备模糊检索的功能。将海量遥感数据元数据管理技术与直接寻址技术相结合，利用元数据进行数据的模糊检索，并根据检索结果利用直接寻址技术定位数据位置，可以实现数据的快速查询与获取。
2.1.2 五层十五级瓦片切分规则
针对遥感数据具有多源异构、多时空尺度的特点，中科院遥感应用与数字地球研究所设计了五层十五级的新型遥感数据瓦片切分规则，以便于多源遥感数据的一体化组织管理和共享，并实现多源遥感数据综合应用与分析。该规则不同于传统的影像金字塔，传统影像金字塔是在原始影像的基础上，通过依次重采样生成各级的影像切片。而在五层十五级的瓦片切分规则下，每一种遥感影像数据根据其分辨率不同只对应五层十五级中的一个固定的层级，针对多源遥感数据，首先对遥感影像进行一系列预处理，然后进行切分生成图幅大小与数据结构相同的不同层级的影像切片，这样的切分方式实现了对多源异构、多时空尺度遥感数据的标准化管理，切片数据在具备传统影像金字塔的快速浏览、显示功能的同时，最大限度的保留了遥感数据的原始信息，能满足科学分析及其它广泛的数据应用的需求。
2.2 WebGIS 技术
GIS（地理信息系统）是用于采集、存储、查询、分析和显示地理空间数据的计算机系统[18]。互联网、万维网与 GIS 相结合，产生了互联网 GIS（Inter GIS）和万维网GIS（WebGIS），它们都属于网络 GIS 的子集。互联网 GIS 是基于 TCP/IP 协议的网络GIS，可以是 C/S（客户端/服务器）模式的，也可以是 B/S（浏览器/服务器）模式的。
WebGIS（万维网地理信息系统）是万维网与 GIS 相融合的产物，可以把它看作是互联网GIS 的一个子集，它是基于 HTTP 协议的B/S 模式的分布式GIS，客户端一般是通用的Web浏览器。WebGIS 让GIS 从办公室和实验室走进了千家万户，让用户不必购买专业的GIS 软件，通过浏览器即可从 WebGIS 服务器上获取地理数据和地理处理功能服务。WebGIS 综合了 Web 和 GIS 的优点，与传统的桌面 GIS 或基于 C/S 的网络 GIS 相比，WebGIS 的特点与优势主要有以下几点：
（1） 用户的大众化和众多性。WebGIS 继承了互联网和 HTTP 协议的优点，传播具有全球性，拥有广泛的用户访问范围。这些用户不仅是专业人员，普通用户也能方便得获取地理信息服务，体现了其大众化。另外，一个 WebGIS 应用能同时支持多用户的并发访问，体现了其用户的众多性。
（2） 良好的跨平台性、易用性。WebGIS 的客户端一般是通用的 Web 浏览器，无论客户端安装什么样的操作系统平台，用户都可以通过浏览器访问 WebGIS 服务器上的数据和功能。
（3） 开发使用成本低。WebGIS 开发一般采用常用的动态网页开发技术，应用开发简易，开发周期短。用户使用时不必为每一台计算机购买一套专业的 GIS 桌面软件，平均费用低廉。
（4） 更新维护方便，现势性强。WebGIS 应用的程序代码和数据通常集中在一个或多个服务器上，当WebGIS 的版本与数据更新时，管理员只需对服务器更新即可，不需要每位用户重新安装客户端，用户下次登录网站时，即可使用最新的数据与功能服务。
第 3 章 系统分析与设计..................... 20
3.1 系统需求分析 ..................... 20
3.2 系统总体结构 ....................... 20
3.3 系统数据库结构 ..................... 21
第 4 章 原型系统实现............... 33
4.1 服务器端功能实现 ..................... 33
4.1.1 地图服务发布 ......................... 33
4.1.2 WEB 服务开发 ................ 34
第4章 原型系统实现
海量遥感数据共享原型系统的实现包括服务器端功能实现和客户端共享平台网站开发两部分，其中服务器端功能实现包括地图服务的发布和 Web 服务的开发。
4.1 服务器端功能实现
4.1.1 地图服务发布
动态缓存瓦片地图结合了动态地图和静态缓存瓦片地图的优点，具有加载速度快、运行效率高的特点，本文使用动态缓存瓦片地图的方式发布地图服务作为底图。开源软件是指源码可以被公众获取的计算机软件，其修改与分发不受许可证的限制，开源GIS软件具有成本低、易扩展、系统运行效率高等特性，因此本文选用开源的GIS 服务器软件。
目前比较成熟稳重的开源 GIS 服务器软件有 GeoServer、MapServer 等。GeoServer 是一个开源地理信息系统服务器，是 OpenGIS Web 服务器规范的 2EE 实现。MapServer是一套基于胖服务器端/瘦客户端模式的实时地图发布系统，其核心部分是 C 语言编写的地图操作模块，并且对OGC的WMS和WFS等规范提供支持。两者相比较各有所长：在功能上 GeoServer 更加丰富和强大；在效率上 MapServer 对 WMS 的支持更为高效，Geoserver 则擅长结合 WFS 规范的属性查询和在线编辑；此外 MapServer 相对于Geoserver 维护起来更简易容易。在本文中 WebGIS 服务器软件主要功能是提供 WMS 底图服务，不涉及图层的修改，因此选用 MapServer。MapServer采用 Mapfile配置文件方式管理地图发布，Mapfile 可以采用手工编写、QGIS 软件生成和 Maplab 软件可视化配置三种方式获取。
结论
本文研究 Web 环境下的海量遥感数据共享技术，在分析现有的数据及其组织与存储结构的基础上，研究 Web 环境下海量遥感数据的快速高效查询、浏览与下载，实现了基于WebGIS 技术的数据可视化查询与浏览和基于 WebDAV协议的数据下载，并基于Web 服务设计和实现了海量遥感数据共享原型系统。本文主要包括以下几个方面的亮点：
（1） 本文对海量遥感数据查询、共享与下载的研究与共享平台网站的实现是在中科院遥感与数字地球研究生现有的数据组织和存储结构的基础上进行的。其中切片数据采用全新的五层十五级的瓦片切片组织规则和嵌入式数据库的遥感切片数据直接寻址存储方法进行组织和存储，具有多时相、多种类、全覆盖、动态存储和应用广泛的特点。
（2） 根据本文中切片数据的特点，做了分页查询、整体查询和行列号查询三种查询方式，并根据查询结果的位置和数据量的大小，使用了混合的 WebGIS 实现策略，将返回数据量大的整体查询结果交给服务器端进行绘制，这样一来就在在保证查询结果全部显示的前提下，有效的解决了浏览器端可能因为数据量太大而产生的反应迟缓甚至挂掉的现象。
（3） 本文对海量遥感数据的下载，采用 WebDAV 协议进行实现，而不同于现在大多数的遥感数据共享平台那样使用 FTP。WebDAV 是在 HTTP1.1 协议的基础上加入改写保护、资源管理和文档属性等扩展技术而产生的通信协议，这些扩展技术使WebDAV 具有和 FTP 一样的功能，由于又具备 HTTP 协议的所有优点，所以 WebDAV相对于 FTP 有着压倒性的优势，特别是在海量小文件的传输应用上，WebDAV 可以使用一个TCP 连接传输多个数据， 传输效率比FTP 要高，而本文中的切片数据正是具有海量小文件的特点。
本文虽然对Web环境下海量遥感数据的共享技术做了一定研究，并设计和实现了共享原型系统，为了使系统更好的满足应用的需求，还有一些问题需要继续进行探索：
（1） 在系统运行过程中，需要考虑系统中海量遥感数据网络传输的安全性问题， 以及多用户并发访问的问题
（2） 系统的功能还需加强，需要提供更加丰富的查询功能和WebGIS 功能，需要建立更加灵活的用户管理机制，系统的界面需要更加美观等等。
参考文献（略）