SCI论文（www.lunwensci.com）
摘 要：将电子数据资料划分为结构化数据和非结构化数据进行分类整理,结构化数据可以分为矢量、栅格、表格数据, 非结构化数据主要是报告、图件以及其他多媒体数据。根据不同的数据类型,划分不同的物理存储空间,对标准的格式化数 据,建立数据库进行存放,对于非标准的数据建立目录信息,根据目录位置进行存放。在数据资料整理入库后,便于资料的管 理,极大提高数据的利用率。
关键词：资料管理,数据分类,数据整理,入库
Exploration of Electronic Data Organization Methods Based on Data Management Software
WANG Guangxin, JIN Xin
(China Geological Survey Kunming General Survey of Natural Resources Center, Kunming Yunnan 650111)
【Abstract】：The electronic data information is classified into structured data and unstructured data for classification . Structured data can be divided into vector, raster, and table data, and unstructured data are mainly reports, graphics, and other multimedia data. According to different data types, different physical storage spaces are divided, and for standard formatted data, a database is established for storage, and for non-standard data, directory information is established and stored according to the directory location. After the data information is organized into the database, it is easy to manage the information and greatly improve the utilization rate of the data.
【Key words】：data management;data classification;data sorting;warehousing
0 引言
野外调查项目数据和存量数据部分数据受业务、技 术、人为、历史等因素影响,长期成分散、碎片化的存 放,数据相互之间难流动、难汇聚、难沉淀、难应用 [1]。 在没有建立高效安全的数据整理更新的方法机制之前, 数据利用不到位,价值通常没有得到最大程度的利用。 在对数据挖掘之前,应当对数据资料进行分类整理入库 和管理。
由于自然资源综合调查成果资料涉及行业较多,包 含但不限于地质、矿产、水文、环境、灾害、森林、草 原等,包括结构化数据和非结构化数据,表现为数字、 文本、图片、各类报表、图像、音频 / 视频等数据类 型。因此,需要建立业务系统对数据进行有效管理,根据自然资源综合调查业务特性,建设完整的业务链条, 提供多种数据的组织管理方式,将不同数据之间的内在 关联性用大数据技术突出表达,通过业务系统的建设, 将资料转化为资产,数据转化为信息,服务于自然资源 综合调查业务。
1 非结构化数据资料整理
非结构化的数据资料有文档、图件、MapGis 或者 ArGis 数据集等。
(1) 成果资料通常包括 ：正文报告、附件、审批、 附表及其他文件。通常按统一的命名格式和物理存储位 置进行存放,然后建立文档目录数据库进行录入。
(2) 附图存档电子文件整理 ：按附图目录,根据图 件顺序号整理或生成存档电子文件, 一般为JPG、PDF、TIFF、GIF、PNG 格式,通常要求分辨率达 300DPI。
(3)数据库数据整理 ：同一个数据库的所有文件按 不同类别分类归置,分别存放在同一个文件夹目录下的不 同子文件夹中,命名后以同册不同件的形式挂接系统。 采用非通用存储格式的结构化数据库和图形数据库需要 提供存档电子文件,挂接到该册第一件的存档电子文件 位置。
(4) 软件成果整理 ：每个软件原则上保持其各类文件 原来的组织方式和目录结构不变,在整理时按照“安装程 序、源代码、技术文档、测试数据、辅助文件、使用说 明”等类别分类建立子文件夹存放相应的电子文件,命 名后分别挂接系统,其中第一个文件夹要挂接安装程序。
(5) 系统库整理 ：成果及原始地质资料中图件和文字 报告使用的矢量符号库、子图库、颜色库等所有的系统库 应归置到一个“辅助信息库”文件夹中,如 Mapgis 图件 的 Slib、Clib 库文件,CAD 图件的 Fonts、Support 库 文件。系统库说明 : 应对各系统库文件的调用情况作相 应说明。
2 结构化数据整理
2.1 数据类型
数据库存储结构 [2],存储记录结构设计主要是解决 如何在物理上建立数据库存储结构。在主数据库中,分 别按矢量数据集和要素层、栅格数据集和镶嵌数据集、 三维模型数据、表格数据等不同形式作为数据存储记录 结构。
(1)矢量数据 ：矢量数据等按矢量数据集和要素层 进行存储和组织,图形数据在数据库中采用空间信息字 段进行物理存储,相应属性按照属性字段进行物理存 储。矢量数据存储记录结构由成果数据直接导入并添 加必要字段后形成,数据导入过程中在数据库中进行数 据逻辑拼接。
(2)栅格数据 ：栅格数据以栅格数据集格式存储。 对于分幅数据采用镶嵌数据集进行物理存储和组织,并 按照图幅进行索引和管理。栅格数据存储到空间库中, 存储记录结构由成果数据直接导入形成,并在数据导入 过程中在数据库中进行数据拼接 [3]。
(3)三维模型数据 ：三维模型数据采用非关系型数 据库集群进行分级、分片存储。依据不同 LOD 分级,对 三维模型数据进行分开存储,同时每一级下面再按照模 型类型分级存储,便于数据的分片存储及数据节点的扩 充,同时把不同类型的数据存储为不同的集合,每个集 合下面的数据类型保持一致,便于数据的索引及管理。
(4) 表格数据 ：非空间表格数据采用关系表进行存储管理。其存储记录结构由相应成果数据按普通关系表 形式导入到数据库中形成或按照相应的数据库逻辑设计 使用 DDL 定义生成数据表结构。
2.2 数据库存储物理设计
分区存储策略,大数据量数据层按行政区分区,对 于要素数量多、大数据量矢量数据层按县或地级行政 区、市辖区进行分区,设置分布于不同的物理存储空 间,以提高数据访问性能并对数据故障进行有效隔离。 不同种类数据分区存储,将不同种类数据分开存储。主 数据库中数据可分为矢量数据、栅格数据、三维数据、 表格数据等,针对不同数据划分不同表空间或磁盘存储 空间,使用多个物理设备分区可提高数据访问效率,提 高数据库性能和稳定性。数据和索引分区存储,将数据 和索引分开存储,将空间数据索引和属性数据索引分开 存储,可以提高数据检索与浏览效率。
表空间设计, 为方便数据库数据备份和迁移, 主数 据库将采用小文件表空间进行管理,并允许自动分配。 从存储角度,主数据库的数据分为矢量数据、栅格数 据、三维数据、表格数据等 4 种,根据数据库的逻辑设 计,对不同类型的数据进行物理分开存储。
2.3 数据入库管理
基础地理数据,包括等高线、地物控制点、地貌分 区、行政区域、行政界线、居民地、城镇区域、交通、 河流、湖泊与水体、重要建筑等数据元素。公共基础数 据主要包括各类基础地理、遥感影像数据、DEM 数据、 基础矢量数据、社会经济数据等,为系统建设提供基础 的数据支撑。基于已有数据构建三维地质模型数据以及 相关的元数据信息。
成果空间数据,基础地质成果、工程地质成果、水 文地质成果、地质灾害成果、地球物理推断成果、地球 化学评价成果、地下空间开发评价成果、国土重要性评 价成果、综合成果等生成的空间数据入库。
业务专题空间数据,通过各类数据整理, 建立数据 库,进行数据分类管理和应用,主要包含以下内容 ：土 地资源、森林资源、草原资源、湿地资源、水资源、地 表基质、地下资源、自然资源监测等 8 类专题空间数 据。包含土地资源数据 ：管理土地资源数据以及数据应 用 ;森林资源数据 ：森林资源专项调查数据成果及应 用 ;草原资源数据 ：草原资源专项调查数据成果及应 用 ;湿地资源数据 ：湿地资源专项调查数据成果及应 用 ;地表基质数据 ：地表基质调查数据成果及应用 ;地 下资源数据 ：矿产资源、地下空间资源调查数据成果的 管理及应用 ;水资源数据 ：水资源数据成果及应用 ;自然资源监测 ：自然资源数据成果及应用。
3 数据资料管理
资料管理软件主要实现资料在线浏览、资料利用等 方面的功能,单位内部员工可以通过电子阅览室系统进 行资料在线浏览、借阅、加工(复印刻录),极大提高 地质资料档案使用效率,方便资料借阅管理。
(1) 电子文件浏览 ：软件对常见格式电子档案或其他 数字资源进行浏览, 支持常见格式多媒体电子档案或数字 化档案信息的播放。具有电子档案或数字化档案信息按权 限打印、下载功能。支持对于在线浏览过程中,加载基于 文本的静态水印,并可对大小、透明度进行自定义设置。
(2)借阅申请 ：根据档案基本信息检索需要查询的 档案, 用户检索后, 如有权限可以直接查看、打印、下 载,如果是无查看权限的可根据系统提示,提交利用申 请,填写申请理由,启动利用申请流程。支持电子借 阅、纸质借阅及电子复制功能,电子借阅支持浏览、打 印、下载。
(3) 借阅审批 ：档案借阅申请信息提交至相关处室待 审核工作中,相关处室审批通过后,档案管理员根据申请 理由确认档案利用需求,可调整借阅申请列表中每一件的 利用方式和是否允许借阅的权限。电子借阅到期后系统自 动收回权限,纸质借阅到期后数据自动标红,管理员可以 发送催还提醒。档案管理员在线对借阅审批流程进行流 程跟踪,查看流程进度与相关审批节点下的意见,档案 管理系统人员可进行系统中流程的监控、终止与调度。
(4)归还管理 ：所有纸质借阅的申请进行归还管 理,能对所有纸质借阅申请单和借出的纸质档案进行查 询,对待过期和已过期的待归还档案通过还同颜色进行 标识。支持扫码归还功能,对有条形码、二维码的纸质 档案,扫码后快速检索出待归还的清单,一键进行归 还。可以通过 2 种方式显示利用档案的台账记录 ：一种是以档案为线索,可以查询出该档案的所有借阅记录 ; 一种是以利用记录为线索,可以查询该记录的用户信息 和详细利用内容。
(5)添加数字水印 ：在控制原文打印与下载的基础 上,可以通过数字水印的功能实现原文浏览水印、原文 下载水印、原文打印水印的控制,并可以通过水印显示 用户利用人 ID 等信息,有效防止屏幕拷贝、拍照、下 载或打印传播等途径导致的信息扩散。设置水印文字格 式、水印透明度、水印字体大小,水印文字格式可以读 取系统数据,如姓名、IP、部门、时间等。
(6)资料查询 ：电子阅览室提供便捷的资料目录和 资料内容全文检索功能,支持全库检索、组合检索、递 进检索、跨库检索、全文检索等多种途径的检索方式, 能调出档案所有案卷信息、卷内信息及全文信息,对不 同权限的用户显示不同完整程度的目录和内容全文信息。
4 结语
基于资料管理软件的电子数据资料整理方法包括前 期对资料的分类整理入库和后期借阅、查询、归还等管 理,从根本上改变了过去复杂、低效的手工管理方式, 使工作规范化,即管理工作基于工作流程,完全采用计 算机技术处理数据资料管理工作,使员工能方便快捷地 共享、交流信息,同时又能实现迅速、全方位的信息采 集和信息处理。
参考文献
[1] 吴建廷,许恒周.山东省自然资源信息化建设的探索与运用 [J].中国土地,2021(6):40-42.
[2] 郭丽红,廖明,韩飞.环鄱阳湖区地表覆盖特征库管理系统设 计[J].地理空间信息,2018.16(10):85-87.
[3] 李冰.吴迪南极测绘地理信息数据库与管理系统设计与实现 [J].测绘与空间地理信息,2018.41(1):135-138.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/56169.html
