生态环境保护中大数据技术的运用探讨的论文

生态环境保护中大数据技术的运用探讨的论文

生态环境保护中大数据技术的运用探讨的论文

在学习、工作中，说到论文，大家肯定都不陌生吧，论文的类型很多，包括学年论文、毕业论文、学位论文、科技论文、成果论文等。你所见过的论文是什么样的呢？以下是为大家收集的生态环境保护中大数据技术的运用探讨的论文，欢迎阅读与收藏。

生态环境保护中大数据技术的运用探讨的论文1

1 引言

生态环境的保护问题，具有复杂性和时变性，涉及多部门、多地区和多领域，需要处理海量的各类数据，这为问题的解决增加了不小的难度[1].本文从分析生态环境相关数据入手，对利用大数据技术，整合各类生态环境相关的数据资源，建立生态环境大数据平台的架构及关键技术展开论述。

2 生态环境相关数据的现状分析

目前，应用于生态环境保护领域的数据资源主要包括三类：

地面监测数据：此类数据主要来源于各地的生态环境***监测系统。由于各系统开发时期不同，技术手段各异，数据格式多样，各系统之间很难形成信息共享。

遥感监测数据：此类数据主要来源于卫星遥感数据和航空遥感数据。

地理信息数据：此类数据的来源主要有野外采集、地***数字化和航天遥感采集、摄影测量等。

目前，传统的信息化技术在环境数据整合工作中仍占据主导地位，而利用大数据技术，实现上述三类数据的统一存储、协调工作，真正建立起实用价值大，适用性广泛的生态环境大数据平台，还没有相关的工作开展。

3 大数据技术概述

大数据技术是近年来兴起的一种综合性信息技术[2],对于处理超出传统数据库系统存储、管理和分析处理能力的多来源的、海量的数据集群，具备天然的技术优势。大数据技术的主流应用框架是Hadoop 生态系统。它以 HDFS 分布式文件系统和 MapReduce 分布式计算框架为核心，可以对大数据进行高效的分布式处理。

4 大数据平台的构建

生态环境问题涉及大气、土壤、水、生物圈、气候等方方面面。为此，我们在推进大数据技术与生态环境保护工作相互结合的过程中，采取了以点带面，逐步推进的策略。

在本文中，我们选取对环境影响比较突出的大气污染问题作为研究的切入点，利用 Hadoop 生态系统中的 HDFS 技术，建立起秦皇岛地区的大气污染防治大数据平台。未来，通过建立基于此平台的大气业务应用系统，我们可以对秦皇岛地区的大气污染物来源情况进行准确有效的分析。这一应用模式的探索，也将为未来更广泛生态环境数据的综合性分析与应用，打下良好的基础。

平台所采用的地面监测数据包括：工业企业污染排放情况、火电企业污染排放情况、钢铁冶炼企业污染排放情况、水泥企业污染排放情况等。

平台所采用的遥感气象数据主要是用美国国家环境预报中心（NCEP） 发布的 Final Operational Global Analysis（FNL）资料[3].我们不直接使用 FNL 的原始数据，而是采用经过 NOAA-Air ResourcesLaboratory（ARL）预处理模块转化后的数据。基于 FNL 资料，可以计算在某一时段内抵达秦皇岛地区的后向气流轨迹，从而有助于配合地面监测数据揭示秦皇岛地区大气污染的可能来源。

纳入平台的地理信息数据主要有两类：（1）***形数据：此部分数据以矢量***形的形式存储于 HDFS 系统中。它们的来源主要是利用搜狗地***所提供的静态地*** API.（2）文本数据：此部分数据包括：a）监测污染源的位置数据；b）交通拥堵情况；c）气流轨迹数据：此类数据由 FNL 资料计算而得。各类文本数据都将构成***的***层，利用搜狗地***提供的 API,标注于***形数据之上。

5 关键技术研究

各类数据会被存入统一的大数据平台。我们采用 Hadoop 分布式集群结构作为大数据平台的存储结构。我们使用 100 台 PC 级电脑构建起分布式数据存储集群，每个节点同时承担计算和存储的角色。各个数据节点中存放大气污染相关的大数据。元数据主节点则存放各类大数据在数据节点中的副本分布位置。元数据辅助节点承担与元数据主节点类似的任务，当元数据主节点宕机时，可以重新启动元数据主节点。元数据主节点上保存着访问 HDFS 文件系统的索引信息，它们主要来源于数据预处理过程中提取的元数据。对于修改元数据主节点信息的操作，事务日志中都会插入相应的记录。而数据索引到数据存储的映射，副本的位置及编号等信息，都存储在元数据主节点所在的本地文件系统中的一个映射文件中。

对于大数据而言，要想实现数据的高效稳定的访问机制，需要做好两方面的工作：（1）对数据分块存储并建立适宜的物理数据副本规模；（2）采用适宜的副本存放策略和数据读写策略[4].我们采取了搜集数据访问反馈信息的策略，利用统计学方法实现了副本规模的动态调整。而对于副本的存放策略，我们考虑将不同副本存放于不同机架的电脑上，以保证一个机架出现故障时不致丢失数据，并且还能在读数据时充分利用不同机架的带宽。数据的读取策略则采用从距离读请求节点最近的存储节点上读取数据。同时，我们将对数据加工的相关业务代码从加工请求所在的电脑发送至数据副本所在的电脑执行，尽可能不在电脑之间进行数据副本的传递，以提高写数据的效率。

6 结论

本文将大数据技术引入生态环境保护的工作之中，将秦皇岛地区的地面监测数据、遥感监测数据、地理信息数据整合在一起，建立起秦皇岛地区大气污染防治大数据平台，使相关的业务应用有了一个统一的底层数据支持。未来，我们可以基于此平台建立大气污染数据分析系统等业务应用系统，对秦皇岛地区的大气污染物来源情况进行准确有效的分析。

参考文献：

[1] 张永亮 , 俞海 . 中国生态环境保护管理体制改革思路与方向 : 国际社会的观察和建议 [J]. 中国环境管理 ,2015（01）：43-47.

[2] 肖筱华 , 周栋 . 大数据技术及标准发展研究 [J]. 信息技术与标准化 ,2014（04）：34-38.

[3] 赵恒 , 王体健 , 江飞 , 谢旻 . 利用后向轨迹模式研究 TRACE-P 期间香港大气污染物的来源 [J]. 热带气象学报 ,2009,25（02）：181-186.

[4] 宫婧 , 王文君 . 大数据存储中的容错关键技术综述 [J]. 南京邮电大学学报 ,2014,34（04）：20-25.

生态环境保护中大数据技术的运用探讨的论文2

摘 要： 生态环境保护是现代社会发展的基本要求之一, 现代技术的进步则为生态环境保护提供了更多支持。基于此, 本文以大数据技术在生态环境保护中的应用价值作为切入点, 予以简述, 再以此为基础, 就国外工作经验展开分析, 最后重点给出大数据技术在生态环境保护中的应用方法, 包括核心信息的应用、信息的积累和长期应用、动态信息捕捉、信息反馈和评估等, 为后续相关工作提供参考。

关键词：大数据技术; 生态环境保护; 核心信息; 动态信息;

一、前言

大数据指无法在短时间内用常规软件工具进行捕捉、管理和处理的数据集合, 经新处理模式加工后, 具有更强的决策力、洞察发现力和流程优化能力, 是一种现代意义上的信息资产。就生态环境保护工作而言, 大数据技术的应用得到各地、各国家广泛重视, 一方面数据化的信息便于管理、查看、更新, 另一方面大数据的特殊性也能使具体工作获取效率、效果等方面的提升, 价值十分突出。

二、大数据技术在生态环境保护中的应用价值

(一) 数据总量大

大数据的基础优势之一在于信息总量大, 应用于生态环境保护工作, 这一优势还能得到进一步的发挥。如我国东北地区对林业资源以及周边生态环境的保护工作, 借助大数据, 能够了解区域内森林覆盖率、物种信息、各类关键数据的动态变化。历年工作产生的原始数据、经加工后获取的半结构化数据、结构化数据等, 均能在短时间内得到调取和呈现, 有助于针对其中的薄弱部分开展工作, 提升生态环境保护的有效性。

(二) 数据类别丰富

数据类别丰富, 是指大数据能够为生态环境保护工作提供多种类别的资源, 这些资源以信息化形式呈现, 则涵盖多个方面, 便于生态环境保护工作的多样化开展。如旅游业较为发达的地区, 可通过大数据了解当前生态环境保护工作的基本态势, 包括总投资额度、环保资金使用情况、新的环保工作要点、此前工作的执行情况等。不同季节旅游人数的差异, 也会导致生态环境保护工作重点的改变, 借助丰富的大数据可实现对各类因素的分析评估, 做好各项准备。

(三) 数据更新速度快

大数据具有增长率高、更新速度快的特点, 需求方可以自行进行数据收集和更新, 也可以支付少量费用, 获取第三方服务。在此前学者的研究中, 总量相当的信息数据, 常规模式收集耗时超过2400小时, 借助大数据服务, 可在2小时内获取对应资源[1]。生态环境保护工作中, 很多环节对信息的更新速率要求高, 如石油泄漏造成的污染、火灾等, 高速更新的大数据, 也能为对应的特殊工作提供支持, 提升生态环境保护工作的实时性。

三、国外经验分析

(一) 德国经验分析

德国是社会发展水平较高的工业化国家, 其对大数据的应用也体现在社会的各个领域。生态环境保护方面, 德国以联邦***府颁布的法律为依据, 各州可根据工作需要具体开展立法和技术运用工作。如巴伐利亚州首府慕尼黑, 因当地工业活动较为频繁, ***府部门会运用大数据周期了解工业企业的生产态势、空气质量、水体中污染物含量, 并与历史各个时期进行对比, 如果当地出现空气质量下降、水体污染加重等问题, 工作人员会进一步分析水体生物、微生物信息, 了解水体是否出现富营养化问题。所有数据得到收集后均持续积累, 作为大数据, 匹配当前工作的最新结果, 以便工作人员得出客观的结论, 适当限制工业活动, 并对环境保护标准进行必要调整。

(二) 美国经验分析

美国是大数据技术的提出地, 也是当前运用大数据技术最广泛的国家之一, 在生态环境保护方面, 美国的工作模式与德国类似, 强调大量数据的持续收集和累积。在此基础上, 美国额外重视第三方商业机构的作用, 以降低地方***府工作的支出。如美国北部、东北部五大湖区, 水体中的重金属污染相对较重, 且部分外来物种破坏了当地水体生态环境。当地***府部门会通过招标的方式获取能够长期提供可靠大数据信息的合作企业, 由相关企业按照***府部门计划书要求, 周期将大数据信息 (含原始信息和部分结构化信息) 提供给***府工作部门, 使区域生态环境保护工作的情况得到明确, 也为下一阶段活动提供参考[2]。

(三) 太平洋国家经验分析

太平洋西部地区国家旅游业普遍发达, 其对生态环境保护工作的重视程度很高, 也使大数据技术的应用得到更多重视。以旅游业为支柱产业的密克罗尼西亚联邦, ***府部门会通过大数据了解游客入境情况, 再根据入境游客总数和分布态势, 拟定下一阶段的`生态环境保护工作计划。如大数据显示5～8月份为游客入境高峰期, 以滨海区域的自助项目作为重点, 可能出现浅海区域人为污染、不可降解垃圾数目增加等问题。2019年间, ***府部门会以上述工作做为重点, 有计划的开展生态环境保护。

四、大数据技术在生态环境保护中的应用方法

(一) 核心信息的应用

尝试利用大数据技术提升生态环境保护工作效果, 首先应重视核心信息的应用, 如以山区生态环境保护作为工作目标, 应获取当地近年来的降水、工业活动、森林覆盖率、生物物种多样性等基本信息, 再以上述信息为基础, 了解具有线性变化特点的规律, 作为后续工作的依托。如当地森林覆盖率, 自2009年到2019年, 10年间森林覆盖率每年出现0.1%～0.3%的增长, 其线性变化特点为正向持续增长。可对该阶段内的工作经验进行总结和梳理, 并积极推广, 发挥大数据的客观性优势。核心信息的应用, 还体现在负面问题的处理上, 如森林覆盖率出现下降, 或非线性变化, 应分析其原因, 根据大数据了解森林覆盖率出现下降的时间点, 进行工作总结、问题评估, 谋求改善。所有核心信息生成后, 均应做标准化处理, 包括存储方式、备份方法、取值模式等, 进行详细记录, 积累后的信息可以为后续同类工作、生态环境保护工作的持续开展提供参考[3]。

(二) 动态信息捕捉

动态信息的捕捉, 是大数据技术运用的关键, 也是生态环境保护工作持续开展的主要要求。在实际工作中, 生态环境保护单位可采用商业合作的方式, 通过第三方获取服务, 也可以自行收集大数据, 为保证对对象目标动态性的收集效果, 以商业服务模式获取大数据更为妥当。如工作对象为水体污染情况, 可通过第三方, 以每周为间隔, 了解区域内水体等级变化, 水体污染物类别和比重变化, 重点水域污染情况等。每一周收集的信息均进行存储, 可保证水体污染问题出现的波动得到快速察觉。大数据的更新速度较快, 但在此过程中, 很多数据不是以结构化形式出现的, 原始数据的加工处理依然面临效率低下的问题。建议采用关键词评估法, 运用计算速度较快的电子计算机, 统一进行原始数据的加工。如将若干份水质报告录入计算机, 取关键词“Fe”, 对所有与“Fe”相关的数据进行调取, 并做升序、降序排列, 求平均值的操作等, 快速获取铁元素的含量信息, 通过结构化的数据支持环境保护作业。

(三) 信息反馈和评估

大数据应用的过程中, 很多信息不能完全体现对象目标的基本情况, 如森林覆盖率信息, 大数据显示森林总覆盖率于2019年4月下降了0.2%, 可能与速生林的采伐相关, 并不代表地区生态环境出现恶化。为保证大数据运用的高效率, 应在实际工作中做好反馈和评估, 作为辅助手段。如将整体数据分为三到四个不同的项目, 每个项目***获取大数据, 包括“原生森林覆盖率”“次生林覆盖率”“人工林覆盖率”“速生林覆盖率”等, “原生森林覆盖率”“次生林覆盖率”作为生态环境保护的重点, 要求做好信息收集、反馈, 核准数据准确无误, 其他项目作为参考, 借此提升大数据运用的针对性。

五、总结

综上, 大数据技术在生态环境保护中的应用既是必要的, 也是可行的。环境保护工作中, 大数据能够提供数目多、类别丰富的资源信息, 且数据的更新带有实时性。国外对大数据的运用经验丰富, 在其经验基础上, 我国的环境保护工作中, 可重视核心信息的应用、动态信息捕捉、信息反馈和评估, 同时加强信息的积累和长期应用, 从多个角度发挥大数据的作用, 推动生态环境保护工作。

参考文献

[1]苏楚涵.大数据技术在生态环境保护中的应用研究[J].中国新通信, 2019, 21 (8) :105.

[2]张达敏.大数据技术在漳州生态环境保护中的应用实践[J].海峡科学, 2019 (2) :60-62.

[3]蔺旭东, 周***锋, 刘佳.资源关联性大数据分析在农业生态环境保护中的应用[J].中国农业资源与区划, 2016, 37 (2) :62-65.