|
|
|
题名
|
作者
|
年代
|
出处
|
被引量
|
| 1 | 基于Hadoop的海量数据存储平台设计与开发显示文摘随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性. | 崔杰 李陶深 兰红星 | 2012 | 计算机研究与发展2012，49，S1： | 138 |
| 2 | 基于云计算的电力数据中心基础架构及其关键技术显示文摘为了适应新一代数据中心的发展趋势,并满足智能电网的需要,提出了基于云计算的新一代电力数据中心的基础架构。分析了现有电力数据中心的逻辑结构与功能,采用虚拟化技术对电力数据中心的服务器进行虚拟化,提高资源利用率,保障电力数据中心的高可用性和可伸缩性。设计了基于Hadoop的电力数据中心云计算平台,为智能电网的各个业务系统、数据挖掘与辅助决策支持等应用提供海量数据的存储、管理与计算环境。提出现有电力数据中心向云计算的分阶段迁移策略,以保障平稳过渡。 | 王德文 | 2012 | 电力系统自动化2012，36，11： | 150 |
| 3 | 图书馆需要怎样的“大数据”显示文摘随着大数据时代的来临,在科学研究、移动互联网、传感网络、社交网络等应用领域,数据量正以极快的速度增长,图书馆的IT应用也不可避免的面临着大数据信息浪潮的冲击。该文分析了未来图书馆的几个大数据主要来源,再结合图书馆知识服务及信息化建设现状,重点探讨了大数据将会给图书馆带来的哪些挑战与机遇,最后分析了当前研究现状,指出未来大数据主要研究热点。大数据可能给图书馆带来的帮助包括:可以帮助图书馆建立各类知识服务及业务建设的风险模型、图书馆用户流失分析及价值分析、帮助图书馆建立新型知识服务引擎、通过分析资源的状况来预测可能的资源故障、帮助建立更加智能的网络化信息资源智能组合方式、对多维度大数据的智能分析及智能辅助决策等。 | 樊伟红 李晨晖 张兴旺 秦晓珠 郭自宽 | 2012 | 图书馆杂志2012，31，11： | 238 |
| 4 | 大数据:内涵、技术体系与展望显示文摘随着复杂系统测试、试验和状态监测产生的数据呈级数增长,大数据逐渐成为各种工业领域的研究热点。为此,从大数据定义、产生、特性的角度阐述大数据的内涵,重点强调大数据产生三要素的彻底变革,并按照大数据处理流程——产生、存储、预处理、分析及挖掘、呈现,归纳得出大数据处理的通用技术体系,分析了技术体系中各环节技术的发展现状。最后,从数据科学、工业4.0以及信息物理系统的角度,阐述大数据发展的趋势,并分析了大数据发展的挑战。 | 彭宇 庞景月 刘大同 彭喜元 | 2015 | 电子测量与仪器学报2015，29，4： | 127 |
| 5 | 铁路大数据平台总体方案及关键技术研究显示文摘大数据是当今炙手可热的技术词汇,在全球掀起一场思维变革,将成为新一轮科技和产业竞争的前沿。大数据技术对于提升中国铁路总公司核心竞争力及推动铁路转型升级都具有不可估量的作用。本文阐述了铁路大数据的基本概念和特点,分析了铁路大数据应用的现状及需求,设计了铁路大数据平台的总体架构,剖析了铁路大数据应用的关键技术。对促进大数据技术在铁路行业的应用研究具有一定的指导意义。 | 史天运 刘军 李平 马小宁 | 2016 | 铁路计算机应用2016，25，9： | 119 |
| 6 | Hadoop系统性能优化与功能增强综述显示文摘Hadoop已成为大数据关键部件,并获得了越来越多的支持.由于认识到Hadoop的巨大潜力,更多的用户在使用现有Hadoop平台技术的同时,着手研发和优化现有技术,以对Hadoop进行补充.在给出Hadoop系统基本框架的基础上,阐述了MapReduce并行计算框架优化、作业调度优化、HDFS性能优化、HBase性能优化和Hadoop功能增强等研究现状,分析已有技术的优势和不足,并探讨了未来的研究方向. | 董新华 李瑞轩 周湾湾 王聪 薛正元 廖东杰 | 2013 | 计算机研究与发展2013，50，S2： | 69 |
| 7 | 基于Hadoop MapReduce模型的应用研究显示文摘MapReduce是一种简化并行计算的分布式编程模型,是Google的一项重要技术,通常被用于数据密集型的分布式并行计算。探讨了来自Apache开源的分布式计算平台Hadoop的核心设计MapReduce编程模型,并通过算法实验分析和研究了MapReduce模型的工作方式和应用方法。 | 谢桂兰 罗省贤 | 2010 | 微型机与应用2010，29，8： | 69 |
| 8 | 基于云计算的海量数据存储模型显示文摘针对目前网络产生的数据越来越多以及随之而来的海量数据的存储问题,在云计算技术上,依据Hadoop及虚拟化技术,提出了基于云计算的海量数据存储模型。将医院信息化的海量数据部署在Hadoop平台上,根据云计算的核心算法MapReduce来处理数据,最后将数据存储在虚拟资源池中。通过实际的应用,该模型可以很好地克服现行的存储方式存在的不足,解决海量数据在存储当中存在的问题,并且能够很好地提高存储的效率。 | 侯建 帅仁俊 侯文 | 2011 | 通信技术2011，44，5： | 63 |
| 9 | Hadoop HDFS和MapReduce架构浅析显示文摘在简述Hadoop namenode、datanode运行模式的基础上,重点介绍了Hadoop MapReduce的工作机制,并以作业提交、作业初始化、任务分配、任务执行和任务进度更新等流程介绍了Job Client、JobTracker、TaskTracker和HDFS在MapReduce过程中的分工与协作,最后,对云计算作出展望。 | 郝树魁 | 2012 | 邮电设计技术2012，，7： | 72 |
| 10 | 大数据技术研究综述显示文摘大数据技术作为当前热门的技术领域,得到了广泛的关注和研究。文中对大数据的概念、特征、国内外发展情况进行了研究,对数据采集与感知、数据存储与处理、数据分析、数据可视化和大数据安全与隐私保护等方面的共性基础技术和前沿技术进行了分析,指出了这些技术的最新研究方向,总结了大数据技术面临的技术和政策方面的挑战,分析了其技术本质,对大数据的研究和工程应用具有指导意义。 | 张锋军 | 2014 | 通信技术2014，47，11： | 78 |
| 11 | 云计算中Hadoop技术研究与应用综述显示文摘Hadoop作为当今云计算与大数据时代背景下最热门的技术之一,其相关生态圈与Spark技术的结合一同影响着学术发展和商业模式。首先介绍了Hadoop的起源和优势,阐明相关技术原理,如MapReduce,HDFS,YARN,Spark等;然后着重分析了当前Hadoop学术研究成果,从MapReduce算法的改进与创新、HDFS技术的优化与创新、二次开发与其它技术相结合、应用领域创新与实践4个方面进行总结,并简述了国内外应用现状。而Hadoop与Spark结合是未来的趋势,最后展望了Hadoop未来研究的发展方向和亟需解决的问题。 | 夏靖波 韦泽鲲 付凯 陈珍 | 2016 | 计算机科学2016，43，11： | 72 |
| 12 | 基于Hadoop的智能电网状态监测数据存储研究显示文摘智能电网需要收集海量设备状态监测数据,这对数据存储与查询提出了更高的要求。为处理这些海量数据,设计并实现了基于Hadoop技术的数据存储系统,包括Hadoop集群、存储客户端和查询客户端。通过基准测试、存储结果验证和查询性能分析,验证了该系统具有分布式海量存储及高效查询的优势,适合智能电网环境下设备状态监测数据的存储。 | 刘树仁 宋亚奇 朱永利 王德文 | 2013 | 计算机科学2013，40，1： | 52 |
| 13 | Hadoop云平台的一种新的任务调度和监控机制显示文摘云平台任务监控与资源调度机制是云平台的核心功能之一。Hadoop云平台中任务监控和资源管理的任务是由JobTracker负责处理,并通过slave节点向其发送心跳消息来实现。这种方式导致JobTracker的负载过重,降低了Hadoop云平台的工作效率,限制了Hadoop云平台的规模。提出了一种新的任务监控方案,该方案将JobTracker的任务监控和资源管理功能分离,任务监控功能仍由JobTracker节点完成,资源管理功能由新增的资源管理节点完成,JobTracker通过增量更新的算法将任务调度所需的对象信息动态同步到资源管理节点上,资源管理节点根据心跳消息进行任务分配,并将分配结果返回给JobTracker节点。实验结果表明,本方案不仅通过监控节点实现了任务的监控,增加了监控的灵活性和鲁棒性,而且降低了Jobtracker节点的负担,可有效提高Hadoop云平台的工作效率和规模。 | 许丞 刘洪 谭良 | 2013 | 计算机科学2013，40，1： | 52 |
| 14 | 从数据库视角解读大数据的研究进展与趋势显示文摘'大数据'是2012年排名第二的热词,本文试图从数据库研究者的视角来解读大数据,说明'大数据'这个概念的诞生、内涵和外延以及它和传统数据库的关系。将在现今语境下重新审视'数据库研究',即如何理解'数据库'这个概念以及数据库研究的本质问题。还将讨论Hadoop与大数据的关系,'数据库研究'和'大数据研究'的关系。通过回顾Hadoop的起源和发展,从数据处理的角度说明Hadoop发展的偶然性和必然性,以及它所处的地位。基本观点是:'大数据'是个笼统的概念,对其进行分类有助于深入理解;大数据研究的显著特征是它与应用密切相关;Hadoop是数据管理研究回到文件系统这一原点后的一个有益探索;'大数据'和传统的数据库在研究理念和方法学上是一脉相承的。 | 李战怀 王国仁 周傲英 | 2013 | 计算机工程与科学2013，35，10： | 53 |
| 15 | Hadoop平台在云计算中的应用显示文摘云计算是当前比较热门的新兴技术之一,受到业界的广泛关注。Hadoop是一个可实现大规模分布式计算的开源软件平台,因此被广泛应用在云计算领域。本文在对Hadoop的主要组件Hadoop分布式文件系统HDFS(Hadoop Distributed File System)和计算模型MapReduce进行深入分析和研究的基础上,建立基于Hadoop平台的云计算模型,通过实验证明该模型可以有效完成分布式数据处理任务。 | 王宏宇 | 2011 | 软件2011，32，4： | 41 |
| 16 | 基于Map-Reduce的海量数据高效Skyline查询处理显示文摘Skyline查询已成为现今数据库和信息检索领域的研究热点之一,伴随着人类可以采集和利用的数据信息的急剧增长,使得如何处理海量数据的Skyline查询成为急需解决的问题.近年来兴起的Map-Reduce编程框架能够有效地处理基于海量数据的应用,该文既是研究如何运用Map-Reduce编程框架解决海量数据的Skyline查询问题.在Map-Reduce框架下处理Skyline查询的直接方法是扫描整个数据集进而得到查询结果,但是在海量数据Skyline查询问题中,查询结果的数量远小于原始数据集的数据量,对此该文提出了一系列的Skyline查询算法及优化,有效地过滤掉部分不能成为Skyline查询结果的数据对象,大幅度提高了在Map-Reduce框架下处理Skyline查询的效率.大量运行在Hadoop平台上的实验验证了该文所提出的Skyline查询处理算法具有良好的有效性、准确性和可用性. | 丁琳琳 信俊昌 王国仁 黄山 | 2011 | 计算机学报2011，34，10： | 44 |
| 17 | 基于Hadoop的智能电网数据安全存储设计显示文摘针对智能电网下海量数据的存储问题及数据保密性和完整性需求,分析了现有安全存储方案的特点,结合智能电网应用环境的特殊场合,设计了一种基于Hadoop的智能电网数据安全存储方案。该方案充分利用了HBase高性能优势和现代密码技术,将密钥与密文的管理分离,具有安全性好、密钥管理方便及效率高等特点。开发了基于Hadoop的原型系统,对方案的时间开销进行了分析,并通过相关实验证明了方案的有效性和可行性。 | 张少敏 李晓强 王保义 | 2013 | 电力系统保护与控制2013，41，14： | 44 |
| 18 | 云计算在高校机房管理中的应用显示文摘针对高校机房教学设备资源严重短缺和大量设备处于老化淘汰的现状,以及设备故障层出不穷的困境。提出基于云计算技术环境下高校机房管理中的应用模式,并介绍基于Hadoop架构的构建。云计算在高校机房的应用,可减少计算机设备的投入和维修维护成本;节省计算机操作系统和应用软件的升级和维护费用;提高数据存储安全保障,降低管理成本;解决高校教学设备资源紧缺,以及在实际的机房管理中存在的各种难题和问题。 | 陈慧芬 卢庆武 | 2013 | 实验室研究与探索2013，32，7： | 48 |
| 19 | 基于Hadoop的电子商务推荐系统的设计与实现显示文摘为了解决大数据应用背景下大型电子商务系统所面临的信息过载问题,研究了基于Hadoop构建分布式电子商务推荐系统的方案。采用基于MapReduce模型实现的算法具有较高的伸缩性和性能,能高效地进行离线数据分析。为了克服单一推荐技术的不足,设计了融合多种互补性推荐技术的混合推荐模型。实验结果表明,基于Hadoop平台实现的推荐系统具有较好的伸缩性和性能。 | 李文海 许舒人 | 2014 | 计算机工程与设计2014，35，1： | 44 |
| 20 | 基于MongoDB的矢量空间数据云存储与处理系统显示文摘近年来,海量空间数据存储与处理日益成为地理信息科学领域的研究热点。其中,矢量空间数据更因其较高的复杂性,成为该类研究的重点问题。本文基于文档数据库,探究了多用户数据存储、矢量空间数据存储、海量矢量空间数据并行处理等问题,给出了存储和处理矢量空间数据的方法。在三层式云存储架构基础上,设计并实现了矢量空间数据云存储与处理系统VectorDB,达到了海量矢量空间数据的高效存储与处理要求。系统采用文档数据库MongoDB存储矢量空间数据,使用OGR库实现不同格式矢量空间数据的转换与存储,并用Hadoop对数据库中的数据进行并行计算,以及用mongo-hadoop作为MongoDB与Hadoop之间的连接器。通过实验对比了VectorDB与PostGIS的矢量空间数据读写性能,并分析了VectorDB与MongoDB在海量数据并行处理性能方面的差异。结果表明:VectorDB具有更好的读取性能和海量数据处理性能,适合多用户不同格式、不同属性矢量空间数据存储,对海量矢量数据存储与处理问题具有参考价值。 | 雷德龙 郭殿升 陈崇成 巫建伟 吴小竹 | 2014 | 地球信息科学学报2014，16，4： | 42 |
您所在的机构暂未开通此部分的功能，请联系管理员