数字图书馆云存储系统设计和实现,此文是一篇数字图书馆论文范文,为你的毕业论文写作提供有价值的参考。
数字图书馆论文参考文献：
关键词：数字图书馆;云存储系统;分布式系统
摘 要：文章以图书馆数字资源存储为研究对象,设计了系统主要功能实现的流程,探讨了关键技术,综合采用了网络技术、云存储技术、Hadoop分布式文件系统（HDFS）、HBase技术、Lucene倒排索引技术等,最终以JSP为开发平台,构建了一个以实现数字资源长期有效存储为目的的数字图书馆云存储系统.
中图分类号：G250.76文献标识码：A文章编号：1003-1588（2015）10-0121-03
自从Google发布云计算的概念以来,很多公司以及组织对其进行了研究,同时也产生了一大批产品,包括Google的大数据表、MapReduce、谷歌文件系统、ChubbyLock、Windows Azure、雅虎的集群计算系统,以及亚马孙的EC2[1].其中Apache基金会的Hadoop[2]使用最为广泛.使用Hadoop用户可以在完全透明的情况下使用集群,进行读写和计算.做一个免费并且开源的计算框架,国内外使用Hadoop的公司都比较多.雅虎[3]拥有25,000个节点,主要用于支持网页搜索和广告系统,成为全球最大的Hadoop集群.国内百度、淘宝、网易、华为、中国移动等都是Hadoop集群的使用用户,其中淘宝拥有1,700个服务器节点,属于较大的Hadoop集群.
塔里木大学图书馆作为大量数字资源的拥有者,为了改变现有存储系统的缺陷,以海量数据资源的存储为研究对象,以JSP为开发平台,利用HBase、Lucene、Katta等多种技术,搭建Hadoop集群,开发数字图书馆云存储系统,实现对数字资源的存储形式多样化、安全有效、具有动态可扩展性以及高度共享性的存储.
1 系统设计
1.1 图书馆数字资源存储需求分析
随着数字资源以爆炸性增长,图书馆在不断扩大数字资源存储容量的同时,也在考虑如何节约有限的资金投入、高度数据共享,可靠性和安全性等方面的问题[4].
1.1.1 经济适用是图书馆建设存储系统时需要考虑的重要因素.作为资金有限的公用事业单位——图书馆,需要根据自身发展和资金现状选择性价比较高的存储方案,切不可盲目追求投入昂贵,技术先进,却暂时无法应用的设备.
1.1.2 数据高度共享是图书馆存储系统建设的重要条件.图书馆资源数字化是图书馆发展的必然趋势,他有利于提供图书馆资源的使用效率,提高数据的共享性,也有利于资源的保护和利用.
1.1.3 安全可靠是数字图书馆服务的保证.为了避免不可抗拒和人为因素对存储系统的损害,要求图书馆在建设存储系统时,必须要有安全的存储备份方案.
1.2 系统架构设计
数字图书馆云存储系统以图书馆海量数字资源存储和共享为研究对象,以图书馆——读者为基本模式,从图书馆馆员、管理员和读者的不同角度设计该系统.系统包括数字资源存储模块、数据管理模块和索引检索模块三部分,其系统模块图如图1.从图1可以看出,图书馆员将纸质版图书、期刊、论文、报纸等纸质资源,以及光盘等数字资源,通过传统手段录入到计算机中,形成数字资源.针对电子数据文件大小异构的特点,图书馆员通过数据存储模型,将视频、音频等大数据文件利用HDFS分布式文件系统存放;将图片、文档等较小的文件利用HBase直接存放.管理员利用数据管理模块,对数据文件进行上传,下载和删除等.读者可以在PC机、手机、平板电脑等不同平台,利用系统提供的各种查询方式进行资源检索.
图1 系统模块图
1.3 系统部署
本系统硬件节点部署示意图如图2所示,系统分为三层：数据存储层、应用服务层和用户层.数据存储层由若干不同类型的存储节点或者服务节点组成,用于存储图书馆数字资源[5].应用服务层主要由具有不同功能的服务器组成,其中一部分服务器用于运行NameNode、SecondNameNode、Hmaster和JobTracker 服务;一部分用于单独运行ZooKeeper服务;一部分用于运行Katta分布式索引检索服务;一部分用于运行DataNode、TaskTracker和HregionServer服务[6].用户层中的读者可以通过不同形式的平台使用该存储系统.
图2 系统部署示意图
2 数据处理流程设计
数字图书馆云存储系统的数据流程示意图如图3所示.系统对外提供图书馆员使用的管理接口和普通读者使用的查询接口.图书馆员借助于图形管理界面,实现数字资源的管理（上传、下载、删除等）操作.数据管理过程中,数据信息通过网络平台在当地计算机和存储集群之间的传递.数字资源按照类别,分别存储于HBase或直接存放于HDFS.读者获得授权后,可以浏览当前数字资源,通过系统利用HBase自身的RowKey索引,进行精确查询、模糊查询和复合查询.
图3 数据流程示意图
2.1 文件上传
数字资源的上传主要是对HDFS分布式系统和HBase数据库的操作.数字图书馆云存储系统根据数据文件大小进行了分类存储,对不同数据文件的上传进行了不同设计.图书馆员上传文件之前,先调用HBase数据库,获取TableName表的Scanner,检查该文件是否存在.如果文件已经存在,则提示文件已经存在,是否需要更新.如果文件没有存在,则按照数据文件大小进行分类存储.
2.1.1 较小文件上传.较小的数据文件包括文本、图片和网络资源,直接存储在HBase数据库中.文本文件要进行RPC通信,建立倒排索引,监控更新消息,记录对文本表的更新操作.
2.1.2 较大文件上传.较大的数据文件包括音频、视频、高清扫描图片等,需要借助分布式文件系统HDFS存储,同时在HBase数据库中有相应的地址映射表.在地址映射表MyData中查重,若存在则更新,否则添加映射关系.
结论：关于对不知道怎么写数字图书馆论文范文课题研究的大学硕士、相关本科毕业论文数字图书馆推广工程论文开题报告范文和文献综述及职称论文的作为参考文献资料下载。
基于STM32矿工帽的体温采集存储系统设计
摘要：体温是一种反映人体健康状况的重要参数，长期记录人的体温为预防疾病起到重要作用，为进一步研究井下工作人员的身体健康状况提供大量的有用数据。采。
高校虚拟图书馆网络陈展系统设计
摘 要：上海交通大学李政道图书馆具有“五馆”合一功能，为图书馆的线上展示提出了新的挑战。本文以此为例，探讨了高校虚拟图书馆网络陈展系统的功能设计。
无锡九龙仓中南路住宅小区数字视频监控系统设计
摘 要：文章简要介绍了视频监控的分类情况，以无锡九龙仓中南路住宅小区为例，针对住宅小区的实际情况，设计了住宅小区的视频监控系统。关键词：视频监。
关于数字图书馆大数据系统建设
摘 要：随着数字图书馆的建设发展，各类型数据急剧增长，正朝着海量数据方向发展，数字图书馆面临着数字资源长期保存、资源整合、信息安全以及服务创新等。