• 忻州 端午节假期旅游收入达59962万元--黄河新闻网 2019-07-22
  • 人民日报为人民,70年办报不容易,办报人付出了心血和汗水,记录了中国的发展过程,祝愿办得越来越好! 2019-07-20
  • 最美逆行!高速隧道突发火灾  交警三次逆行穿火线撤离400多名群众 2019-07-17
  • 《陕西省县域经济社会发展监测考评办法》解读 2019-07-17
  • 一切都是老板炒工人的鱿鱼 2019-07-14
  • 赏花不用跑远 宗角禄康开得正艳 2019-07-14
  • 车俊会见毛里求斯代总统 2019-07-14
  • 除了杨崇勇,“2亿元贪官俱乐部”至少还有这些人 2019-07-09
  • [民生热线]咸安西大街烤鸭店每天油烟扰民 区政府:已责令整改 2019-07-09
  • 海淀:得天独厚的自然条件 2019-07-09
  • 进京通行证限次数!70.9万辆本地化使用外埠号牌车或将受影响 2019-07-06
  • 6月14日凤凰直通车:茅台再开市场化招聘大门,32个部门要285人葡萄 种植 2019-07-05
  • 东京湾产业转型启示录 2019-07-05
  • 中国三星获第十二届人民企业社会责任奖年度扶贫奖 2019-06-30
  • 一个语文基础都没有的人就喜欢指手画脚, 2019-06-30
    • / 11
    • 下载费用:20 金币  

    广西11选5走势图开奖结果查询: 一种基于分布式缓存的数据处理系统及处理方法.pdf

    摘要
    申请专利号:

    广西11选5大小走势图 www.fnjpv.tw CN201510581178.4

    申请日:

    2015.09.14

    公开号:

    CN105138679A

    公开日:

    2015.12.09

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06F 17/30申请日:20150914|||公开
    IPC分类号: G06F17/30 主分类号: G06F17/30
    申请人: 桂林电子科技大学
    发明人: 蔡晓东; 王丽娟; 陈超村; 赵勤鲁; 吕璐; 甘凯今; 王迪; 杨超; 宋宗涛; 刘馨婷
    地址: 541004广西壮族自治区桂林市七星区金鸡路1号
    优先权:
    专利代理机构: 北京轻创知识产权代理有限公司11212 代理人: 周玉红
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201510581178.4

    授权公告号:

    ||||||

    法律状态公告日:

    2018.11.13|||2016.01.06|||2015.12.09

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明涉及一种基于分布式缓存的数据处理系统,包括用于将提交来的用户作业分解成多个map任务和多个reduce任务的mapreduce数据处理???、用于处理map任务的map任务内存处理??楹陀糜谕ü齬educe任务处理map任务的reduce分布式缓存???;本发明还涉及一种基于分布式缓存的数据处理方法;本发明的有益效果是:主要服务于map任务,优化map任务处理数据,保证map能在最短的时间内找到目标数据,且以最快的速度传输中间处理结果;能够减少数据传输量,完全实现数据本地化处理,提高数据命中率,从而提升数据处理的执行效率。

    权利要求书

    权利要求书
    1.  一种基于分布式缓存的数据处理系统,其特征在于,包括mapreduce数据处理???1)、map任务内存处理???2)和reduce分布式缓存???3),
    所述mapreduce数据处理???1),用于将提交来的用户作业进行任务分解,分解成多个map任务和多个reduce任务,并将map任务分配至相应的datanode本地节点中;
    所述map任务内存处理???2),用于判断map任务中的目标数据是否存在于datanode本地节点的缓存序列中,如果存在则从缓存序列中读取目标数据,如果不存在则将所述目标数据缓存到datanode本地节点所在的缓存序列中;
    所述reduce分布式缓存???3),用于检查缓存服务器中有无缓存空间,如果有则将map任务的中间处理数据处理后存放在缓存服务器中,再根据reduce任务获取所有map任务的信息,并将存放在缓存服务器中的中间处理数据拉取到reduce任务的数据节点中;如果缓存服务器中无缓存空间,则将map任务的中间处理数据输出到本地磁盘中。

    2.  根据权利要求1所述的基于分布式缓存的数据处理系统,其特征在于,所述mapreduce数据处理???1)包括作业监视器调用单元(101)和任务监视器调用单元(102),
    所述作业监视器调用单元(101),用于调用作业监视器从所述用户作业中获得所要处理的数据范围和位置信息,并将用户作业分解为多个map任务和多个reduce任务,并根据每个map任务中目标数据,访问hadoop集群的namenode主节点中的元数据,从元数据中获取存放目标数据的datanode 本地节点的位置;还用于根据任务监视器发送来的信号,将map任务分配到相应的datanode本地节点的位置中;
    所述任务监视器调用单元(102),用于定时检查任务监视器是否有空闲的情况,如果有空闲则发送信号至作业监视器中,否则不发送。

    3.  根据权利要求1所述的基于分布式缓存的数据处理系统,其特征在于,所述map任务内存处理???2)包括map任务处理单元(201)和缓存检测单元(202),
    所述map任务处理单元(201),用于在datanode本地节点所在的缓存序列中读取数据分片,根据map任务中目标数据进行判断,如果数据分片中存在目标数据,则从缓存序列中读取目标数据,如果数据分片中不存在目标数据,则将目标数据缓存到缓存序列中;
    所述缓存检测单元(202),用于实时检测datanode本地节点所在的缓存序列是否达到预设的阈值,如果达到,则根据最近最久未使用置换算法将缓存序列中已缓存数据与待缓存数据进行替换。

    4.  根据权利要求1所述的基于分布式缓存的数据处理系统,其特征在于,所述reduce分布式缓存???3)包括中间数据处理单元(301)和reduce任务处理单元(302),
    所述中间数据处理单元(301),用于检查缓存服务器中有无缓存空间,如果有则将map任务的中间处理数据以<key,value>键值对的形式存放在缓存服务器中,其中key为mapID+reduceID,value为map任务的中间处理数据;如果缓存服务器中无缓存空间,则将map任务的中间处理数据输出到本地磁盘中;
    所述reduce任务处理单元(302),用于对reduce任务初始化,根据初始化后的reduce任务调用任务监视器,从任务监视器上获取所有map任 务的信息,并检查缓存服务器是否存在中间处理数据,如果存在则将中间处理数据拉取到reduce任务的数据节点中。

    5.  一种基于分布式缓存的数据处理方法,其特征在于,包括如下步骤:
    步骤S1:将提交来的用户作业进行任务分解,分解成多个map任务和多个reduce任务,并将map任务分配至相应的datanode本地节点中;
    步骤S2:判断map任务中的目标数据是否存在于datanode本地节点的缓存序列中,如果存在,则执行步骤S3,如果不存在,则执行步骤S4;
    步骤S3:从缓存序列中读取目标数据;
    步骤S4:将所述目标数据缓存到datanode本地节点所在的缓存序列中;
    步骤S5:检查缓存服务器中有无缓存空间,如果有缓存空间,则执行步骤S6,如果无缓存空间,则执行步骤S7;
    步骤S6:将map任务的中间处理数据处理后存放在缓存服务器中,再根据reduce任务获取所有map任务的信息,并将存放在缓存服务器中的中间处理数据拉取到reduce任务的数据节点中;
    步骤S7:将map任务的中间处理数据输出到本地磁盘中。

    6.  根据权利要求5所述的基于分布式缓存的数据处理方法,其特征在于,还包括实时检测datanode本地节点所在的缓存序列是否达到预设的阈值,如果达到,则根据最近最久未使用置换算法将缓存序列中已缓存数据与待缓存数据进行替换的步骤。

    7.  根据权利要求5所述的基于分布式缓存的数据处理方法,其特征在于,实现所述步骤S1的具体步骤为:
    步骤S101:调用作业监视器从所述用户作业中获得所要处理的数据范围和位置信息,并将用户作业分解为多个map任务和多个reduce任务,并根据每个map任务中目标数据,访问hadoop集群的namenode主节点中的元数据,从元数据中获取存放目标数据的datanode本地节点的位置;
    步骤S102:定时检查任务监视器是否有空闲的情况,如果有空闲则发送信号至作业监视器中,否则不发送;
    步骤S103:根据任务监视器发送来的信号,将map任务分配到相应的datanode本地节点的位置中。

    8.  根据权利要求5所述的基于分布式缓存的数据处理方法,其特征在于,实现所述步骤S2的具体方法为:在datanode本地节点所在的缓存序列中读取数据分片,根据map任务中目标数据进行判断,如果数据分片中有目标数据,则执行步骤S3,如果数据分片中没有目标数据,则执行步骤S4。

    9.  根据权利要求5所述的基于分布式缓存的数据处理方法,其特征在于,所述步骤S6中将map任务的中间处理数据的处理为:以<key,value>键值对的形式存放在缓存服务器中,其中key为mapID+reduceID,value为map任务的中间处理数据。

    10.  根据权利要求5至9任一项所述的基于分布式缓存的数据处理方法,其特征在于,所述缓存服务器中有无缓存空间利用Size≥m*s*(r-ra)进行检查,其中m表示已完成map任务个数,s表示map任务的中间处理数据输出的结果的平均大小,r表示全部reduce任务个数,ra表示已分配的reduce任务个数。

    关 键 词:
    一种 基于 分布式 缓存 数据处理系统 处理 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:一种基于分布式缓存的数据处理系统及处理方法.pdf
    链接地址://www.fnjpv.tw/p-6408244.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.fnjpv.tw网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 忻州 端午节假期旅游收入达59962万元--黄河新闻网 2019-07-22
  • 人民日报为人民,70年办报不容易,办报人付出了心血和汗水,记录了中国的发展过程,祝愿办得越来越好! 2019-07-20
  • 最美逆行!高速隧道突发火灾  交警三次逆行穿火线撤离400多名群众 2019-07-17
  • 《陕西省县域经济社会发展监测考评办法》解读 2019-07-17
  • 一切都是老板炒工人的鱿鱼 2019-07-14
  • 赏花不用跑远 宗角禄康开得正艳 2019-07-14
  • 车俊会见毛里求斯代总统 2019-07-14
  • 除了杨崇勇,“2亿元贪官俱乐部”至少还有这些人 2019-07-09
  • [民生热线]咸安西大街烤鸭店每天油烟扰民 区政府:已责令整改 2019-07-09
  • 海淀:得天独厚的自然条件 2019-07-09
  • 进京通行证限次数!70.9万辆本地化使用外埠号牌车或将受影响 2019-07-06
  • 6月14日凤凰直通车:茅台再开市场化招聘大门,32个部门要285人葡萄 种植 2019-07-05
  • 东京湾产业转型启示录 2019-07-05
  • 中国三星获第十二届人民企业社会责任奖年度扶贫奖 2019-06-30
  • 一个语文基础都没有的人就喜欢指手画脚, 2019-06-30
  • 意甲吻球网 云南麻将怎么打 圣埃蒂安Vs尼姆 巴萨vs比利亚雷亚尔视频 王牌和面孔官网 山东老11选5 排列五走势图南方双彩网 9900游戏中心李逵劈鱼 捕鱼大富翁最新版 宝石探秘3