• 忻州 端午节假期旅游收入达59962万元--黄河新闻网 2019-07-22
  • 人民日报为人民,70年办报不容易,办报人付出了心血和汗水,记录了中国的发展过程,祝愿办得越来越好! 2019-07-20
  • 最美逆行!高速隧道突发火灾  交警三次逆行穿火线撤离400多名群众 2019-07-17
  • 《陕西省县域经济社会发展监测考评办法》解读 2019-07-17
  • 一切都是老板炒工人的鱿鱼 2019-07-14
  • 赏花不用跑远 宗角禄康开得正艳 2019-07-14
  • 车俊会见毛里求斯代总统 2019-07-14
  • 除了杨崇勇,“2亿元贪官俱乐部”至少还有这些人 2019-07-09
  • [民生热线]咸安西大街烤鸭店每天油烟扰民 区政府:已责令整改 2019-07-09
  • 海淀:得天独厚的自然条件 2019-07-09
  • 进京通行证限次数!70.9万辆本地化使用外埠号牌车或将受影响 2019-07-06
  • 6月14日凤凰直通车:茅台再开市场化招聘大门,32个部门要285人葡萄 种植 2019-07-05
  • 东京湾产业转型启示录 2019-07-05
  • 中国三星获第十二届人民企业社会责任奖年度扶贫奖 2019-06-30
  • 一个语文基础都没有的人就喜欢指手画脚, 2019-06-30
    • / 11
    • 下载费用:20 金币  

    广西11选5一定牛: 用于大数据处理系统的内存数据集置换系统与置换方法.pdf

    摘要
    申请专利号:

    广西11选5大小走势图 www.fnjpv.tw CN201610196543.4

    申请日:

    2016.03.31

    公开号:

    CN105824737A

    公开日:

    2016.08.03

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06F 11/30申请日:20160331|||公开
    IPC分类号: G06F11/30; G06F11/34; G06F12/126(2016.01)I 主分类号: G06F11/30
    申请人: 华中科技大学
    发明人: 石宣化; 金海; 耿元振; 王斐
    地址: 430074 湖北省武汉市洪山区珞喻路1037号
    优先权:
    专利代理机构: 华中科技大学专利中心 42201 代理人: 曹葆青
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201610196543.4

    授权公告号:

    ||||||

    法律状态公告日:

    2018.08.17|||2016.08.31|||2016.08.03

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明公开了一种用于大数据处理系统的内存数据集置换系统,包括分析???、信息监测???、决策???。分析??橛糜诙陨喜阌没С绦蚪新呒治?,得出各运算阶段中生成内存数据集时的运算步骤集合;信息监测??橛糜诙栽诵兄械挠没С绦蚪屑嗖?,并收集生成内存数据集时的信息提交给决策???;决策??橛糜诙允占降男畔⒔蟹治龊团判?,判断当前阶段是否需要对系统中的内存数据集进行置换,在系统需要进行置换时确定需要移除的内存数据集并通知系统换入新的内存数据集。本发明在工作过程中,对上层用户层程序完全透明,能够灵活地根据系统实时状况决策内存数据集的置换方案,同时相比传统置换方法很好地降低了对系统性能的影响。

    权利要求书

    1.一种用于大数据处理系统的内存数据集置换系统,包括分析???、
    信息监测???、决策???,其特征在于,
    所述分析??橛糜诙陨喜阌没С绦蚪新呒治?,得出各运算阶段中
    生成内存数据集的运算步骤集合;
    所述信息监测??橛糜诙栽诵兄械挠没С绦蚪屑嗖?,并收集生成内
    存数据集时的信息提交给决策???;
    所述决策??橛糜诙孕畔⒓嗖饽?槭占降男畔⒔蟹治?,判断当前
    阶段是否需要对系统中的内存数据集进行置换,在系统需要进行置换时确
    定需要移除的内存数据集并通知系统换入新的内存数据集。
    2.根据权利要求1所述的内存数据集置换系统,其特征在于,所述分
    析??樵谏喜阌没С绦蛟诵惺痹诜植际较低车腗aster节点上对程序逻辑进
    行分析,确定用户程序中生成的内存数据集,并确定生成时所经历的运算
    步骤。
    3.根据权利要求2所述的内存数据集置换系统,其特征在于,所述分
    析??榈姆治龉δ苁峭ü治龀绦蛟诵兄械穆呒怂愎叵低?,找出程序生
    成的需要放入内存的数据集,在逻辑运算关系图中搜索该内存数据集生成
    过程中经历的运算集合;Master节点将分析的结果传送到各Worker节点。
    4.根据权利要求1或2所述的内存数据集置换系统,其特征在于,所
    述信息监测??樵诮惺导试怂愕腤orker节点上对运算中的程序进行实时
    监控,监测信息包括生成内存数据集过程的运算集合中各运算消耗的时间;
    内存数据集生成完毕后,将消耗时间和数据集大小传送到决策???。信息
    监测??橥奔嗖饨诘愕哪诖媸S嘧纯?,在剩余内存不足以存放新的内存
    数据集时,通知决策??橹没怀霾糠忠汛嬖诘哪诖媸菁?。
    5.根据权利要求4所述的内存数据集置换系统,其特征在于,所述信
    息监测??榈募嗖夤δ苁峭ü谠怂慵现械母髟怂悴僮髑昂蠹锹际奔?br />戳,在生成数据时记录数据集占用空间大小,动态更新内存剩余空间大小
    并与内存阈值进行比较来实现。
    6.根据权利要求1或2所述的内存数据集置换系统,其特征在于,所
    述决策??楦菪畔⒓嗖饽?榇屠吹男畔?,处理后作为内存数据集的置
    换优先级,并放入TreeMap结构中进行排序;在监测??榧嗖獾侥诖孀试?br />不足、需要置换出内存数据集时,选择并移除优先级最小的内存数据集。
    7.一种用于大数据处理系统的内存数据集置换方法,其特征在于,包
    括以下步骤:
    (1)分析??榉治龅鼻霸怂憬锥文诓扛髦屑涫菁涞囊览倒叵?br />图,对于本阶段生成的需要在内存中进行保存的数据集,利用深度优先搜
    索或广度优先搜索算法在逻辑运算关系图中搜索生成过程中经历的运算集
    合C;如果生成过程中需要Shuffle运算,则还需将Shuffle运算集合添加到
    运算集合C中,将运算集合C传送到信息监测???,并跳转步骤(2);
    (2)信息监测??樵诵性诟鱓orker节点,首先记录节点上可用于内
    存数据集存储的最大内存大小,确定内存阈值,在当前剩余的可用于内存
    数据集使用的内存低于该阈值时则需要进行置换操作;计算当前节点上可
    用于内存数据集存储的内存大小,在程序生成内存数据集时,根据步骤(1)
    传入的运算集合C,记录集合中各运算的起始及结束时间间隔,对各子运
    算所需的时间间隔进行加和得到整体消耗时间T,记录当前生成的内存数据
    集的大小size,更新节点上当前可用于内存数据集存储的内存大??;当该值
    小于阈值时,认为当前需要清除出部分内存数据集,转入步骤(3);否则,
    判断程序是否需进入下一运算阶段,如进入下一运算阶段则转入步骤(1);
    (3)决策??榻邮詹街?2)传入的内存数据集的信息,以内存数据
    集的唯一id为Key,以该内存数据集的(T,size)信息为Value放入TreeMap
    结构中;TreeMap内部以T/size为依据对数据进行排序,在信息监测???br />通知需要进行内存数据集清除时,优先清除T/size值最小的内存数据集。

    关 键 词:
    用于 数据处理系统 内存 数据 置换 系统 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:用于大数据处理系统的内存数据集置换系统与置换方法.pdf
    链接地址://www.fnjpv.tw/p-6299455.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.fnjpv.tw网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 忻州 端午节假期旅游收入达59962万元--黄河新闻网 2019-07-22
  • 人民日报为人民,70年办报不容易,办报人付出了心血和汗水,记录了中国的发展过程,祝愿办得越来越好! 2019-07-20
  • 最美逆行!高速隧道突发火灾  交警三次逆行穿火线撤离400多名群众 2019-07-17
  • 《陕西省县域经济社会发展监测考评办法》解读 2019-07-17
  • 一切都是老板炒工人的鱿鱼 2019-07-14
  • 赏花不用跑远 宗角禄康开得正艳 2019-07-14
  • 车俊会见毛里求斯代总统 2019-07-14
  • 除了杨崇勇,“2亿元贪官俱乐部”至少还有这些人 2019-07-09
  • [民生热线]咸安西大街烤鸭店每天油烟扰民 区政府:已责令整改 2019-07-09
  • 海淀:得天独厚的自然条件 2019-07-09
  • 进京通行证限次数!70.9万辆本地化使用外埠号牌车或将受影响 2019-07-06
  • 6月14日凤凰直通车:茅台再开市场化招聘大门,32个部门要285人葡萄 种植 2019-07-05
  • 东京湾产业转型启示录 2019-07-05
  • 中国三星获第十二届人民企业社会责任奖年度扶贫奖 2019-06-30
  • 一个语文基础都没有的人就喜欢指手画脚, 2019-06-30
  • 打皮球龙王捕鱼游戏下载 快乐8玩法 秘密爱慕者试玩 北京pk10九码为什么输 广西快乐十分开奖号码 贵州11选5开奖结果走势图 沉默的武士注册 单双中特 单数 虎狗 云南11选5号码走势图 pc蛋蛋江北神途