• 忻州 端午节假期旅游收入达59962万元--黄河新闻网 2019-07-22
  • 人民日报为人民,70年办报不容易,办报人付出了心血和汗水,记录了中国的发展过程,祝愿办得越来越好! 2019-07-20
  • 最美逆行!高速隧道突发火灾  交警三次逆行穿火线撤离400多名群众 2019-07-17
  • 《陕西省县域经济社会发展监测考评办法》解读 2019-07-17
  • 一切都是老板炒工人的鱿鱼 2019-07-14
  • 赏花不用跑远 宗角禄康开得正艳 2019-07-14
  • 车俊会见毛里求斯代总统 2019-07-14
  • 除了杨崇勇,“2亿元贪官俱乐部”至少还有这些人 2019-07-09
  • [民生热线]咸安西大街烤鸭店每天油烟扰民 区政府:已责令整改 2019-07-09
  • 海淀:得天独厚的自然条件 2019-07-09
  • 进京通行证限次数!70.9万辆本地化使用外埠号牌车或将受影响 2019-07-06
  • 6月14日凤凰直通车:茅台再开市场化招聘大门,32个部门要285人葡萄 种植 2019-07-05
  • 东京湾产业转型启示录 2019-07-05
  • 中国三星获第十二届人民企业社会责任奖年度扶贫奖 2019-06-30
  • 一个语文基础都没有的人就喜欢指手画脚, 2019-06-30
    • / 11
    • 下载费用:20 金币  

    广西11选5app: 一种面向数据连续读取的重删纠删混合系统的数据放置方法器.pdf

    摘要
    申请专利号:

    广西11选5大小走势图 www.fnjpv.tw CN201610135198.3

    申请日:

    2016.03.10

    公开号:

    CN105824720A

    公开日:

    2016.08.03

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06F 11/14申请日:20160310|||公开
    IPC分类号: G06F11/14 主分类号: G06F11/14
    申请人: 中国人民解放军国防科学技术大学
    发明人: 肖侬; 邓明翥; 陈志广; 刘芳
    地址: 410073 湖南省长沙市砚瓦池正街47号
    优先权:
    专利代理机构: 湖南省国防科技工业局专利中心 43102 代理人: 冯青
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201610135198.3

    授权公告号:

    ||||||

    法律状态公告日:

    2018.11.20|||2016.08.31|||2016.08.03

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明涉及一种面向数据连续读取的重删纠删混合系统的数据放置方法器?;诟骼喾植际街馗词萆境途郎韭牖旌洗娲⑾低?,通过改变对数据分块和校验分块的放置策略,在保证系统可靠性不受任何影响的前提下,进一步提升数据连续读取时的读性能,其特征在于,不改变各条带的构成,通过将多个条带中所有的数据元素和所有校验元素分别连续放置,从而保证所有数据元素放置的连续性,消除原校验元素中断数据元素放置所带来的负载瓶颈,从而最大限度地提升数据连续读取时的并行度,实现各独立节点并行性的最大化利用,提升连续读的系统读性能。

    权利要求书

    1.一种面向数据连续读取的重删纠删混合系统的数据放置方法器,基于各类分布式重
    复数据删除和纠删码混合存储系统,通过改变对数据分块和校验分块的放置策略,在保证
    系统可靠性不受任何影响的前提下,进一步提升数据连续读取时的读性能,其特征在于,不
    改变各条带的构成,通过将多个条带中所有的数据元素和所有校验元素分别连续放置,从
    而保证所有数据元素放置的连续性,消除原校验元素中断数据元素放置所带来的负载瓶
    颈,从而最大限度地提升数据连续读取时的并行度,提升连续读时的系统读性能,
    具体步骤为:
    第一步,数据分块:采用定长分块的方式将文件或数据流进行分割,将其分割为若干个
    chunk数据分块,分块粒度的大小应当根据应用场景来进行选择,如果分块粒度越大,则后
    期计算开销越小,但是重删效果不够明显,反之,如果粒度过小,则会引入过多的计算开销,
    影响系统系能,
    第二步,计算特征值:计算每一块chunk的特征值,该特征值将作为该chunk的唯一标
    识,并作为下一步判断是否重复的依据,通常特征值的计算采用抗冲突能力较强的hash加
    密算法,如MD5、SHA-1;
    第三步,查询索引表:将计算好的特征值与现有的索引表中的特征值逐一对比,用以判
    断其代表的chunk是否重复,该索引表随着数据量的增大而增大,因此当数据量庞大时降低
    系统性能;
    第四步,去除重复数据:根据查询结果,如果是重复的chunk则可以直接丢弃,但需要将
    节点号保存下来,将其元数据指针指向重复的chunk,以便后面需要访问时找到数据;
    第五步,冗余编码:查询后判断是不重复的chunk,则将其特征值作为一个新的条目追
    加到索引表中,并根据分组大小对k个此类唯一块进行冗余编码,生成m个冗余分块,所使用
    的具体的编码和编码参数应该根据系统的可靠性需求进行选择,
    第六步,放置存储分块:根据节点数和冗余编码参数确定多个分组内数据和冗余的放
    置位置,根据放置算法为每个数据分块和冗余分块分配适当的地址,并进行存储。
    2.根据权利要求1所述的一种面向数据连续读取的重删纠删混合系统的数据放置方法
    器,其特征在于,所述第六步放置存储唯一的数据分块和冗余分块时,在保证系统重删率和
    可靠性不变的前提下,根据节点数目和编码参数选定特定数目的条带构成一个分组,在一
    个分组内保证所有数据分块和冗余分块分别独立连续放置,解决条带间冗余分块中断数据
    分块的问题,最大限度地消除数据连续读取时的负载瓶颈,实现各独立节点并行性的最大
    化利用,提升系统读性能,其具体流程为:
    设纠删码编码参数为,即条带stripe大小为n个元素,其中k个数据元素经编码生
    成n-k个冗余分块,
    第6.1步:定义变量整型变量,其中为n和k的最大公约数,设
    表示第i个条带stripe中的第j个元素,其中,;
    第6.2步:设条带stripe的编号为i,当第一条条带生成时,初始化i=0;
    第6.3步:令临时变量,对于第i条带stripe中的第j个元素,计算其
    放置的节点编号,其中;
    第6.4步:将元素Cij分发给指定的第个节点进行存储;
    第6.5步:判断是否有新条带生成,如果有,则,并进入第6.3步,否则结束。

    关 键 词:
    一种 面向 数据 连续 读取 重删纠删 混合 系统 放置 法器
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:一种面向数据连续读取的重删纠删混合系统的数据放置方法器.pdf
    链接地址://www.fnjpv.tw/p-6299423.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.fnjpv.tw网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 忻州 端午节假期旅游收入达59962万元--黄河新闻网 2019-07-22
  • 人民日报为人民,70年办报不容易,办报人付出了心血和汗水,记录了中国的发展过程,祝愿办得越来越好! 2019-07-20
  • 最美逆行!高速隧道突发火灾  交警三次逆行穿火线撤离400多名群众 2019-07-17
  • 《陕西省县域经济社会发展监测考评办法》解读 2019-07-17
  • 一切都是老板炒工人的鱿鱼 2019-07-14
  • 赏花不用跑远 宗角禄康开得正艳 2019-07-14
  • 车俊会见毛里求斯代总统 2019-07-14
  • 除了杨崇勇,“2亿元贪官俱乐部”至少还有这些人 2019-07-09
  • [民生热线]咸安西大街烤鸭店每天油烟扰民 区政府:已责令整改 2019-07-09
  • 海淀:得天独厚的自然条件 2019-07-09
  • 进京通行证限次数!70.9万辆本地化使用外埠号牌车或将受影响 2019-07-06
  • 6月14日凤凰直通车:茅台再开市场化招聘大门,32个部门要285人葡萄 种植 2019-07-05
  • 东京湾产业转型启示录 2019-07-05
  • 中国三星获第十二届人民企业社会责任奖年度扶贫奖 2019-06-30
  • 一个语文基础都没有的人就喜欢指手画脚, 2019-06-30
  • 西班牙人对皇家社会直播 山西快乐十分开奖直播 鲁能和庆南fc直播 皇家贝蒂斯橄榄油 北京11选5开奖走势 广东36选7福利彩票开奖查询 青海快3走势150期 街机电玩捕鱼 纽卡斯尔喷气机足球俱乐部 吉林快三开奖