• 忻州 端午节假期旅游收入达59962万元--黄河新闻网 2019-07-22
  • 人民日报为人民,70年办报不容易,办报人付出了心血和汗水,记录了中国的发展过程,祝愿办得越来越好! 2019-07-20
  • 最美逆行!高速隧道突发火灾  交警三次逆行穿火线撤离400多名群众 2019-07-17
  • 《陕西省县域经济社会发展监测考评办法》解读 2019-07-17
  • 一切都是老板炒工人的鱿鱼 2019-07-14
  • 赏花不用跑远 宗角禄康开得正艳 2019-07-14
  • 车俊会见毛里求斯代总统 2019-07-14
  • 除了杨崇勇,“2亿元贪官俱乐部”至少还有这些人 2019-07-09
  • [民生热线]咸安西大街烤鸭店每天油烟扰民 区政府:已责令整改 2019-07-09
  • 海淀:得天独厚的自然条件 2019-07-09
  • 进京通行证限次数!70.9万辆本地化使用外埠号牌车或将受影响 2019-07-06
  • 6月14日凤凰直通车:茅台再开市场化招聘大门,32个部门要285人葡萄 种植 2019-07-05
  • 东京湾产业转型启示录 2019-07-05
  • 中国三星获第十二届人民企业社会责任奖年度扶贫奖 2019-06-30
  • 一个语文基础都没有的人就喜欢指手画脚, 2019-06-30
    • / 21
    • 下载费用:20 金币  

    广西11选5前三开奖号码: 一种HADOOP集群系统及数据处理方法.pdf

    摘要
    申请专利号:

    广西11选5大小走势图 www.fnjpv.tw CN201510001684.1

    申请日:

    2015.01.04

    公开号:

    CN105824810A

    公开日:

    2016.08.03

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06F 17/30申请日:20150104|||公开
    IPC分类号: G06F17/30; H04L29/08 主分类号: G06F17/30
    申请人: 中国移动通信集团河北有限公司
    发明人: 李秀清; 张聚广; 苏彦志; 曹英卓; 李清铎
    地址: 050021 河北省石家庄市东风路136号
    优先权:
    专利代理机构: 北京派特恩知识产权代理有限公司 11270 代理人: 白瑞强;姚开丽
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201510001684.1

    授权公告号:

    ||||||

    法律状态公告日:

    2019.04.23|||2016.08.31|||2016.08.03

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明实施例公开了一种Hadoop集群系统及数据处理方法;所述系统包括:网关节点、至少两个主节点和至少两个从节点;所述网关节点,用于接收到客户端的服务请求后,通过广播链路广播所述服务请求至所述至少两个主节点,并将最先收到响应信令的主节点作为第一主节点;还用于建立所述客户端与所述第一主节点之间的连接;所述主节点,用于接收到所述网关节点广播的所述服务请求后,根据自身的资源情况判断是否满足所述服务请求;确定自身的资源情况满足所述服务请求后,向所述网关节点发送响应信令;还用于通过所述网关节点与所述客户端建立连接后,为所述客户端的服务请求分配满足需求的从节点,指示所述从节点执行所述服务请求。

    权利要求书

    1.一种Hadoop集群系统,其特征在于,所述系统包括:网关节点、至少
    两个主节点和至少两个从节点;其中,
    所述网关节点,用于接收到客户端的服务请求后,通过广播链路广播所述
    服务请求至所述至少两个主节点,并将最先收到响应信令的主节点作为第一主
    节点;还用于建立所述客户端与所述第一主节点之间的连接;
    所述主节点,用于接收到所述网关节点广播的所述服务请求后,根据自身
    的资源情况判断是否满足所述服务请求;确定自身的资源情况满足所述服务请
    求后,向所述网关节点发送响应信令;还用于通过所述网关节点与所述客户端
    建立连接后,为所述客户端的服务请求分配满足需求的从节点,指示所述从节
    点执行所述服务请求;
    所述从节点,用于基于所述主节点的指示执行所述服务请求。
    2.根据权利要求1所述的系统,其特征在于,所述服务请求为数据存储请
    求;相应的,
    所述主节点,用于接收到所述网关节点广播的所述数据存储请求后,根据
    存储的元数据信息判断自身管理的从节点的剩余存储空间是否满足所述数据存
    储请求;确定自身管理的从节点的剩余存储空间满足所述数据存储请求后,向
    所述网关节点发送响应信令;其中,所述元数据信息包括数据在从节点中的存
    储信息;还用于通过所述网关节点与所述客户端建立连接后,为所述数据存储
    请求分配满足所述数据存储请求的从节点,将所述从节点的信息通过所述网关
    节点发送至客户端;以使所述客户端根据所述从节点的信息进行数据存储;
    所述从节点,用于通过数据传输链路接收并存储所述客户端通过所述网关
    节点发送的数据。
    3.根据权利要求1所述的系统,其特征在于,所述服务请求为数据删除请
    求;相应的,
    所述主节点,用于接收到所述网关节点广播的所述数据删除请求后,检索
    存储的元数据信息,判断所述数据是否在自身管理的从节点中存储;确定所述
    数据在自身管理的从节点中存储后,向所述网关节点发送响应信令;其中,所
    述元数据信息包括数据在从节点中的存储信息以及所述元数据信息在其它主节
    点的备份信息;还用于通过所述网关节点与所述客户端建立连接后,通过广播
    链路指示存储有所述数据的从节点删除所述数据,以及指示存储有所述元数据
    信息的备份信息的其他主节点更新自身存储的元数据信息;
    所述从节点,用于基于所述主节点的指示删除所述数据。
    4.根据权利要求1所述的系统,其特征在于,所述服务请求为数据计算请
    求;相应的,
    所述主节点,用于接收到所述网关节点广播的所述数据计算请求后,检索
    存储的元数据信息,判断所述数据是否在自身管理的从节点中存储;确定所述
    数据在自身管理的从节点中存储后,向所述网关节点发送响应信令;其中,所
    述元数据信息包括数据在从节点中的存储信息;还用于通过所述网关节点与所
    述客户端建立连接后,向满足所述数据计算请求的从节点广播所述数据计算请
    求,并广播指示最先收到响应信令的从节点作为计算节点;还用于将所述计算
    节点发送的计算结果通过所述网关节点发送至所述客户端。
    所述从节点,用于作为所述计算节点后,根据所述数据计算请求执行计算
    操作,获得计算结果;向所述主节点广播所述计算结果。
    5.根据权利要求1至4任一项所述的系统,其特征在于,所述从节点,还
    用于按预设规则获得自身的存储情况,将所述存储情况广播至所述主节点;
    所述主节点,还用于接收到所述从节点广播的存储情况后,确定所述从节
    点为自身管理的从节点后,根据所述存储情况更新存储的元数据信息;其中,
    所述元数据信息包括数据在从节点中的存储信息;还用于将所述元数据信息广
    播至其他主节点,以使存储有所述元数据信息备份的其他主节点更新所述元数
    据信息备份。
    6.一种数据处理方法,其特征在于,所述数据处理方法应用于包括网关节
    点、至少两个主节点和至少两个从节点的Hadoop集群系统中;所述方法包括:
    所述网关节点接收到客户端的服务请求后,通过广播链路广播所述服务请
    求至所述至少两个主节点;
    所述主节点接收到所述服务请求后,根据自身的资源情况判断是否满足所
    述服务请求;确定自身的资源情况满足所述服务请求后,向所述网关节点发送
    响应信令;
    所述网关节点将最先收到响应信令的主节点作为第一主节点,建立所述客
    户端与所述第一主节点之间的连接;
    所述第一主节点为所述客户端的服务请求分配满足需求的从节点,指示所
    述从节点执行所述服务请求。
    7.根据权利要求6所述的方法,其特征在于,所述服务请求为数据存储请
    求;则所述主节点接收到所述服务请求后,根据自身的资源情况判断是否满足
    所述服务请求;确定自身的资源情况满足所述服务请求后,向所述网关节点发
    送响应信令,包括:
    所述主节点接收到所述数据存储请求后,根据存储的元数据信息判断自身
    管理的从节点的剩余存储空间是否满足所述数据存储请求;确定自身管理的从
    节点的剩余存储空间满足所述数据存储请求后,向所述网关节点发送响应信令;
    其中,所述元数据信息包括数据在从节点中的存储信息;
    相应的,所述第一主节点为所述客户端的服务请求分配满足需求的从节点,
    指示所述从节点执行所述服务请求,包括:
    所述第一主节点为所述客户端的数据存储请求分配满足所述数据存储请求
    的从节点,将所述从节点的信息通过所述网关节点发送至客户端,以使所述客
    户端根据所述从节点的信息进行数据存储;
    所述从节点通过数据传输链路接收并存储所述客户端通过所述网关节点发
    送的数据。
    8.根据权利要求6所述的方法,其特征在于,所述服务请求为数据删除请
    求;则所述主节点接收到所述服务请求后,根据自身的资源情况判断是否满足
    所述服务请求;确定自身的资源情况满足所述服务请求后,向所述网关节点发
    送响应信令,包括:
    所述主节点接收到所述数据删除请求后,检索存储的元数据信息,判断所
    述数据是否在自身管理的从节点中存储;确定所述数据在自身管理的从节点中
    存储后,向所述网关节点发送响应信令;其中,所述元数据信息包括数据在从
    节点中的存储信息以及所述元数据信息在其它主节点的备份信息;
    相应的,所述第一主节点为所述客户端的服务请求分配满足需求的从节点,
    指示所述从节点执行所述服务请求,包括:
    所述第一主节点通过广播链路指示存储有所述数据的从节点删除所述数
    据,以及指示存储有所述元数据信息的备份信息的其他主节点更新自身存储的
    元数据信息;
    所述从节点基于所述主节点的指示删除所述数据。
    9.根据权利要求6所述的方法,其特征在于,所述服务请求为数据计算请
    求;则所述主节点接收到所述服务请求后,根据自身的资源情况判断是否满足
    所述服务请求;确定自身的资源情况满足所述服务请求后,向所述网关节点发
    送响应信令,包括:
    所述主节点接收到所述数据计算请求后,检索存储的元数据信息,判断所
    述数据是否在自身管理的从节点中存储;确定所述数据在自身管理的从节点中
    存储后,向所述网关节点发送响应信令;其中,所述元数据信息包括数据在从
    节点中的存储信息;
    相应的,所述第一主节点为所述客户端的服务请求分配满足需求的从节点,
    指示所述从节点执行所述服务请求,包括:
    所述第一主节点向满足所述数据计算请求的从节点广播所述数据计算请
    求,并广播指示最先收到响应信令的从节点作为计算节点;
    所述计算节点所述数据计算请求执行计算操作,获得计算结果;向所述主
    节点广播所述计算结果。
    10.根据权利要求6至9任一项所述的方法,其特征在于,所述方法还包
    括:所述从节点按预设规则获得自身的存储情况,将所述存储情况广播至所述
    主节点;
    所述主节点接收到所述从节点广播的存储情况后,确定所述从节点为自身
    管理的从节点后,根据所述存储情况更新存储的元数据信息;其中,所述元数
    据信息包括数据在从节点中的存储信息;
    所述主节点将所述元数据信息广播至其他主节点,以使存储有所述元数据
    信息的备份信息的其他主节点更新所述元数据信息。

    关 键 词:
    一种 HADOOP 集群 系统 数据处理 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:一种HADOOP集群系统及数据处理方法.pdf
    链接地址://www.fnjpv.tw/p-6299471.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.fnjpv.tw网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 忻州 端午节假期旅游收入达59962万元--黄河新闻网 2019-07-22
  • 人民日报为人民,70年办报不容易,办报人付出了心血和汗水,记录了中国的发展过程,祝愿办得越来越好! 2019-07-20
  • 最美逆行!高速隧道突发火灾  交警三次逆行穿火线撤离400多名群众 2019-07-17
  • 《陕西省县域经济社会发展监测考评办法》解读 2019-07-17
  • 一切都是老板炒工人的鱿鱼 2019-07-14
  • 赏花不用跑远 宗角禄康开得正艳 2019-07-14
  • 车俊会见毛里求斯代总统 2019-07-14
  • 除了杨崇勇,“2亿元贪官俱乐部”至少还有这些人 2019-07-09
  • [民生热线]咸安西大街烤鸭店每天油烟扰民 区政府:已责令整改 2019-07-09
  • 海淀:得天独厚的自然条件 2019-07-09
  • 进京通行证限次数!70.9万辆本地化使用外埠号牌车或将受影响 2019-07-06
  • 6月14日凤凰直通车:茅台再开市场化招聘大门,32个部门要285人葡萄 种植 2019-07-05
  • 东京湾产业转型启示录 2019-07-05
  • 中国三星获第十二届人民企业社会责任奖年度扶贫奖 2019-06-30
  • 一个语文基础都没有的人就喜欢指手画脚, 2019-06-30
  • 金蟾李逵大圣捕鱼 王者荣耀下载ipad版下载 法老王的秘密彩金 2008年福彩3d走势图 博狗博彩 国王杯vs马德里竞技视频 时时彩破解总和单双 幸运熊猫走势图 福建11选5技巧 辽宁快乐12走势图表