• 忻州 端午节假期旅游收入达59962万元--黄河新闻网 2019-07-22
  • 人民日报为人民,70年办报不容易,办报人付出了心血和汗水,记录了中国的发展过程,祝愿办得越来越好! 2019-07-20
  • 最美逆行!高速隧道突发火灾  交警三次逆行穿火线撤离400多名群众 2019-07-17
  • 《陕西省县域经济社会发展监测考评办法》解读 2019-07-17
  • 一切都是老板炒工人的鱿鱼 2019-07-14
  • 赏花不用跑远 宗角禄康开得正艳 2019-07-14
  • 车俊会见毛里求斯代总统 2019-07-14
  • 除了杨崇勇,“2亿元贪官俱乐部”至少还有这些人 2019-07-09
  • [民生热线]咸安西大街烤鸭店每天油烟扰民 区政府:已责令整改 2019-07-09
  • 海淀:得天独厚的自然条件 2019-07-09
  • 进京通行证限次数!70.9万辆本地化使用外埠号牌车或将受影响 2019-07-06
  • 6月14日凤凰直通车:茅台再开市场化招聘大门,32个部门要285人葡萄 种植 2019-07-05
  • 东京湾产业转型启示录 2019-07-05
  • 中国三星获第十二届人民企业社会责任奖年度扶贫奖 2019-06-30
  • 一个语文基础都没有的人就喜欢指手画脚, 2019-06-30
    • / 9
    • 下载费用:20 金币  

    广西11选5开奖的走势图: 一种关于STORM使用的实时消息处理方法.pdf

    摘要
    申请专利号:

    广西11选5大小走势图 www.fnjpv.tw CN201610135228.0

    申请日:

    2016.03.10

    公开号:

    CN105824618A

    公开日:

    2016.08.03

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):G06F 9/44申请日:20160310|||公开
    IPC分类号: G06F9/44 主分类号: G06F9/44
    申请人: 浪潮软件集团有限公司
    发明人: 张福勋; 杨培强
    地址: 250100 山东省济南市高新区孙村镇科航路2877号
    优先权:
    专利代理机构: 济南信达专利事务所有限公司 37100 代理人: 杜鹃花
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201610135228.0

    授权公告号:

    |||

    法律状态公告日:

    2016.08.31|||2016.08.03

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本发明公开了一种关于Storm使用的实时消息处理方法,属于Storm技术领域,本发明要解决如何在消息处理的过程中不丢失数据,而且可以使整个处理系统具有很好的扩展性的问题。技术方案为:所有Topology的提交在Storm的客户端节点上进行,由Nimbus所在的控制节点分配给其他Supervisor所在的工作节点进行处理。Nimbus首先将提交的Topology进行分片,分成一个个的Task,并将Task和Supervisor相关的信息提交到?zookeeper集群上,Supervisor去zookeeper集群上认领自己的Task,通知自己的Worker进程进行Task的处理。

    权利要求书

    1.一种关于Storm使用的实时消息处理方法,其特征在于在使用Storm的服务器集群中,使用Storm并依赖外部资源Zookeeper集群进行实时消息处理;Storm具有Nimbus和Supervisor,服务器集群的控制节点上部署Nimbus,服务器集群的每个工作节点上均部署Supervisor;Storm提交运行的程序为Topology,Topology由Spout和Bolt构成;包括如下步骤:(1)、Topology的提交在控制节点上进行,把代码首先存放到Nimbus所在的控制节点上,之后,把当前Storm运行的配置生成文件放到Nimbus所在的控制节点中,Nimbus所在的控制节点中同时还有序列化之后的Topology代码文件;(2)、Nimbus在设定Topology所关联的Spouts和Bolts时,同时设置当前Spout和Bolt的worker进程的数目,即设置executor数目和task数目;根据worker进程的数目,将worker进程分配至各个工作节点运行;(3)、任务分配好之后,Nimbus所在的控制节点将worker进程的心跳信息提交到zookeeper集群;(4)、Supervisor所在的工作节点不断的轮询zookeeper集群,在zookeeper中保存了worker进程的心跳信息,Supervisor所在的工作节点通过轮询zookeeper中的内容,来领取自己的任务,启动worker进程运行;(5)、一个Topology运行之后,不断的通过Spouts来发送Stream流,通过Bolts不断的处理接收到的Stream流,Stream流是无界的。2.根据权利要求1所述的一种关于Storm使用的实时消息处理方法,其特征在于步骤(1)中,Topology的提交在控制节点上进行,把代码首先存放到Nimbus所在的控制节点的inbox目录下,之后,把当前Storm运行的配置生成文件stormconf.ser放到Nimbus所在的控制节点的stormdist目录中,在stormdist目录中同时还有序列化之后的Topology代码文件。3.根据权利要求1所述的一种关于Storm使用的实时消息处理方法,其特征在于步骤(2)中,一个Topology的task数目的总和与executor数目的总和一致。4.根据权利要求1所述的一种关于Storm使用的实时消息处理方法,其特征在于步骤(3)中,zookeeper集群中设置有workerbeats节点,workerbeats节点存储了当前Topology的所有worker进程的心跳信息;步骤(4)中,Supervisor所在的工作节点能够不断的轮询zookeeper集群,在zookeeper的assignments节点中保存了所有Topology的任务分配信息、代码存储目录和任务之间的关联关系,Supervisor所在的工作节点通过轮询zookeeper的assignments节点的内容,来领取自己的任务,启动worker进程运行。

    关 键 词:
    一种 关于 STORM 使用 实时 消息 处理 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:一种关于STORM使用的实时消息处理方法.pdf
    链接地址://www.fnjpv.tw/p-6299397.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.fnjpv.tw网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 忻州 端午节假期旅游收入达59962万元--黄河新闻网 2019-07-22
  • 人民日报为人民,70年办报不容易,办报人付出了心血和汗水,记录了中国的发展过程,祝愿办得越来越好! 2019-07-20
  • 最美逆行!高速隧道突发火灾  交警三次逆行穿火线撤离400多名群众 2019-07-17
  • 《陕西省县域经济社会发展监测考评办法》解读 2019-07-17
  • 一切都是老板炒工人的鱿鱼 2019-07-14
  • 赏花不用跑远 宗角禄康开得正艳 2019-07-14
  • 车俊会见毛里求斯代总统 2019-07-14
  • 除了杨崇勇,“2亿元贪官俱乐部”至少还有这些人 2019-07-09
  • [民生热线]咸安西大街烤鸭店每天油烟扰民 区政府:已责令整改 2019-07-09
  • 海淀:得天独厚的自然条件 2019-07-09
  • 进京通行证限次数!70.9万辆本地化使用外埠号牌车或将受影响 2019-07-06
  • 6月14日凤凰直通车:茅台再开市场化招聘大门,32个部门要285人葡萄 种植 2019-07-05
  • 东京湾产业转型启示录 2019-07-05
  • 中国三星获第十二届人民企业社会责任奖年度扶贫奖 2019-06-30
  • 一个语文基础都没有的人就喜欢指手画脚, 2019-06-30
  • 吉达国民vs塔什干棉农 黑龙江时时彩麻将 新疆福利彩票35选7 街机捕鱼攻略技巧 ac米兰队歌下载 水晶宫298是什么服务 福建十一选五走势图图一定牛 聚宝盆免费试玩 广东快乐10分开将记录 香港六合彩总部