• 最美逆行!高速隧道突发火灾  交警三次逆行穿火线撤离400多名群众 2019-07-17
  • 《陕西省县域经济社会发展监测考评办法》解读 2019-07-17
  • 一切都是老板炒工人的鱿鱼 2019-07-14
  • 赏花不用跑远 宗角禄康开得正艳 2019-07-14
  • 车俊会见毛里求斯代总统 2019-07-14
  • 除了杨崇勇,“2亿元贪官俱乐部”至少还有这些人 2019-07-09
  • [民生热线]咸安西大街烤鸭店每天油烟扰民 区政府:已责令整改 2019-07-09
  • 海淀:得天独厚的自然条件 2019-07-09
  • 进京通行证限次数!70.9万辆本地化使用外埠号牌车或将受影响 2019-07-06
  • 6月14日凤凰直通车:茅台再开市场化招聘大门,32个部门要285人葡萄 种植 2019-07-05
  • 东京湾产业转型启示录 2019-07-05
  • 中国三星获第十二届人民企业社会责任奖年度扶贫奖 2019-06-30
  • 一个语文基础都没有的人就喜欢指手画脚, 2019-06-30
  • 匹夫有责之一百一十二—道义大义的博客—强国博客—人民网 2019-06-25
  • 原来端午节也可以过得很“文艺” 2019-06-10
    • / 37
    • 下载费用:20 金币  

    体彩广西11选5开奖时间: 分析用户业务量的方法和系统.pdf

    摘要
    申请专利号:

    广西11选5大小走势图 www.fnjpv.tw CN201510600731.4

    申请日:

    2015.09.18

    公开号:

    CN105138691A

    公开日:

    2015.12.09

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06F 17/30申请日:20150918|||公开
    IPC分类号: G06F17/30 主分类号: G06F17/30
    申请人: 北京百度网讯科技有限公司
    发明人: 张帅; 付强
    地址: 100085北京市海淀区上地十街10号百度大厦2层
    优先权:
    专利代理机构: 北京英赛嘉华知识产权代理有限责任公司11204 代理人: 王达佐; 马晓亚
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201510600731.4

    授权公告号:

    ||||||

    法律状态公告日:

    2018.10.02|||2016.01.06|||2015.12.09

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本申请公开了分析用户业务量的方法和系统。所述方法的一具体实施方式包括:单机节点以分钟为间隔执行以下第一操作流程:获取具有同一时间戳的请求日志,从请求日志中解析初始业务量数据,合并属于同一用户的初始业务量数据,得到第一业务量数据,发送第一业务量数据至数据处理节点;数据处理节点以分钟为间隔执行以下第二操作流程:根据用户信息,合并来自于不同单机节点且具有同一时间戳的第一业务量数据,得到第二业务量数据,发送第二业务量数据至业务节点;业务节点根据接收的第二业务量数据,分析用户业务量。该实施方式减少了不必要的重复数据的传输,且计算延迟较低。

    权利要求书

    权利要求书
    1.  一种分析用户业务量的方法,其特征在于,所述方法包括:
    单机节点以分钟为间隔执行以下第一操作流程:获取具有同一时间戳的请求日志,从所述请求日志中解析初始业务量数据,合并属于同一用户的初始业务量数据,得到第一业务量数据,发送所述第一业务量数据至数据处理节点,其中,所述请求日志用于记录用户的业务量请求,所述时间戳的格式为年月日时分;
    所述数据处理节点以分钟为间隔执行以下第二操作流程:根据用户信息,合并来自于不同单机节点且具有所述同一时间戳的所述第一业务量数据,得到第二业务量数据,发送所述第二业务量数据至业务节点;
    所述业务节点根据接收的所述第二业务量数据,分析用户业务量。

    2.  根据权利要求1所述的方法,其特征在于,所述发送所述第一业务量数据至数据处理节点包括:
    发送所述第一业务量数据至数据处理节点,并记录第一发送事务的处理标记至预设的第一重做日志;
    其中,所述第一发送事务为发送所述第一业务量数据至数据处理节点的事务;所述第一发送事务的处理标记至少包括所述第一发送事务的开始标记和结束标记。

    3.  根据权利要求2所述的方法,其特征在于,所述发送所述第一业务量数据至数据处理节点,并记录第一发送事务的处理标记至预设的第一重做日志包括:
    记录第一发送事务的开始标记至预设的第一重做日志,其中,所述第一发送事务的开始标记包括发送的第一业务量数据的时间戳;
    根据所述发送的第一业务量数据的时间戳,获取第一业务量数据;
    将获取的所述第一业务量数据编号,形成第一消息队列;
    发送所述第一消息队列至所述数据处理节点;
    响应于发送所述第一消息队列失败,重试发送所述第一消息队列;
    若所述第一消息队列重试发送的次数达到第一预设重试次数或重试发送的时间达到第一预设重试时间,将从内存中获取的所述第一业务量数据合并回内存,并记录第一发送事务的异常终止标记至所述第一重做日志,其中,所述第一发送事务的异常终止标记包括发送失败的第一业务量数据的时间戳;
    响应于发送所述第一消息队列成功,更新发送所述第一消息队列的编号,并记录第一发送事务的结束标记至所述第一重做日志,其中,所述第一发送事务的结束标记包括发送成功的第一业务量数据的时间戳和发送成功的第一业务量数据的接续编号。

    4.  根据权利要求3所述的方法,其特征在于,所述发送所述第一业务量数据至数据处理节点还包括:
    响应于发送所述第一业务量数据成功,间隔第一预定时间删除内存中发送成功的所述第一业务量数据;
    响应于将发送失败的第一业务量数据合并回内存的次数超过第一预置次数或持续发送失败的时间超过第一预置时间,触发报警提醒。

    5.  根据权利要求4所述的方法,其特征在于,所述方法还包括:
    单机节点间隔第一预设时间或响应于发送成功第一预设数量的所述第一业务量数据至数据处理节点,新建第一重做日志;
    响应于新建第一重做日志完成,同时在原第一重做日志和所述新建第一重做日志中记录第一获取事务的处理标记和第一发送事务的处理标记;
    查询当前正在进行的事务的时间戳;
    生成内存中数据集的第一快照,并同时在所述原第一重做日志和所述新建第一重做日志中记录第一快照事务的开始标记,其中,所述第一快照事务的开始标记包括第一快照的检查点所存入的文件名称和正在进行的事务的时间戳;
    将生成的第一快照存入磁盘,并同时在所述原第一重做日志和所 述新建第一重做日志中记录第一快照事务的结束标记,其中,所述第一快照事务的结束标记包括第一快照的检查点所存入的文件名称;
    响应于同时在所述原第一重做日志和所述新建第一重做日志中记录第一快照事务的结束标记完成,删除所述原第一重做日志。

    6.  根据权利要求5所述的方法,其特征在于,所述获取具有同一时间戳的请求日志,从所述请求日志中解析初始业务量数据,合并属于同一用户的初始业务量数据,得到第一业务量数据包括:
    获取具有同一时间戳的请求日志,从所述请求日志中解析初始业务量数据,合并属于同一用户的初始业务量数据,得到第一业务量数据,并记录第一获取事务的处理标记至所述第一重做日志;
    其中,所述第一获取事务为获取具有同一时间戳的请求日志,从所述请求日志中解析初始业务量数据,合并属于同一用户的初始业务量数据,得到第一业务量数据的事务;所述第一获取事务的处理标记至少包括所述第一获取事务的开始标记和结束标记。

    7.  根据权利要求6所述的方法,其特征在于,所述获取具有同一时间戳的请求日志,从所述请求日志中解析初始业务量数据,合并属于同一用户的初始业务量数据,得到第一业务量数据,并记录第一获取事务的处理标记至所述第一重做日志包括:
    记录第一获取事务的开始标记至所述第一重做日志,其中,所述第一获取事务的开始标记包括获取的请求日志的时间戳;
    根据所述获取的请求日志的时间戳,获取请求日志;
    从所述请求日志中逐条解析初始业务量数据,将解析的初始业务量数据合并至内存中属于同一用户的数据集中以累积第一业务量数据,并记录第一获取事务的单条解析成功标记至所述第一重做日志,其中,所述第一获取事务的单条解析成功标记包括解析成功的单条请求日志的时间戳、所述数据集的原始值和修改后值;以及
    响应于解析单条请求日志成功的次数符合预设的解析次数或完成单机节点中所有请求日志的解析,记录第一获取事务的结束标记至所 述第一重做日志,其中,所述第一获取事务的结束标记包括获取的请求日志的时间戳和请求日志文件中的偏移量。

    8.  根据权利要求7所述的方法,其特征在于,所述方法还包括:
    响应于执行所述第一操作流程失败,加载最后一次的第一快照以及最后一次的第一快照之后由成功事务造成的数据更改,其中,所述数据更改根据所述新建第一重做日志得到;
    根据所述最后一次的第一快照以及所述数据更改,执行所述第一操作流程。

    9.  根据权利要求8所述的方法,其特征在于,所述响应于执行所述第一操作流程失败,加载最后一次的第一快照以及最后一次的第一快照之后由成功事务造成的数据更改包括:响应于获取具有同一时间戳的请求日志,从所述请求日志中解析初始业务量数据,合并属于同一用户的初始业务量数据,得到第一业务量数据失败,加载最后一次的第一快照和所述新建第一重做日志中最后一次记录的第一获取事务的结束标记;以及
    所述根据所述最后一次的第一快照以及所述数据更改,重新执行所述第一操作流程包括:根据所述最后一次的第一快照和所述新建第一重做日志中最后一次记录的第一获取事务的结束标记,继续获取具有同一时间戳的请求日志,从所述请求日志中解析初始业务量数据,合并属于同一用户的初始业务量数据,得到第一业务量数据,发送所述第一业务量数据至数据处理节点。

    10.  根据权利要求8所述的方法,其特征在于,所述响应于执行所述第一操作流程失败,加载最后一次的第一快照以及最后一次的第一快照之后由成功事务造成的数据更改包括:响应于所述以分钟为间隔发送所述第一业务量数据至数据处理节点失败,加载最后一次的第一快照和所述新建第一重做日志中未记录第一发送事务的结束标记的第一发送事务的开始标记;以及
    所述根据所述最后一次的第一快照以及所述数据更改,重新执行所述第一操作流程包括:根据所述最后一次的第一快照和所述新建第一重做日志中未记录第一发送事务的结束标记的第一发送事务的开始标记,重新发送所述第一业务量数据至数据处理节点。

    11.  根据权利要求1-10之一所述的方法,其特征在于,所述发送所述第二业务量数据至所述业务节点包括:
    发送所述第二业务量数据至所述业务节点,并记录第二发送事务的处理标记至预设的第二重做日志;
    其中,所述第二发送事务为发送所述第二业务量数据至数据处理节点的事务;所述第二发送事务的处理标记至少包括所述第二发送事务的开始标记和结束标记。

    12.  根据权利要求11所述的方法,所述发送所述第二业务量数据至所述业务节点,并记录第二发送事务的处理标记至预设的第二重做日志包括:
    记录第二发送事务的开始标记至预设的第二重做日志,其中,所述第二发送事务的开始标记包括发送的第二业务量数据的时间戳;
    根据所述发送的第二业务量数据的时间戳,获取第二业务量数据;
    将获取的第二业务量数据编号,形成第二消息队列;
    发送所述第二消息队列至所述业务节点;
    响应于发送所述第二消息队列失败,重试发送所述第二消息队列;
    若所述第二消息队列重试发送的次数达到第二预设重试次数或重试发送的时间达到第二预设重试时间,将从内存中获取的所述第二业务量数据合并回内存,并记录第二发送事务的异常终止标记至所述第二重做日志,其中,所述第二发送事务的异常终止标记包括发送失败的第二业务量数据的时间戳;
    响应于发送所述第二消息队列成功,更新发送所述第二消息队列的编号,并记录第二发送事务的结束标记至所述第二重做日志,其中,所述第二发送事务的结束标记包括发送成功的第二业务量数据的时间 戳和发送成功的第二业务量数据的接续编号。

    13.  根据权利要求12所述的方法,其特征在于,所述发送所述第二业务量数据至所述业务节点还包括:
    响应于所述第二业务量数据发送成功,间隔第二预定时间删除内存中发送成功的所述第二业务量数据;
    响应于将发送失败的第二业务量数据合并回内存的次数超过第二预置次数或持续发送失败的时间超过第二预置时间,触发报警提醒。

    14.  根据权利要求13所述的方法,其特征在于,所述方法还包括:
    数据处理节点间隔第二预设时间或响应于发送成功第二预设数量的所述第二业务量数据至业务节点,新建第二重做日志;
    响应于新建第二重做日志完成,同时在原第二重做日志和所述新建第二重做日志中记录第二获取事务的处理标记和第二发送事务的处理标记;
    查询当前正在进行的事务的时间戳;
    生成内存中数据集的第二快照,并同时在所述原第二重做日志和所述新建第二重做日志中记录第二快照事务的开始标记,其中,所述第二快照事务的开始标记包括第二快照的检查点所存入的文件名称和正在进行中的事务的时间戳;
    将生成的第二快照存入磁盘,并同时在所述原第二重做日志和所述新建第二重做日志中记录第二快照事务的结束标记,其中,所述第二快照事务的结束标记包括第二快照的检查点所存入的文件名称;
    响应于同时在所述原第二重做日志和所述新建第二重做日志中记录第二快照事务的结束标记完成,删除所述原第二重做日志。

    15.  根据权利要求14所述的方法,其特征在于,所述根据用户信息,合并来自于不同单机节点且具有所述同一时间戳的所述第一业务量数据,得到第二业务量数据包括:
    根据用户信息,合并来自于不同单机节点且具有所述同一时间戳 的所述第一业务量数据,得到第二业务量数据,并记录第二获取事务的处理标记至所述第二重做日志;
    其中,所述第二获取事务为根据用户信息,合并来自于不同单机节点且具有所述同一时间戳的所述第一业务量数据,得到第二业务量数据的事务;所述第二获取事务的处理标记至少包括所述第二获取事务的开始标记和结束标记。

    16.  根据权利要求15所述的方法,其特征在于,所述根据用户信息,合并来自于不同单机节点且具有所述同一时间戳的所述第一业务量数据,得到第二业务量数据,并记录第二获取事务的处理标记至所述第二重做日志包括:
    记录第二获取事务的开始标记至所述第二重做日志,其中,所述第二获取事务的开始标记包括获取的第一业务量数据的时间戳;
    根据所述获取的第一业务量数据的时间戳,获取第一业务量数据;
    逐条解析所述第一业务量数据,根据所述第一业务量数据的IP地址和时间戳,判断当前解析的第一业务量数据与之前解析的第一业务量数据是否为重复数据;
    若重复,抛弃当前解析的第一业务量数据,并记录抛弃标记至所述第二重做日志,其中,所述抛弃标记包括抛弃的第一业务量数据的时间戳和抛弃的第一业务量数据的接续编号;
    若不重复,将当前解析的所述第一业务量数据合并至内存中属于同一用户的数据集中以累积第二业务量数据,并记录第二获取事务的单条合并成功标记至所述第二重做日志,其中,所述第二获取事务的单条合并成功标记包括合并成功的单条第一业务量数据的时间戳和合并成功的单条第一业务量数据的接续编号;以及
    响应于不同单机节点中具有所述同一时间戳的所述第一业务量数据全部合并完成或合并第一业务量数据的时间达到预置的合并时间,记录第二获取事务的结束标记至所述第二重做日志,所述第二获取事务的结束标记包括获取的第一业务量数据的时间戳和获取的最后一条第一业务量数据的接续编号。

    17.  根据权利要求16所述的方法,其特征在于,所述方法还包括:
    响应于执行第二操作流程失败,加载最后一次的第二快照以及最后一次的第二快照之后由成功事务造成的数据更改;
    根据所述最后一次的第二快照以及最后一次的第二快照之后由成功事务造成的数据更改,重新执行所述第二操作流程。

    18.  根据权利要求17所述的方法,其特征在于,所述响应于执行第二操作流程失败,加载最后一次的第二快照以及最后一次的第二快照之后由成功事务造成的数据更改包括:响应于根据用户信息,合并来自于不同单机节点且具有所述同一时间戳的所述第一业务量数据,得到第二业务量数据失败,加载最后一次的第二快照和所述新建第二重做日志中最后一次记录的第二获取事务的结束标记;以及
    所述根据所述最后一次的第二快照以及最后一次的第二快照之后由成功事务造成的数据更改,重新执行所述第二操作流程包括:根据所述最后一次的第二快照和所述新建第二重做日志中最后一次记录的第二获取事务的结束标记,重新执行所述根据用户信息,合并来自于不同单机节点且具有所述同一时间戳的所述第一业务量数据,得到第二业务量数据,发送所述第二业务量数据至业务节点。

    19.  根据权利要求17所述的方法,其特征在于,所述响应于执行第二操作流程失败,加载最后一次的第二快照以及最后一次的第二快照之后由成功事务造成的数据更改包括:响应于发送所述第二业务量数据至业务节点失败,加载最后一次的第二快照和所述新建第二重做日志中未记录第二发送事务的结束标记的第二发送事务的开始标记;以及
    所述根据所述最后一次的第二快照以及最后一次的第二快照之后由成功事务造成的数据更改,重新执行所述第二操作流程包括:根据所述最后一次的第二快照和所述新建第二重做日志中未记录第二发送事务的结束标记的第二发送事务的开始标记,重试发送所述第二业务 量数据至业务节点。

    20.  一种分析用户业务量的系统,其特征在于,所述系统包括:
    单机节点,用于以分钟为间隔进行以下操作:获取具有同一时间戳的请求日志,从所述请求日志中解析初始业务量数据,合并属于同一用户的初始业务量数据,得到第一业务量数据,发送所述第一业务量数据至数据处理节点,其中,所述请求日志用于记录用户的业务量请求,所述时间戳的格式为年月日时分;
    所述数据处理节点,用于以分钟为间隔进行以下操作:根据用户信息,合并来自于不同单机节点且具有所述同一时间戳的所述第一业务量数据,得到第二业务量数据,发送所述第二业务量数据至业务节点;
    所述业务节点,根据接收的所述第二业务量数据,分析用户业务量。

    关 键 词:
    分析 用户 业务 方法 系统
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:分析用户业务量的方法和系统.pdf
    链接地址://www.fnjpv.tw/p-6408166.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.fnjpv.tw网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 最美逆行!高速隧道突发火灾  交警三次逆行穿火线撤离400多名群众 2019-07-17
  • 《陕西省县域经济社会发展监测考评办法》解读 2019-07-17
  • 一切都是老板炒工人的鱿鱼 2019-07-14
  • 赏花不用跑远 宗角禄康开得正艳 2019-07-14
  • 车俊会见毛里求斯代总统 2019-07-14
  • 除了杨崇勇,“2亿元贪官俱乐部”至少还有这些人 2019-07-09
  • [民生热线]咸安西大街烤鸭店每天油烟扰民 区政府:已责令整改 2019-07-09
  • 海淀:得天独厚的自然条件 2019-07-09
  • 进京通行证限次数!70.9万辆本地化使用外埠号牌车或将受影响 2019-07-06
  • 6月14日凤凰直通车:茅台再开市场化招聘大门,32个部门要285人葡萄 种植 2019-07-05
  • 东京湾产业转型启示录 2019-07-05
  • 中国三星获第十二届人民企业社会责任奖年度扶贫奖 2019-06-30
  • 一个语文基础都没有的人就喜欢指手画脚, 2019-06-30
  • 匹夫有责之一百一十二—道义大义的博客—强国博客—人民网 2019-06-25
  • 原来端午节也可以过得很“文艺” 2019-06-10
  • 东北麻将规矩 阿森纳球衣 云南快乐十分开奖查询 山东快乐扑克3app 湖南快乐十分怎么玩的 激爆水果盘注册 中超降级 河北快三规律 地下六合彩赔率 塔什干棉农对吉达国民