• 忻州 端午节假期旅游收入达59962万元--黄河新闻网 2019-07-22
  • 人民日报为人民,70年办报不容易,办报人付出了心血和汗水,记录了中国的发展过程,祝愿办得越来越好! 2019-07-20
  • 最美逆行!高速隧道突发火灾  交警三次逆行穿火线撤离400多名群众 2019-07-17
  • 《陕西省县域经济社会发展监测考评办法》解读 2019-07-17
  • 一切都是老板炒工人的鱿鱼 2019-07-14
  • 赏花不用跑远 宗角禄康开得正艳 2019-07-14
  • 车俊会见毛里求斯代总统 2019-07-14
  • 除了杨崇勇,“2亿元贪官俱乐部”至少还有这些人 2019-07-09
  • [民生热线]咸安西大街烤鸭店每天油烟扰民 区政府:已责令整改 2019-07-09
  • 海淀:得天独厚的自然条件 2019-07-09
  • 进京通行证限次数!70.9万辆本地化使用外埠号牌车或将受影响 2019-07-06
  • 6月14日凤凰直通车:茅台再开市场化招聘大门,32个部门要285人葡萄 种植 2019-07-05
  • 东京湾产业转型启示录 2019-07-05
  • 中国三星获第十二届人民企业社会责任奖年度扶贫奖 2019-06-30
  • 一个语文基础都没有的人就喜欢指手画脚, 2019-06-30
    • / 9
    • 下载费用:20 金币  

    体彩广西11选5开奖结果查询今天: 一种基于B2B平台的实时日志采集分析方法.pdf

    摘要
    申请专利号:

    广西11选5大小走势图 www.fnjpv.tw CN201610158859.4

    申请日:

    2016.03.21

    公开号:

    CN105824744A

    公开日:

    2016.08.03

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06F 11/34申请日:20160321|||公开
    IPC分类号: G06F11/34 主分类号: G06F11/34
    申请人: 焦点科技股份有限公司
    发明人: 徐飞
    地址: 210003 江苏省南京市高新技术产业开发区星火路软件大厦A座8-12F
    优先权:
    专利代理机构: 南京瑞弘专利商标事务所(普通合伙) 32249 代理人: 陈建和
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201610158859.4

    授权公告号:

    ||||||

    法律状态公告日:

    2018.06.15|||2016.08.31|||2016.08.03

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明公开一种基于B2B平台的实时日志采集分析方法,1)将B2B平台中的访问日志、系统日志作为数据源,对数据源的数据进行实时采集,保存在寄存器中;2)通过日志解析器进行处理,按不同的格式进行解析;3)通过日志收集器进行收集日志数据;4)定义一个类型的多个子类型,被分布在集群中的多个服务器的节点上;5)通过分布式存储器缓存收集器的数据;6)通过分布式计算器处理数据;7)由分布式计算器处理结果输出至数据库,本发明提供的基于B2B平台的实时日志采集分析方法,在大数据并发实时采集、并行计算,实时分析具有显著的效果,并且在实时计算中具有明显优势。

    权利要求书

    1.一种基于B2B平台的实时日志采集分析方法,其特征是包括如下步骤:(1)将B2B平台中的访问日志、系统日志作为数据源,对数据源的数据进行实时采集,保存在寄存器中,对数据源的数据进行实时采集的方法为:对访问日志,首先进行切割,将大于512M文件自动切割成小文件、即低于512M的小文件;再对日志进行预处理;在预处理中对日志进行分类,按网站的站点类型进行分类,再进行各站点数据实时增量采集,采集之后保存在寄存器中,供下一个处理器进行处理;在预处理中需要对日志进行分类,首先监控日志文件夹下的所有文件,每一个节点只监听1024个以内文件,每一个文件在节点的都会有相应的标示,记录监听文件需要读取数据的位置,当每次文件有新的记录产生时,标示就会记录当前数据的所属位置,根据节点配置发送到不同的存储区域;(2)通过日志解析器进行处理,按不同的格式进行解析;具体解析规则为:根据时间段、日志类型、异常编码三个类型进行对日志的解析,对于日志异常信息的分析,将实际的处理方法和结果信息直接存放至寄存器中,同时将异常信息和处理方法建立对应的集合关系;(3)通过日志收集器进行收集日志数据,具体收集规则为:在集群中获取配置数据,集群机器由主机和各节点组成,按照一定的大小将文件存放于内存中,满足一定的条件之后再写入分布式存储器中或者输出至其他分析器中;(4)定义一个类型的多个子类型,被分布在集群中的多个服务器的节点上;(5)通过分布式存储器缓存收集器的数据,具体缓存规则为:分布式存储器集群包含一个或多个服务器,每条缓存到分布式存储器集群的数据根据类别不同,分布存储在各个服务器中,将这些节点服务器进行分区;同一个分区中的数据都设置一个唯一的ID号;每条数据都存在一个状态,当该数据被往下成功分发后,这条数据将不会再次处理,避免了数据被多次重复处理的现象;(6)通过分布式计算器处理数据,具体计算规则为:分布式计算器集群中有一个主控制器和多个运算节点;所有的处理任务首先提交到主控制器,由主控制器根据节点的性能进行分发任务;主控制器首先将任务提交的节点,将一个任务拆分成多个子任务,多个子任务在多个节点中进行计算,最后再进行整合;(7)由分布式计算器处理结果输出至数据库,或其他应用服务器中。2.根据权利要求要求1所述的基于B2B平台的实时日志采集分析方法,其特征是(5)中数据缓存通过若干台集群机器中的内存进行缓存数据,从而提高效率,当拥有多个数据来源和多个数据目的地时,为每一个来源和目的地配对地会自动创建一系列数据通过,保证数据的一致性;并且每一个系统获取数据和写入内存数据各一次;(3)中日志文件将会根据配置要求,保留一定的时间之后删除,通过这种方法,来释放磁盘空间,以及减少读取操作之后对文件内容改动的磁盘IO开支。3.根据权利要求要求1所述的基于B2B平台的实时日志采集分析方法,其特征是(1)中将需要保留和需要删除的数据文件分别保存在不同的路径下,如果当前数据需要删除,会将他放入到存储层面,判断放入删除层和存储层是通过当前返回的表示,如果返回状态不为成功,那么将继续保留;如果节点出现问题,会将节点上监听的日志文件夹下已经成功的日志文件自动移出,根据当前调度规则,进行重新启动;日志文件将大于512M文件数据,进行自动分割文件,把符合条件的文件或文件夹压缩归档到指定目录,归档文件格式,按系统时间已经文件类型进行归档,在判断是否归档文件夹时,检测的是文件夹的最后修改时间;所有的临时数据,被保存在内存中;在吞吐量方面提高性能,在通过一定大小之后刷入到磁盘进行临时存储,从而保证灾难性时数据不会丢失;当临时被保存在磁盘文件时,能保存容量较大的文件并且发生宕机时,数据能恢复。4.根据权利要求要求1所述的基于B2B平台的实时日志采集分析方法,其特征是(1)中日志文件定义一个类型的多个子类型,被分布在集群中的多个服务器的节点上;每个节点都负责子类型日志中数据的读写操作,还可以动态配置需要备份的个数,每个子类型数据将会被备份到多台机器上。5.根据权利要求要求1所述的基于B2B平台的实时日志采集分析方法,其特征是使用负载均衡来保持缓存与各节点数据的通讯,数据通过由类型定义的数据组直接通过网络发送到客户端,中间不经过任何路由节点,使用点对点的方式进行通讯;通过三种方式进行消息传输,1)数据一次操作,只发送一次,无论是否发送成功,将不会重发数据;此时数据游标指向下一条数据,如果在消息处理过程中出现了异常,导致部分数据未能继续往下处理,当前立即停止所有数据的发送;2)数据至少发送一次,当数据在发送时,将获取返回值再判断是否发送下一条数据;接收方接受数据,然后对数据进行处理,发送返回状态,游标进行增长;如果数据处理成功之后,在返回状态值的出现异常,那么当前游标不会指向下一条,此时将重新发送这条数据;3)数据至发送一次,如果发生异常也不会停止,将继续发送下一条数据。6.根据权利要求要求1所述的基于B2B平台的实时日志采集分析方法,其特征是写入日志集群文件操作为两种:a、当数据文件尺寸达到一定阀值时,目前配置中设置该阀值为500M,将会创建一个新的文件,当数据的条数达到阀值时将会触发数据自动写入集群操作;b、通过上一次写入文件和当前时间差值进行写入日志集群操作;定义源数据信息存储,根据元数据的变化,集群产生对应不同的动作;当数据缓存集群服务器启动后,首先会向主机写入各节点服务器信息,同时当节点和主机断开连接时,此节点信息也会被删除。

    关 键 词:
    一种 基于 B2B 平台 实时 日志 采集 分析 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:一种基于B2B平台的实时日志采集分析方法.pdf
    链接地址://www.fnjpv.tw/p-6299380.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.fnjpv.tw网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 忻州 端午节假期旅游收入达59962万元--黄河新闻网 2019-07-22
  • 人民日报为人民,70年办报不容易,办报人付出了心血和汗水,记录了中国的发展过程,祝愿办得越来越好! 2019-07-20
  • 最美逆行!高速隧道突发火灾  交警三次逆行穿火线撤离400多名群众 2019-07-17
  • 《陕西省县域经济社会发展监测考评办法》解读 2019-07-17
  • 一切都是老板炒工人的鱿鱼 2019-07-14
  • 赏花不用跑远 宗角禄康开得正艳 2019-07-14
  • 车俊会见毛里求斯代总统 2019-07-14
  • 除了杨崇勇,“2亿元贪官俱乐部”至少还有这些人 2019-07-09
  • [民生热线]咸安西大街烤鸭店每天油烟扰民 区政府:已责令整改 2019-07-09
  • 海淀:得天独厚的自然条件 2019-07-09
  • 进京通行证限次数!70.9万辆本地化使用外埠号牌车或将受影响 2019-07-06
  • 6月14日凤凰直通车:茅台再开市场化招聘大门,32个部门要285人葡萄 种植 2019-07-05
  • 东京湾产业转型启示录 2019-07-05
  • 中国三星获第十二届人民企业社会责任奖年度扶贫奖 2019-06-30
  • 一个语文基础都没有的人就喜欢指手画脚, 2019-06-30
  • 东莞虎门兴和酒店电话 2013福彩3d走势图大全 欢乐捕鱼辅助 ac米兰元老赛 进击的猿人电子游艺 江苏快三开奖 vr赛车游戏机 巴塞罗那赫塔菲 福利彩票双色球开奖结果 钻石帝国在线客服