• 忻州 端午节假期旅游收入达59962万元--黄河新闻网 2019-07-22
  • 人民日报为人民,70年办报不容易,办报人付出了心血和汗水,记录了中国的发展过程,祝愿办得越来越好! 2019-07-20
  • 最美逆行!高速隧道突发火灾  交警三次逆行穿火线撤离400多名群众 2019-07-17
  • 《陕西省县域经济社会发展监测考评办法》解读 2019-07-17
  • 一切都是老板炒工人的鱿鱼 2019-07-14
  • 赏花不用跑远 宗角禄康开得正艳 2019-07-14
  • 车俊会见毛里求斯代总统 2019-07-14
  • 除了杨崇勇,“2亿元贪官俱乐部”至少还有这些人 2019-07-09
  • [民生热线]咸安西大街烤鸭店每天油烟扰民 区政府:已责令整改 2019-07-09
  • 海淀:得天独厚的自然条件 2019-07-09
  • 进京通行证限次数!70.9万辆本地化使用外埠号牌车或将受影响 2019-07-06
  • 6月14日凤凰直通车:茅台再开市场化招聘大门,32个部门要285人葡萄 种植 2019-07-05
  • 东京湾产业转型启示录 2019-07-05
  • 中国三星获第十二届人民企业社会责任奖年度扶贫奖 2019-06-30
  • 一个语文基础都没有的人就喜欢指手画脚, 2019-06-30
    • / 14
    • 下载费用:20 金币  

    广西11选5历史号码: 一种ETL调度的实现方法及装置.pdf

    摘要
    申请专利号:

    广西11选5大小走势图 www.fnjpv.tw CN201510001683.7

    申请日:

    2015.01.04

    公开号:

    CN105824809A

    公开日:

    2016.08.03

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):G06F 17/30申请日:20150104|||公开
    IPC分类号: G06F17/30; G06F9/48 主分类号: G06F17/30
    申请人: 中国移动通信集团河北有限公司
    发明人: 李秀清; 赵景科; 侯晓冲; 高梦娇
    地址: 050021 河北省石家庄市东风路136号
    优先权:
    专利代理机构: 北京派特恩知识产权代理有限公司 11270 代理人: 白瑞强;姚开丽
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201510001683.7

    授权公告号:

    |||

    法律状态公告日:

    2016.08.31|||2016.08.03

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本发明实施例公开了一种ETL调度的实现方法及装置;其中,所述方法包括:建立待执行任务的依赖关系,基于所述依赖关系获得所述待执行任务的第一参数;所述第一参数用于表征所述待执行任务的后续总任务的计算量;获得所述待执行任务的第二参数,所述第二参数用于表征所述待执行任务的紧急程度;基于所述第一参数和所述第二参数按第一预设规则生成第三参数;确定满足第一预设条件且所述第三参数最大时,执行最大的第三参数对应的任务。

    权利要求书

    1.一种数据抽取、转换和加载ETL调度的实现方法,其特征在于,所述
    方法包括:
    建立待执行任务的依赖关系,基于所述依赖关系获得所述待执行任务的第
    一参数;所述第一参数用于表征所述待执行任务的后续总任务的计算量;
    获得所述待执行任务的第二参数,所述第二参数用于表征所述待执行任务
    的紧急程度;
    基于所述第一参数和所述第二参数按第一预设规则生成第三参数;
    确定满足第一预设条件且所述第三参数最大时,执行最大的第三参数对应
    的任务。
    2.根据权利要求1所述的方法,其特征在于,所述第一参数表征所述待执
    行任务后续链路任务的计算量总和;
    所述第一参数满足表达式为:∑∑P(Ti,Tj)tj{i≠j,i,j∈(1,2,3,...,n)};
    其中,∑P(Ti,Tj)tj{i≠j,i,j∈(1,2,3,...,n)}为所述待执行任务的后续链路任务的
    计算量;P(Ti,Tj)=1表示任务n依赖任务m,仅当任务m完成后任务n才能开
    始运行;P(Ti,Tj)=0表示任务n不依赖任务m;tj为任务j的历史运行时间的平
    均值;
    所述第二参数满足表达式为:
    其中,tnow为当前时间,tse为所述任务最迟起始执行时间。
    3.根据权利要求2所述的方法,其特征在于,所述基于所述第一参数和所
    述第二参数按第一预设规则生成第三参数;包括:
    所述第三参数Staskn满足表达式为:
    Stask n = a tse - t now + bΣΣP ( T i , T j ) t j { i j , i , j ( 1,2,3 , . . . , n ) } ; ]]>
    其中,a和b为预设调节系数。
    4.根据权利要求1所述的方法,其特征在于,所述满足第一预设条件,包
    括:
    当前已运行的任务量与待运行的任务量的总和小于预设任务运行量;
    和,当运行所述待执行任务后,所有任务占用的输入输出I/O带宽小于允
    许占用的I/O带宽的极限值;
    和,当运行所述待执行任务后,所有任务需占用的中央处理器CPU的使用
    率小于100%。
    5.根据权利要求2所述的方法,其特征在于,所述任务最迟起始执行时间
    tse满足表达式为:
    tsen=ten-tn;
    其中,ten表示任务n要求完成的最终时间;Tn表示任务n的历史运行时间
    的平均值;
    其中,所述表示任务n要求完成的最终时间ten满足表达式为:
    ten=Max(∑P(Ti,Tj)tj{i≠j,i,j∈(1,2,3,...,n)})。
    6.根据权利要求1所述的方法,其特征在于,所述执行最大的第三参数对
    应的任务之前,所述方法还包括:判断当前时间是否晚于所述最大的第三参数
    对应的任务的最早执行时间;确定所述当前时间晚于所述最大的第三参数对应
    的任务的最早执行时间时,执行所述最大的第三参数对应的任务。
    7.一种ETL调度的实现装置,其特征在于,所述装置包括:建立单元、
    第一获取单元、第二获取单元、生成单元和执行单元;其中,
    所述建立单元,用于建立待执行任务的依赖关系;
    所述第一获取单元,用于基于所述建立单元建立的所述依赖关系获得所述
    待执行任务的第一参数;所述第一参数用于表征所述待执行任务的后续总任务
    的计算量;
    所述第二获取单元,用于获得所述待执行任务的第二参数,所述第二参数
    用于表征所述待执行任务的紧急程度;
    所述生成单元,用于基于所述第一获取单元获得的所述第一参数和所述第
    二获取单元获取的所述第二参数按第一预设规则生成第三参数;
    所述执行单元,用于确定满足第一预设条件且所述生成单元生成的所述第
    三参数最大时,执行最大的第三参数对应的任务。
    8.根据权利要求7所述的装置,其特征在于,所述第一获取单元获取的所
    述第一参数表征所述待执行任务后续链路任务的计算量总和;
    所述第一参数满足表达式为:∑∑P(Ti,Tj)tj{i≠j,i,j∈(1,2,3,...,n)};
    其中,∑P(Ti,Tj)tj{i≠j,i,j∈(1,2,3,...,n)}为所述待执行任务的后续链路任务的
    计算量;P(Ti,Tj)=1表示任务n依赖任务m,仅当任务m完成后任务n才能开
    始运行;P(Ti,Tj)=0表示任务n不依赖任务m;tj为任务j的历史运行时间的平
    均值;
    所述第二获取单元获取的所述第二参数满足表达式为:
    其中,tnow为当前时间,tse为所述任务最迟起始执行时间。
    9.根据权利要求8所述的装置,其特征在于,所述生成单元生成的所述第
    三参数Staskn满足表达式为:
    Stask n = a tse - t now + bΣΣP ( T i , T j ) t j { i j , i , j ( 1,2,3 , . . . , n ) } ; ]]>
    其中,a和b为预设调节系数。
    10.根据权利要求7所述的装置,其特征在于,所述执行单元,用于确定
    当前已运行的任务量与待运行的任务量的总和小于预设任务运行量;和,当运
    行所述待执行任务后,所有任务占用的输入输出I/O带宽小于允许占用的I/O
    带宽的极限值;和,当运行所述待执行任务后,所有任务需占用的中央处理器
    CPU的使用率小于100%时,且所述生成单元生成的所述第三参数最大时,执
    行最大的第三参数对应的任务。
    11.根据权利要求8所述的装置,其特征在于,所述任务最迟起始执行时
    间tse满足表达式为:
    tsen=ten-tn;
    其中,ten表示任务n要求完成的最终时间;Tn表示任务n的历史运行时间
    的平均值;
    其中,所述表示任务n要求完成的最终时间ten满足表达式为:
    ten=Max(∑P(Ti,Tj)tj{i≠j,i,j∈(1,2,3,...,n)})。
    12.根据权利要求7所述的装置,其特征在于,所述执行单元,还用于执
    行最大的第三参数对应的任务之前,判断当前时间是否晚于所述最大的第三参
    数对应的任务的最早执行时间;确定所述当前时间晚于所述最大的第三参数对
    应的任务的最早执行时间时,执行所述最大的第三参数对应的任务。

    关 键 词:
    一种 ETL 调度 实现 方法 装置
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:一种ETL调度的实现方法及装置.pdf
    链接地址://www.fnjpv.tw/p-6299464.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.fnjpv.tw网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 忻州 端午节假期旅游收入达59962万元--黄河新闻网 2019-07-22
  • 人民日报为人民,70年办报不容易,办报人付出了心血和汗水,记录了中国的发展过程,祝愿办得越来越好! 2019-07-20
  • 最美逆行!高速隧道突发火灾  交警三次逆行穿火线撤离400多名群众 2019-07-17
  • 《陕西省县域经济社会发展监测考评办法》解读 2019-07-17
  • 一切都是老板炒工人的鱿鱼 2019-07-14
  • 赏花不用跑远 宗角禄康开得正艳 2019-07-14
  • 车俊会见毛里求斯代总统 2019-07-14
  • 除了杨崇勇,“2亿元贪官俱乐部”至少还有这些人 2019-07-09
  • [民生热线]咸安西大街烤鸭店每天油烟扰民 区政府:已责令整改 2019-07-09
  • 海淀:得天独厚的自然条件 2019-07-09
  • 进京通行证限次数!70.9万辆本地化使用外埠号牌车或将受影响 2019-07-06
  • 6月14日凤凰直通车:茅台再开市场化招聘大门,32个部门要285人葡萄 种植 2019-07-05
  • 东京湾产业转型启示录 2019-07-05
  • 中国三星获第十二届人民企业社会责任奖年度扶贫奖 2019-06-30
  • 一个语文基础都没有的人就喜欢指手画脚, 2019-06-30
  • ac米兰桑普多利亚 上海快三漏 30选5中了多少钱 千炮捕鱼炮台排名 埃尔切对皇家社会 华丽摇滚援彩金 辽宁快乐12预测 qq游戏南昌麻将下载 杰尼斯 上海快三开奖情况