360SDN.COM

开源大数据工具:Luigi

来源:  2016-04-25 13:58:18    评论:0点击:

luigi.png
Luigi 是一个 Python 模块,可以帮你构建复杂的批量作业管道。它可以处理解决依赖关系,工作流管理,可视化,处理故障,命令行的整合,等等。Luigi 的目的是要解决所有通常与长时间运行的批处理过程相关的管道。长时间运行的东西像Hadoop作业,dumping数据到/从数据库,运行机器学习算法,或其他任何东西。

开源大数据工具:Luigi

 

项目主页:http://www.open-open.com/lib/view/home/1413337781090

为您推荐

友情链接 |九搜汽车网 |手机ok生活信息网|ok生活信息网|ok微生活
 Powered by www.360SDN.COM   京ICP备11022651号-4 © 2012-2016 版权