饿了么大数据离线平台架构

来源:CIO之家  2017-11-29 09:15:58    评论:0点击:

整个平台还是在持续演进过程中,到目前为止主要经历了两个阶段,正在进行第三个阶段。

第一阶段:从0到1。基础设施的搭建,满足业务对于数据的基本需求。持续重复开发相似的需求,交付链路很长,信息流转比较乱。

第二阶段:从1到10。需求随着业务的快速发展而增加,无论基础设施还是资源消耗都发生了10倍的增加,在团队规模基本不扩张的情况下,通过基础设施稳定性/效率建设和工具链建设来提高整个团队的效率以及交付质量,同时保证系统的可扩展性。当前阶段,进行数据治理以及工具链整合,提高数据和系统的内在质量。

工具链的整合是非常重要的,现在的工具有些分散,对于用户来说存在比较高的上下文切换成本;对于开发人员来说工具间的交互损耗,一致性维护也是非常高的成本,而这些是与我们对于效率追求的初衷相违背的。

未来研究的重点我想主要是在于数据应用上,作为平台(包括数据和工具链、基础设施)来讲拥有大量用户/系统/任务等特征数据,如何能够把这些数据应用起来提高平台的使用效率,解锁平台的新姿势

延伸阅读

文档推荐 (输入数字编号即可查看)

421862186 海尔大数据技术构建和运营实践

421862176 凡普实时数据处理架构

421862167 网易大数据分析平台建设与实践

220847378 魅族大数据之流平台的实践

2232977 从企业大数据到企业AI

 

 

阅读原文

为您推荐

友情链接 |九搜汽车网 |手机ok生活信息网|ok生活信息网|ok微生活
 Powered by www.360SDN.COM   京ICP备11022651号-4 © 2012-2016 版权