第4篇 etl架构师岗位职责

数据仓库架构师/etl工程师 同程艺龙 同程网络科技股份有限公司,同程旅游,同程艺龙,同程 位职责:

1、负责数据仓库数据采集、处理、存储以及挖掘分析的架构实现,负责架构设计和指导团队落地;

2、参与数据平台建设,包括环境和框架的规划搭建以及部分核心编码工作;设计并实现对bi分析、数据产品开发、算法开发的系统性支持;

3、研究未来数据模型和计算框架的创新与落地,包括但不限于以下领域:大规模数据实时化、研发模式敏捷化、数据计算框架轻量化、数据模型组织方式业务化等方面。

职位要求:

1、具备5年以上dw系统建设经验;了解数据仓库建设过程中的挑战与问题,有实际架构设计和数据建模经验,有作为技术负责人系统化解决问题的成功案例;

2、有dw/bi架构体系中某些领域的专项建设经验,包括但不限于:数据质量、元数据管理、主数据管理、数据监控、流计算、分布式计算、分布式文件系统、分布式存储、大规模数据实时化、跨平台资源调度;

3、熟悉hadoop生态圈,包括但不限于:hadoop、hive、storm、spark、dremel、kylin等;

4、有海量数据建模实践经验优先。