数据挖掘工程师岗位的职责篇8

职责：

业务数据的收集整理和分析;

负责公安、交通领域的业务建模和算法设计;

分析项目数据需求，完成系统中数据分析模块的设计、实现和测试;

设计、构建和优化基于大数据的存储平台架构，编写相关技术文档;

设计并实现基于开源项目(Cobar，Spark等)的海量数据集成与处理平台;

为其他部门提供数据分析支撑。

任职资格：

计算机相关专业;

熟悉数据挖掘算法，对分类、聚类、时序、图等算法有很深了解;

熟练掌握Hadoop、Spark 生态系统组件(MR、HBase、Hive、ZooKeeper、Spark SQL、Spark Mlib等)，有相关大数据架构,开发成功案例;

熟练的使用、开发ETL工具经验，有数据库建模 ER建模经验优先;

有海量数据BI或数据挖掘项目实施和管理经验，对数据挖掘理论方法有一定了解者优先;

熟悉的Bash Shell和Python等脚本编程能力;

强烈的责任心和工作热情，良好的团队合作精神。