职位描述
岗位职责:
1. 参与全链路数据开发,包括数据采集、数据同步、数据清洗与标准化、数据模型设计、离线和实时数据开发、数据服务化和数据治理等工作;
2. 负责多源数据(文件、mysql、DM、Oracle、API、日志、Kafka 等)接入、标准化清洗转换接入大数据平台;
3. 理解和分析业务需求,开展数据清洗、数据业务建模等工作;
4. 协助数据产品人员制定数据治理、存储、清洗等规范;
任职要求 / 岗位要求:
1. 本科及以上学历,计算机、软件工程等相关专业,3年以上大数据开发经验。
2. 熟悉主流大数据处理技术,具备丰富的分布式计算平台模型架构经验,包括Hadoop、Hive、HBASE、Spark/Flink、Kafka、Elasticsearch等大数据生态组件。
3. 熟练掌握Java/Pvthon/Scala等至少一门编程语言。
4. 精通HiveSQL,有较强的ETL能力,熟悉常见的ETL工具和大数据平台,能灵活使用。
5. 熟悉Linux系统及常规shell命令。
6. 有参与过数据集成、数据共享、数据资产、数据分析和建模工作者优先。
7. 有参与过政务大数据处理项目经验者优先。
8. 有较好的逻辑思维、沟通协调、抗压学习能力和团队合作精神。
9. 学历与工作年限要求:本科及以上学历,计算机、软件工程等相关专业,2年以上大数据开发经验: 无违法犯罪记录。