职位描述
职责描述:
1、基于Hadoop、hive等构建数据仓库平台,开发分布式计算业务; 有金融大数据平台、风控平台等设计开发经验优先。
2、搭建数据仓库开发、部署的流程,保证日常数据稳定、安全、准确;
3、为项目开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题;
4、辅助管理Hadoop集群运行,稳定提供平台服务。
任职要求:
1、本科或以上学历,计算机软件或相关专业,5年以上Java开发经验,3年以上大数据项目经验;
2、对于Java基础技术体系(包括JVM、类装载机制、多线程并发、IO、网络)有一定的掌握和应用经验;
3、对Hadoop、Hive、Hbase、Spark、Flink一种或者几种有一定的理解;熟悉基于Hadoop、Spark平台的典型算法实现,有用户画像、推荐系统、数据挖掘等实际项目经验优先;
4、熟悉Hive、mysql等和大数据ETL处理过程;
5、熟练使用Tomcat、Redis、Kafka等中间件,熟悉Linux/Unix shell 及常用命令。