岗位职责：
1.参与爬虫架构设计与开发，搭建数据采集平台，构建抓取、解析、调度、存储等模块；
2.主要根据需求描述完成数据收集、整理、清洗、标注等相关工作，为算法提供可靠数据支撑。
3.负责建设高可靠、高并发的分布式 API 系统。
4.能快速满足业务需求、实现代码需要能够在大数据量下有优异的性能和稳定性表现。
5.负责编写相关的技术文档、单元测试，对产品质量负责。
6. 熟悉Elasticsearch等开源大数据技术；
7. 熟练掌握python数据分析组件，Numpy，Pandas，Matplotlib等，有实际项目开发经验。
8. 熟练掌握并使用一种关系型数据库（MySQL）；