上海米赢文化发展有限公司成立于2017年2月,由喜马拉雅FM原核心创始团队创立,是一家专业连接平台与内容创作者的的MCN内容服务公司,同时也是一家专业的内容IP孵化运营公司。
米赢文化通过最专业音频内容服务和分发体系,为全网范围的平台及优质的内容生产者服务,构建全中国最优质最有效率的音频内容服务闭环,通过分发大数据的积累筛选潜在内容IP进行多维度孵化和运营服务,将内容品牌升级打造为IP,最后实现内容品牌,内容IP,影视,游戏,社群,物联,线上线下多维度变现。
岗位要求:
1、扎实的Java、Scala语言基础,对JVM运行机制有深入了解;
2、有hadoop 和spark实际开发经验。了解大数据组件的使用限制和应用场景,如hdfs,yarn,hbase,hive,flume,kafka,zk,ES,Storm, cloudera等
3、熟悉mysql、ElasticSearch、Redis等关系型或NoSQL数据库,了解应用场景和使用限制。有实际调优经验者更佳。
以下优先考虑:
1、熟悉并行计算或者分布式计算,熟悉Spark框架,熟练掌握RDD,SQL, Streaming, MLLIB编程;
2、有深入研究过Hadoop/Spark源码者优先;
3、深入理解HDFS分布式文件系统架构;熟练掌握Hadoop/Hive/HBASE的运维和调优方法;
4、熟悉linux常用命令,有实际HDP或apache版本的hadoop部署经验者优先;
5、掌握或使用过Storm、Spark、flume、kafka等工具;
6、1-3年以上大数据相关工作经验,最好参与并成功部署过1个日均TB级的集群项目。
7、熟练掌握python
职位描述:
1、根据业务部门的需求,负责分布式数据采集、清洗等ETL的开发工作,并提供数据采集及质量汇总报告;
2、负责海量业务数据进行分布式计算的开发工作,基于业务需求进行特征处理及标签化过程开发;