技能要求：
1、精通Java、Scala、Python等至少一种编程语言，并具备丰富的编程实践经验。
2、深入理解Hadoop、Spark等大数据处理框架的内部机制和工作原理，能够熟练进行框架的搭建、配置和优化。
3、熟练掌握Hive、Pig等大数据处理工具，能够高效地编写和处理大规模数据集的SQL查询和脚本。
4、熟悉数据仓库和数据集市的设计原理，能够独立完成数据建模和数据仓库的搭建工作。
5、具备丰富的数据清洗、转换和整合经验，能够处理复杂的数据质量问题。
6、对数据挖掘和机器学习算法有深入的理解，能够根据业务需求选择合适的算法进行建模和分析。
7、熟练掌握常见的分类、聚类、回归、预测等算法，并能够进行算法的优化和调优工作。
8、熟悉大数据平台的架构设计、部署和运维流程，能够独立完成平台的搭建和日常维护工作。
9、了解分布式系统、并行计算和存储系统的原理和实现方式，能够对大数据平台进行优化和性能调优。
10、熟练掌握Kafka、Flink等流处理工具，能够处理实时数据流并进行实时分析。
团队协作：
1、具备良好的团队合作精神和沟通能力，能够与团队成员和其他部门进行有效的协作。
2、能够参与项目的需求分析、设计、开发和测试工作，确保项目的按时交付和高质量完成。

工作职责：
1、负责大数据平台的架构设计、搭建和日常维护工作，确保平台的稳定运行和高效性能。
2、对大数据处理框架（如Hadoop、Spark等）进行选型、部署和优化，提升数据处理能力。
3、根据业务需求，进行数据的采集、清洗、转换、存储和分析工作。
4、编写和优化大数据处理脚本，提高数据处理效率和准确性。
5、根据业务需求，提供数据分析和决策支持服务。
6、编写数据分析报告和可视化展示，为业务团队提供数据参考和决策依据。