大数据平台架构师

到岗时间：1个月之内 婚况要求：不限婚况 岗位职责: 1、根据公司战略和业务中长期发展需求，统筹数据中台的架构设计和演进规划；
2、负责大数据中台(包括数据治理、数据建模、数据架构、数据管理、数据安全、数据运营等技术领域)组件的架构设计、技术选型、技术规格和关键特性的设计；
3、负责大数据中台组件的梳理、架构、评审、优化，推动技术沉淀，构建良好的、标准化的产品生态；
4、推动和落地数据中台架构和数据中台便捷开发框架，并负责核心模块的设计、核心功能的架构与代码模板编写，并具有独立开发与维护系统公用核心模块的能力，确保设计的技术方案、开发的代码有较高性能、质量保障、扩展性、前瞻性；
5、持续优化和把控大数据中台架构和开发框架，保证数据中台的高效、高质量、稳定运行；
6、跨部门沟通协调，沟通架构、流程，规范工作；
与各个业务和产品方深入沟通及需求分析，并负责大数据平台技术框架的选型、技术架构的设计与开发落地（包括应用架构、网络架构、数据架构、物理架构、安全架构等）；
7、主导技术难点攻关，持续提升核心系统在高并发、海量请求数下的高处理性能，解决各类潜在系统技术风险加固系统，保证系统的安全、稳定、快速运行；
8、结合客户或合作伙伴的需求，提供数据中台业务和技术层面的架构方案设计，规避技术风险，高效解决开发中出现的各种问题；
9、制定技术规范，辅导团队成员的技术，积极分享知识和经验，帮助团队和公司内技术人员成长，提升团队专业能力，具备优秀的团队管理能力，且有极佳的团队合作和沟通能力，工作积极主动，自我驱动能力强，主动思考，心态开放，思路清晰；
岗位要求: 1、计算机、数学或相关专业本科以上学历，5-10年工作经验，具有大型系统的技术架构应用架构数据架构相关的实践工作经验；
2、具有5年及以上的数据库DWBI架构体系建设、管理和开发经验，精通主流数据库原理和应用开发（如MySQL、PostgreSQL、GreenPlum、Oracle、DB2、SQL server、MongoDB、NoSQL DB、CDH、TD等），深入理解内核优化、存储引擎等，且能够独立完成相关产品的部署、测试和迁移工作；
3、熟悉数据仓库、数据集市的建模理论（如维度建模、指标体系建设等），主导或核心参与过至少2个企业级数据仓库项目或大数据处理项目的研发和落地实施（具有海量数据建模实践经验者优先）；
熟悉数仓体系和大数据处理平台相关子系统功能，如ETL、数据报表、监控、数据质量等；
具备大型数据仓库架构设计、模型设计、ETL设计和优化经验；
熟悉数据仓库项目的实施流程；
熟悉 ETL 及相关组件，熟悉数据采集治理，包括但不限于 ELK、Flume、Pentaho、kettle、Canal 等；
4、熟悉大规模系统的负载均衡、缓存、存储、数据库高可用设计及性能评估机制，使用过开源分布式文件系统、分布缓存、分布式服务、分布式锁等；
对高并发、复杂SQL以及数据库集群系统具有很强的性能瓶颈预测、故障定位和问题解决能力；
能够独立完成数据库层的架构规划、分布式设计部署、Sharding、分库分表、高可用架构；
5、具有分布式系统分析及架构设计经验，熟悉基于计算集群的软件系统架构并具有实施经验；
熟悉多种Cluster技术，善于使用开源中间件，并熟悉redis等No-SQL技术，熟悉分布式系统基础设施中常用的技术，如缓存（Memcache、Redis）、消息中间件(Rocketmq、Rabbit MQ、Active MQ、Kafka)、Zookeeper等；
熟悉分布式存储相关技术，包括但不限于 Amazon S3、Minio、fastdfs、hdfs、ceph 等；
对分布式计算原理有深入理解，并能够深入源码级别排查问题或进行改进；
6、熟悉LinuxUnix操作系统，精通至少2门编程语言（如Java、Python、Shell、Perl、Lua、Scala等），精通计算机系统IO、多线程、集合等基础框架，熟悉分布式、缓存、消息、搜索等机制，熟悉脚本编程；
7、优秀的编程能力和研发管理能力，熟悉Java语言和主流J2EE框架，至少3-5年以上Java应用开发经验，精通Core Java技术，具有多线程、 socket通信编程经验，并且独立承担过较大软件项目的架构设计；
熟悉JDBC，xml，Web Services 和设计模式；
熟悉Spring bootmvciocaop、MyBatis、iBbatis、Struts、jpa、Hibernate等开发框架及应用经验；
熟悉 TCPIP、HTTP协议等；
熟悉SSH、REST、RPC、Dubbo、SOA等技术；
有Tomcat、Nginx或WebLogic 等中间件技术产品使用经验；
8、熟悉Spring CloudIstioDubbo等微服务框架，具备2年以上微服务设计、开发经验，能在Dock、K8s环境部署和管理微服务；
熟悉Docker、Mesos、Kubernetes等容器技术并有项目实践经验；
9、对常用的数据结构、算法、设计模式有深刻理解和优良的实战应用经验；
10、掌握HadoopSparkStorm生态圈的主流技术及产品，深入了解它们的工作原理及应用场景，且至少具有23年以上Hadoop应用开发经验；
对数据流式应用有相当经验，包括但不限于 hadoop生态 Spark、Flink、kafka、Spark Streaming、Sqoop 等；
熟悉Hbase、HDFS、HiveImpala、MapReduce、Yarn、Tez、Flume、Fluentd、Spark SQL、Pig、OpenStack Swift、JStorm、Flink、Greenplum、Kylin、ElasticSearch、Kafka、Redis等组件和技术；
11、至少具有23年以上银行或金融公司数据模型设计与开发、大数据平台与应用类开发经验；
12、至少3年以上大型数据治理、数据开发和数据集成架构设计、软件开发经验，主导过大型数据集成开发工具并取得过市场商业成功；
熟悉数据质量、元数据管理、数据安全管理；
有丰富的ETL软件、数据集成开发软件（如阿里DataWorks DTboost Dataphin）设计和开发经验，熟悉企业数据架构和数据模型；
具有完整企业数据产品的架构设计和落地经验，能结合具体的业务场景，提供有竞争力的的数据产品解决方案设计；
13、精通ETL等数据接入层技术，精通数据建模和数据分层技术；
精通数据安全技术，有海量数据加密存储及传输加密等开发经验者优先；
熟悉数据湖架构，数据湖加速技术，数据湖计算及任务编排，有实际进行过存储计算分离设计开发者优先；
14、深入理解分级缓存，数据冷热交换，对数据中台，数据中间件有深入了解，包括但不限于Kafka、Zookeeper、RocketMq、apache pulsar；
15、熟悉常见的机器学习算法、了解CNNRNNLSTMGBDT等算法者优先。