大数据开发

· 熟练使用 MySQL 数据库, 具有良好的 SQL 功底。

· 熟练使用 Java、Scala、Python 等编程语言, 具有良好的编程习惯。

· 熟练使用 Linux 操作系统, 掌握基本命令, 能够进行 Shell 脚本开发。

· 深刻理解 Hadoop 生态圈: HDFS 读写流程及高可用架构、MapReduce 运行原理和 YARN 的资源调度策略。

· 熟练使用 Hive 数仓工具, 能够使用 HiveSQL 进行复杂分析与数仓建模以及相关调优。

· 熟练使用 Kafka 消息队列, 理解其保证数据安全的机制, 能够使用与 Spark 集成的 API。

· 熟练使用 Spark 技术栈, 能够通过 SparkCore、SparkSQL、SparkStreaming、StructuredStreaming 等模块进行业务开发。

· 熟悉 HBase、ClickHouse、ElasticSearch 等 NoSQL 数据库, 理解不同框架间的区别与特性, 能够针对不同业务场景进行合理搭配。

· 熟练使用 Flume、Sqoop 等数据采集工具, Pyecharts、SuperSet、FineBI 等报表展示工具, Oozie、Azkaban 等任务流调度工具。

· 深入了解与实践包括但不限于 Flink 分布式流处理引擎、微信小程序开发、AI 文本/语音对话、Pychart 画图等技术栈且都有些许产出。

· 自学了 Oracle、MongoDB、Kibana 等关系型与非关系型数据库及框架组件。