未来3至5年,中国需要150万左右的大数据人才,目前大数据从业人数不足50万,市场需求远远得不到满足
2018年大数据行业起薪突破20万每年,高出互联网普通技术开发人员134%,且招聘人数扩大为2017年7.8倍
前有万达集团60万年薪聘请大数据人才,后有大数据专业毕业生20w年薪就职,大数据人才“重金难觅”
1、数据工程师主要工作在后端。持续的提升数据管道来保证数据的准确和可获取。他们一般利用不同的工具来保证数据被正确的处理了,并且当用户要使用数据的时候保证数据是可用的。一个好的的数据工程师会为组织节省很多的时间和精力。
2、数据工程师需要建设和优化系统。这些系统帮助数据科学家和数据分析师开展他们的工作。每一个公司里面和数据打交道的人都需要依赖于这些数据是准确的和可获取的。数据工程师保证任何数据都是正常可接收的,可转换的,可存储的并且对于使用者来说是可获取的。
大数据开发工程师,无经验要求、无学历要求,月薪1w+
大数据构架师,1年工作经验、大专学历,月薪1.5w+
大数据算法工程师,有项目经验、大专学历,月薪2w+
Hadoop开发工程师,1年项目开发经验,月薪:2.5w+
课程 | 章节 | 时间 |
---|---|---|
Linux系统 |
Linux-操作系统介绍 Linux-操作系统安装 Linux-基本命令使用 Linux-文件权限设置 Linux-重定向和管道 Linux-文件权限及设置命令 Linux-系统查住 Linux-文编编辑器vi操作 Linux-进程管理与作业控制 Linux-shell脚本编程 Linux-yum安装软件 Linux-rpm安装软件 Linux-源程序代码安装 Linux-用户管理 Linux-密码管理及用户切换 Linux-fdisk分区 Linux-EXT文件系统 Linux-挂载操作mount详细使用 Linux-LVM基本使用 Linux-网络基本配置 Linux-网络测试和测试工具 Linux-启动引导器和单用户模式 Linux-管理守护进程 Linux-时间同步 Linux-周期性计划任务 Linux-iptables防火墙基本语法介绍 Linux-iptables防火墙策略及配置文件 Linux-iptables防火墙匹配条件及运行案例 Linux-Apache服务器概述及安装 Linux-Apache服务器配置文件讲解及虚拟目录映射 Linux-Apache服务器配置用户认证统一登录 Linux-Apache服务器创建和配置虚拟主机 Linux-MySQL数据库服务器安装配置 Linux-MySQL数据库服务器主从复制 Linux-vsftpd服务器安装配置 Linux-NFS网络文件服务器安装配置 专题1:Linux.负载均衡 专题2:Linux.优化 专题3:搭建互联网高并发、高可靠的服务架构 |
14天 |
hadoop离线计算系统 |
hadoop快速入门 hive基本介绍、使用 数据仓库基础 web点击流日志数据挖掘的需求分析、数据来源、处理流程、数据分析结果导出、数据展现 hadoop数据分析系统集群搭建 HIVE的配置安装、HIVE启动、HIVE使用测试 HDFS的概念和特性 HDFS的shell操作 HDFS的工作机制 HDFS的java应用开发 MAPREDUCE快速上手 MAPREDUCE程序的运行机制 HIVE基本概念及操作 HIVE高级应用 数据仓库增强 离线辅助系统-数据采集系统 离线辅助系统-任务调度系统 数据导出SQOOP web点击流日志分析系统实战项目 |
12天 |
Storm实时计算部分 |
流式计算介绍 zookeeper集群搭建 Storm基础及原理 Storm集群搭建 Storm项目maven环境搭建 Kafka快速入门 Storm结合Kafka编程API Kafka负载均衡 Kafka消息存储原理 流量日志分析系统 日志监控告警系统 电商实时交易风控系统 |
12天 |
Spark内存计算 |
scala入门 scala的函数式编程 scala的面向对象编程 scala的高级基础一 scala的高级基础二 spark部署 spark编程模型 spark运行框架 spark SQL原理实践 spark Streaming原理和实践 Spark机器学习入门 Graphx入门 项目实战:游戏各数据指标分析 |
12天 |
大数据开启了一次重大的时代转型大数据正在改变我们的生活,工作甚至是我们的思维;越来越多的行业对大数据应用持比较乐观的态度,越来越多的用户在初步尝试或者在考虑怎么样使用类似大数据解决方案,来提升自己的业务水平,这仅仅是一个开始,大数据对于我们的生活,以及与世界交流方式都提出了挑战,随着数据化的逐步推进,大数据将成为成本领先,差异化,集中化三大传统企业竞争战略之后,企业可以选择的第四种战略;惊人的是,社会需要放弃他对因果关系的渴求,而只关注相关关系,就是只知其然,不用知其所以然,这就推翻了自古以来的惯例,使我们做决定和理解现实的基本方式也将受到挑战,改变了我们决策的分析过程,对传统决策产生了极其重大的影响。