大数据工程师
10k
大数据 分析师
20k
大数据 架构师
30k
大数据 科学家
50k
Java+大数据：“数据是新的石油”——亚马逊前任首席科学家Andreas Weigend。
大数据时代带来了身价不断翻番的各种数据。由于急速拓展的网络带宽以及各种穿戴设备所带来的大量数据，数据的增长从未停歇，甚至呈井喷式增长。
对数据的获取、储存、搜索、共享、分析，乃至可视化呈现，都成为了当前重要的研究课题，当今社会大数据人才需求猛增。未来3-5年，我国大数据人才缺口超过150万。
数据分析的内存级别指的是数据量不超过集群的内存较大值。不要小看今天内存的容量，Facebook缓存在内存的Memcached中的数据高达320TB，而目前的PC服务器，内存也可以超过百GB。因此可以采用一些内存数据库，将热点数据常驻内存之中，从而取得非常快速的分析能力，非常适合实时分析业务。图1是一种实际可行的MongoDB分析架构。
|
总课时:560 大数据 |
课程内容 |
阶段项目 |
|
企业实训 88课时 |
项目实战 | 大型离线数据电商分析平台 |
| 职业素质 | ||
|
大数据平台 60课时 |
内存技术框架Spark | 电影网站数据分析平台 |
| 分布式数据库HBase | ||
| 大数据Web开发框架Hue | ||
| 大数据协作框架Sqoop | ||
| 大数据仓库Hive | ||
|
Hadoop开发 80课时 |
YARN HA架构、配置 | 直播平台日志分析 |
| 分布式协作框架Zookeeper | ||
| 分布式部署Hadoop | ||
| Shuffle过程、编程调优 | ||
| MapReduce编程模型 | ||
| YARN架构、集群管理、应用监控 | ||
| HDFS文件系统 | ||
| 环境搭建与测试 | ||
| Hadoop生态环境概述 | ||
|
服务器端编程 168课时 |
Spring Cloud |
酒店管理系统 医院住院部管理系统 |
| Spring Boot | ||
| web前端:h5+css+es6+bootstrap+vuejs | ||
|
数据存储 32课时 |
Redis | 电影订票系统建模及实现 |
| MongoDB | ||
| MySQL | ||
|
Java基础 132课时 |
反射、数据解析 |
爬虫 画图板 |
| 多线程、Socket | ||
| IO/NIO | ||
| String、集合、泛型 | ||
| 面向对象的编程思想 | ||
| Java基本语法和编程规范 | ||
| Java开发环境 |
大数据工程师需要熟练精通至少一门编程语言。Java是一种强类型语言，拥有极高的跨平台能力，可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等，可以说Java编程语言是大数据学习的基础，它也是大数据工程师喜欢的编程工具。因此，想成为一名优秀的大数据工程师，掌握Java基础是必不可少的。另外，如果要是能同时熟悉Python、Scala开发语言就更好了。
