实时storm协同过滤算法

⑴ 大数据技术包括哪些

大数据技术包括数据收集、数据存取、基础架构、数据处理、统计分析、数据挖掘、模型预测、结果呈现。

1、数据收集：在大数据的生命周期中，数据采集处于第一个环节。根据MapRece产生数据的应用系统分类，大数据的采集主要有4种来源：管理信息系统、Web信息系统、物理信息系统、科学实验系统。

2、数据存取：大数据的存去采用不同的技术路线，大致可以分为3类。第1类主要面对的是大规模的结构化数据。第2类主要面对的是半结构化和非结构化数据。第3类面对的是结构化和非结构化混合的大数据，

3、基础架构：云存储、分布式文件存储等。

4、数据处理：对于采集到的不同的数据集，可能存在不同的结构和模式，如文件、XML 树、关系表等，表现为数据的异构性。对多个异构的数据集，需要做进一步集成处理或整合处理，将来自不同数据集的数据收集、整理、清洗、转换后，生成到一个新的数据集，为后续查询和分析处理提供统一的数据视图。

5、统计分析：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析(最优尺度分析)、bootstrap技术等等。

6、数据挖掘：目前，还需要改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。

7、模型预测：预测模型、机器学习、建模仿真。

8、结果呈现：云计算、标签云、关系图等。

⑵ Storm与Spark，Hadoop相比是否有优势

Storm优势就在于Storm是实时的连续性的分布式的计算框架,一旦运行起来,除非你将它杀掉,否则它一直处理计算或等待计算的状态.Spark和hadoop都做不到.
当然它们各自都有其应用场景,各有各的优势.可以配合使用.
下面我转一份别人的资料,讲的很清楚.
Storm与Spark、Hadoop这三种框架，各有各的优点，每个框架都有自己的最佳应用场景。
所以，在不同的应用场景下，应该选择不同的框架。
Storm是最佳的流式计算框架，Storm由Java和Clojure写成，Storm的优点是全内存计算，所以它的定位是分布式实时计算系统，按照Storm作者的说法，Storm对于实时计算的意义类似于Hadoop对于批处理的意义。
Storm的适用场景：
1）流数据处理
Storm可以用来处理源源不断流进来的消息，处理之后将结果写入到某个存储中去。
2）分布式RPC。由于Storm的处理组件是分布式的，而且处理延迟极低，所以可以作为一个通用的分布式RPC框架来使用。
SparkSpark是一个基于内存计算的开源集群计算系统，目的是更快速的进行数据分析。Spark由加州伯克利大学AMP实验室Matei为主的小团队使用Scala开发开发，类似于Hadoop MapRece的通用并行计算框架，Spark基于Map Rece算法实现的分布式计算，拥有Hadoop MapRece所具有的优点，但不同于MapRece的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的Map Rece的算法。
Spark的适用场景：
1）多次操作特定数据集的应用场合
Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小。
2）粗粒度更新状态的应用
由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例如Web服务的存储或者是增量的Web爬虫和索引。就是对于那种增量修改的应用模型不适合。
总的来说Spark的适用面比较广泛且比较通用。
Hadoop是实现了MapRece的思想，将数据切片计算来处理大量的离线数据数据。Hadoop处理的数据必须是已经存放在HDFS上或者类似HBase的数据库中，所以Hadoop实现的时候是通过移动计算到这些存放数据的机器上来提高效率。
Hadoop的适用场景：
1）海量数据的离线分析处理
2）大规模Web信息搜索
3）数据密集型并行计算
简单来说：
Hadoop适合于离线的批量数据处理适用于对实时性要求极低的场景
Storm适合于实时流数据处理，实时性方面做得极好
Spark是内存分布式计算框架，试图吞并Hadoop的Map-Rece批处理框架和Storm的流处理框架，但是Spark已经做得很不错了，批处理方面性能优于Map-Rece，但是流处理目前还是弱于Storm，产品仍在改进之中

⑶ Storm Spark Hadoop 这三个流行并行计算框架有什么不同

storm是实时处理，spark和hadoop是批处理，两者是互补。而spark和hadoop比较的话，spark主要是充分利用内存计算并且支持的操作而不仅是map/rece，这样有些迭代密集的算法执行效率会更高。而hadoop可能需要多个mr任务来完成。在2.0之后，hadoop使用了新的yarn框架，map/rece只是其中一种默许了，spark也可以在hadoop的yarn框架下运行的，所以2者还会是融合的。

⑷ 大数据培训内容，大数据要学哪些课程

《大数据实训课程资料》网络网盘资源免费下载

链接:https://pan..com/s/1RiGvjn2DlL5pPISCG_O0Sw

大数据实训课程资料|云计算与虚拟化课程资源|课程实验指导书综合版|机器学习与算法分析课程资源|Spark课程资源|Python课程资源|Hadoop技术课程资源|云计算课程资料.zip|微课.zip|算法建模与程序示例.zip|spark课程资源.zip|hadoop课程资源.zip|实验指导书|教学视频|教学PPT

⑸ 有了spark的streaming，还有必要学习storm吗

你再把它和hadoop比较快慢。

两个框架都用于处理大量数据的并行计算。

所以这是把过程传递给数据,metaQ、hadoop：Hadoop使用磁盘作为中间交换的介质.容错性，再小的话hdfs上会一堆小文件），而是比较的吞吐了，在于rece任务通过网络拖过去运算：
1，只需实现一个简单的Storm通信协议即可，数据直接通过网络导入内存，产生一行就通过一个传输系统发给流式计算系统。Storm保证每个消息至少能得到一次完整处理、多份复制等。二者在延时和吞吐上没太大区别。但是吞吐也低于maprece，可以在处理过程中完全模拟Storm集群，基于流，facebook的puma就是基于hadoop做的流计算系统。而maprece一般需要整个运算结束后将结果批量导入到结果集中，而storm的数据是一直在内存中流转的，目前典型的处理处理策略，尽管并非完全一样。类似于MapRece降低了并行批处理复杂性，数据库，Hadoop可以看作是纯净水.Storm为什么被称之为流式计算系统
3；而Storm是用水管、Ruby和Python，这时候，其时延必然比hadoop的通过hdfs传输低得多。

storm的网络直传，比较慢
C. 数据计算（涉及计算中的中间存储），Storm降低了进行实时处理的复杂性、内存计算.本地模式。读写内存比读写磁盘速度快n个数量级，除了积极使用内存来避免I#47，Storm之于实时处理。默认支持Clojure;O操作。你可以在Storm之上使用各种编程语言。下面对流计算和批处理系统流程

这个个数据处理流程来说大致可以分三个阶段。storm是典型的流计算系统，进行计算时。
3。
以水为例。
3，在资源充足时可以在毫秒级别完成.水平扩展，Spark基于in-memory管理可以进行快讯扫描。
5，像storm的trident也有批概念、数据压缩：
1，也省去了作业调度的时延。所以从时延上来看，假设机器特别多。
2，什么情况下使用hadoop
4。

--------------------------------------------------------------------------------------------------------------------------------
Storm的主工程师Nathan
Marz表示，一般来说storm的延时低于maprece： stom每个计算单元之间数据之间通过网络（zeromq）直接传输，其实比较的不是时延，水就源源不断地流出来了。

从原理角度来讲。

Storm 基于ZeroMQ这个高性能的消息通讯库。Storm有一个“本地模式”，tasktacker启动相关的运算进程
B。
Storm的主要特点如下， 指数据从产生到运算产生结果的时间。
而流式计算则是数据产生时，然后作业运行起来，当然也有使用消息队列的。
6：数据的产生系统一般出自页面打点和解析DB的log：Hadoop是磁盘级计算。要增加对其他语言的支持，然后再开始调度任务又花了一分钟，需要进行一些ETL操作存入一个数据库。Storm是一个分布式流计算引擎；因为storm是服务型的作业。

总结下。

--------------------------------------------------------------------------------------------------------------------------------
在消耗资源相同的情况下。

为什么storm比hadoop快，批处理一系统一般会攒一大批后批量导入到计算系统（hadoop）。
4. 吞吐： storm 进程是常驻的，下面举一个应用场景
说一个典型的场景，流计算将数据采集中消息队列（比如kafaka，Jobtracker计算任务分配、排序。

Spark工作于现有的数据全集（如Hadoop数据）已经被导入Spark集群。更棒的是你可以使用任意编程语言来做开发。每个节点实现一个基本的计算过程。

不过Spark流模块（Streaming Mole）倒是和Storm相类似（都是流计算引擎），有些map操作没有意义的

3）数据结果展现
流计算一般运算结果直接反馈到最终结果集中（展示页面。我们暂且把消息队列和文件系统称为预处理存储，效率较低，按每一分钟切一个文件的粒度来算（这个粒度已经极端的细了？

为了区别hadoop和Storm。根据Harvard CS61课件，maprece是典型的批处理系统，这样。

--------------------------------------------------------------------------------------------------------------------------------
最主要的方面。和Spark相反，每秒可以处理数以百万计的消息。这和Hadoop map#47，一个是批量处理，搜索引擎的索引）、Java。任务失败时，数据在磁盘上， 题主中的“那些方面决定”应该主要是指这个阶段处理方式，基于任务调度的，则需要先存入hdfs。每个节点存储（或缓存）它的数据集。这让你可以快速进行开发和单元测试。

同时说一下另外一个场景、Storm该选哪一个。

Shark只是一个基于Spark的查询引擎（支持ad-hoc临时性的分析查询）

而Storm的架构和Spark截然相反，而数据项在互相连接的网络节点中流进流出： 对于复杂运算
storm的运算模型直接支持DAG（有向无环图）
maprece 需要肯多个MR过程组成。

假设利用hadoop，则有一个程序去一直监控日志的产生，hadoop开始计算时。
2，而Storm是只要接收到数据就实时处理并分发，有数据就可以进行实时的处理
maprece 数据攒一批后由作业管理系统启动任务，几钞钟就算完了。

注释，这个是把数据传递给过程，流计算系统（storm）的延时低主要有一下几个方面（针对题主的问题）
A，然后任务被提交给节点。系统的设计保证了消息能得到快速的处理，1分钟已经过去了，每条数据从产生到写入数据库.hadoop。

不确定哪种方式在数据吞吐量上要具优势.简单的编程模型。

Spark流模块先汇聚批量数据然后进行数据块分发（视作不可变数据进行处理），预先接好（Topology）。Storm保证每个消息都会得到处理;R基于HDFS，使用MQ作为其底层消息队列. 延时 。所以Storm更快。
7。
2）数据计算阶段，不过Storm计算时间延迟要小：
Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算.什么是吞吐量

首先整体认识。
两者面向的领域也不完全相同，几千个日志生产方产生日志文件，然后打开水龙头，该部分将回答如下问题;rece非常相似，把它放到storm上进行流式的处理.可靠的消息处理，storm的流式处理. 数据结果展现（反馈）

1）数据采集阶段，而maprece可以将每次运算的数据集缩小（比如几分钟启动一次），流计算一般在实时的读取消息队列进入流计算系统（storm）的数据进行运算。Storm会管理工作进程和节点的故障，“快”应该主要指这个，不持久化数据，它会负责从消息源重试消息，需要切分输入数据：
1。

实际流计算和批处理系统没有本质的区别.快速. 数据采集与准备
2。

Storm在动态处理大量生成的“小数据块”上要更好（比如在Twitter数据流上实时计算一些汇聚功能或分析）,timetunle）等。

二，这里就有了延时的区别。计算是在多个线程，需要读写磁盘.hadoop适合什么场景，而Spark Steaming才和Storm类似，一桶桶地搬，然后写数据库假设也花了很少的时间，storm要快于hadoop，并最小化迭代算法的全局I#47， 指系统单位时间处理的数据量、进程和服务器之间并行进行的、Storm各是什么运算
2，当数据庞大时：
如果一个大文件的wordcount，而且它很快——在一个小集群中，磁盘访问延迟约为内存访问延迟的75000倍。批处理系统一般将数据采集进分布式文件系统（比如HDFS），就好比Hadoop之于批处理，这时，省去了批处理的收集数据的时间、产生中间数据文件，等所有已有数据处理完才让storm输出结果；当计算模型比较适合流式时，Spark和Storm设计相反。相对来说多了磁盘读写，把计算过程传递给数据要比把数据传递给计算过程要更富效率：

Hadoop M#47，接下来从这个预处理存储进入到数据计算阶段有很大的区别；Storm是内存级计算，从数据产生到最后可以使用已经过去了至少两分多钟，而后者需要自己去维护这个窗口.可以使用各种编程语言，处理完之后直接写入数据库，然后流式计算系统直接处理。
maprece map任务运算的结果要写入到HDFS：
1，前者有数据平滑窗口（sliding window），以使得迭代算法（前一步计算输出是下一步计算的输入）性能更高;O操作、高性能并行计算引擎Storm和Spark比较

Spark基于这样的理念；另外一个是实时处理一

⑹ GitHub上面有哪些经典的java框架源码

• Bazel：来自的构建工具，可以快速、可靠地构建代码。官网

• Gradle：使用Groovy（非XML）进行增量构建，可以很好地与Maven依赖管理配合工作。官网

• Buck：Facebook构建工具。官网

字节码操作

编程方式操作字节码的开发库。

• ASM：通用底层字节码操作和分析开发库。官网

• Byte Buddy：使用流式API进一步简化字节码生成。官网

• Byteman：在运行时通过DSL（规则）操作字节码进行测试和故障排除。官网

• Javassist：一个简化字节码编辑尝试。官网

集群管理

在集群内动态管理应用程序的框架。

• Apache Aurora：Apache Aurora是一个Mesos框架，用于长时间运行服务和定时任务（cron job）。官网

• Singularity：Singularity是一个Mesos框架，方便部署和操作。它支持Web Service、后台运行、调度作业和一次性任务。官网

代码分析

测量代码指标和质量工具。

• Checkstyle：代码编写规范和标准静态分析工具。官网

• Error Prone：将常见编程错误作为运行时错误报告。官网

• FindBugs：通过字节码静态分析查找隐藏bug。官网

• jQAssistant：使用基于Neo4J查询语言进行代码静态分析。官网

• PMD：对源代码分析查找不良的编程习惯。官网

• SonarQube：通过插件集成其它分析组件，对过去一段时间内的数据进行统计。官网

编译器生成工具

用来创建解析器、解释器或编译器的框架。

• ANTLR：复杂的全功能自顶向下解析框架。官网

• JavaCC：JavaCC是更加专门的轻量级工具，易于上手且支持语法超前预测。官网

外部配置工具

支持外部配置的开发库。

• config：针对JVM语言的配置库。官网

• owner：减少冗余配置属性。官网

约束满足问题求解程序

帮助解决约束满足问题的开发库。

• Choco：可直接使用的约束满足问题求解程序，使用了约束规划技术。官网

• JaCoP：为FlatZinc语言提供了一个接口，可以执行MiniZinc模型。官网

• OptaPlanner：企业规划与资源调度优化求解程序。官网

• Sat4J：逻辑代数与优化问题最先进的求解程序。官网

持续集成

• Bamboo：Atlassian解决方案，可以很好地集成Atlassian的其他产品。可以选择开源许可，也可以购买商业版。官网

• CircleCI：提供托管服务，可以免费试用。官网

• Codeship：提供托管服务，提供有限的免费模式。官网

• fabric8：容器集成平台。官网

• Go：ThoughtWork开源解决方案。官网

• Jenkins：支持基于服务器的部署服务。官网

• TeamCity：JetBrain的持续集成解决方案，有免费版。官网

• Travis：通常用作开源项目的托管服务。官网

• Buildkite: 持续集成工具，用简单的脚本就能设置pipeline，而且能快速构建，可以免费试用。官网

CSV解析

简化CSV数据读写的框架与开发库

• uniVocity-parsers：速度最快功能最全的CSV开发库之一，同时支持TSV与固定宽度记录的读写。官网

数据库

简化数据库交互的相关工具。

• Apache Phoenix：HBase针对低延时应用程序的高性能关系数据库层。官网

• Crate：实现了数据同步、分片、缩放、复制的分布式数据存储。除此之外还可以使用基于SQL的语法跨集群查询。官网

• Flyway：简单的数据库迁移工具。官网

• H2：小型SQL数据库，以可以作为内存数据库使用著称。官网

• HikariCP：高性能JDBC连接工具。官网

• JDBI：便捷的JDBC抽象。官网

• Protobuf：Google数据交换格式。官网

• SBE：简单二进制编码，是最快速的消息格式之一。官网

• Wire：整洁轻量级协议缓存。官网

帮实现依赖翻转范式的开发库。官网

• Apache DeltaSpike：CDI扩展框架。官网

• Dagger2：编译时注入框架，不需要使用反射。官网

• Guice：可以匹敌Dagger的轻量级注入框架。官网

• HK2：轻量级动态依赖注入框架。官网

开发流程增强工具

从最基本的层面增强开发流程。

• ADT4J：针对代数数据类型的JSR-269代码生成器。官网

• AspectJ：面向切面编程（AOP）的无缝扩展。官网

• Auto：源代码生成器集合。官网

• DCEVM：通过修改JVM在运行时支持对已加载的类进行无限次重定义。官网

• HotswapAgent：支持无限次重定义运行时类与资源。官网

• Immutables：类似Scala的条件类。官网

• JHipster：基于Spring Boot与AngularJS应用程序的Yeoman源代码生成器。官网

• JRebel：无需重新部署，可以即时重新加载代码与配置的商业软件。官网

• Lombok：减少冗余的代码生成器。官网

• Spring Loaded：类重载代理。官网

• vert.x：多语言事件驱动应用框架。官网

分布式应用

用来编写分布式容错应用的开发库和框架。

• Akka：用来编写分布式容错并发事件驱动应用程序的工具和运行时。官网

• Apache Storm：实时计算系统。官网

• Apache ZooKeeper：针对大型分布式系统的协调服务，支持分布式配置、同步和名称注册。官网

• Hazelcast：高可扩展内存数据网格。官网

• Hystrix：提供延迟和容错。官网

• JGroups：提供可靠的消息传递和集群创建的工具。官网

• Orbit：支持虚拟角色（Actor），在传统角色的基础上增加了另外一层抽象。官网

• Quasar：为JVM提供轻量级线程和角色。官网

分布式数据库

对应用程序而言，在分布式系统中的数据库看起来就像是只有一个数据源。

• Apache Cassandra：列式数据库，可用性高且没有单点故障。官网

• Apache HBase：针对大数据的Hadoop数据库。官网

• Druid：实时和历史OLAP数据存储，在聚集查询和近似查询方面表现不俗。官网

• Infinispan：针对缓存的高并发键值对数据存储。官网

发布

以本机格式发布应用程序的工具。

• Bintray：发布二进制文件版本控制工具。可以于Maven或Gradle一起配合使用。提供开源免费版本和几种商业收费版本。官网

• Central Repository：最大的二进制组件仓库，面向开源社区提供免费服务。Apache Maven默认使用Central官网Repository，也可以在所有其他构建工具中使用。

• IzPack：为跨平台部署建立创作工具（Authoring Tool）。官网

• JitPack：打包GitHub仓库的便捷工具。可根据需要构建Maven、Gradle项目，发布可立即使用的组件。官网

• Launch4j：将JAR包装为轻量级本机Windows可执行程序。官网

• Nexus：支持代理和缓存功能的二进制管理工具。官网

• packr：将JAR、资源和JVM打包成Windows、Linux和Mac OS X本地发布文件。官网

文档处理工具

处理Office文档的开发库。

• Apache POI：支持OOXML规范（XLSX、DOCX、PPTX）以及OLE2规范（XLS、DOC、PPT）。官网

• documents4j：使用第三方转换器进行文档格式转换，转成类似MS Word这样的格式。官网

• jOpenDocument：处理OpenDocument格式（由Sun公司提出基于XML的文档格式）。官网

函数式编程

函数式编程支持库。

• Cyclops：支持一元（Monad）操作和流操作工具类、comprehension（List语法）、模式匹配、trampoline等特性。官网

• Fugue：Guava的函数式编程扩展。官网

• Functional Java：实现了多种基础和高级编程抽象，用来辅助面向组合开发（composition-oriented development）。官网

• Javaslang：一个函数式组件库，提供持久化数据类型和函数式控制结构。官网

• jOOλ：旨在填补Java 8 lambda差距的扩展，提供了众多缺失的类型和一组丰富的顺序流API。官网

游戏开发

游戏开发框架。

• jMonkeyEngine：现代3D游戏开发引擎。官网

• libGDX：全面的跨平台高级框架。官网

• LWJGL：对OpenGL/CL/AL等技术进行抽象的健壮框架。官网

GUI

现代图形化用户界面开发库。

• JavaFX：Swing的后继者。官网

• Scene Builder：开发JavaFX应用的可视化布局工具。官网

高性能计算

涵盖了从集合到特定开发库的高性能计算相关工具。

• Agrona：高性能应用中常见的数据结构和工具方法。官网

• Disruptor：线程间消息传递开发库。官网

• fastutil：快速紧凑的特定类型集合（Collection）。官网

• GS Collections：受Smalltalk启发的集合框架。官网

• HPPC：基础类型集合。官网

• Javolution：实时和嵌入式系统的开发库。官网

• JCTools：JDK中缺失的并发工具。官网

• Koloboke：Hash set和hash map。官网

• Trove：基础类型集合。官网

• High-scale-bli:Cliff Click 个人开发的高性能并发库官网

IDE

简化开发的集成开发环境。

• Eclipse：老牌开源项目，支持多种插件和编程语言。官网

• IntelliJ IDEA：支持众多JVM语言，是安卓开发者好的选择。商业版主要针对企业客户。官网

• NetBeans：为多种技术提供集成化支持，包括Java SE、Java EE、数据库访问、HTML5

• Imgscalr：纯Java 2D实现，简单、高效、支持硬件加速的图像缩放开发库。官网

• Picasso：安卓图片下载和图片缓存开发库。官网

• Thumbnailator：Thumbnailator是一个高质量Java缩略图开发库。官网

• ZXing：支持多种格式的一维、二维条形码图片处理开发库。官网

• im4java: 基于ImageMagick或GraphicsMagick命令行的图片处理开发库，基本上ImageMagick能够支持的图片格式和处理方式都能够处理。官网

• Apache Batik：在Java应用中程序以SVG格式显示、生成及处理图像的工具集，包括SVG解析器、SVG生成器、SVG DOM等模块，可以集成使用也可以单独使用，还可以扩展自定义的SVG标签。官网

JSON

简化JSON处理的开发库。

• Genson：强大且易于使用的Java到JSON转换开发库。官网

• Gson：谷歌官方推出的JSON处理库，支持在对象与JSON之间双向序列化，性能良好且可以实时调用。官网

• Jackson：与GSON类似，在频繁使用时性能更佳。官网

• LoganSquare：基于Jackson流式API，提供对JSON解析和序列化。比GSON与Jackson组合方式效果更好。官网

• Fastjson：一个Java语言编写的高性能功能完善的JSON库。官网

• Kyro：快速、高效、自动化的Java对象序列化和克隆库。官网

JVM与JDK

目前的JVM和JDK实现。

• JDK 9：JDK 9的早期访问版本。官网

• OpenJDK：JDK开源实现。官网

基于JVM的语言

除Java外，可以用来编写JVM应用程序的编程语言。

• Scala：融合了面向对象和函数式编程思想的静态类型编程语言。官网

• Groovy：类型可选（Optionally typed）的动态语言，支持静态类型和静态编译。目前是一个Apache孵化器项目。官网

• Clojure：可看做现代版Lisp的动态类型语言。官网

• Ceylon：RedHat开发的面向对象静态类型编程语言。官网

• Kotlin：JetBrain针对JVM、安卓和浏览器提供的静态类型编程语言。官网

• Xtend：一种静态编程语言，能够将其代码转换为简洁高效的Java代码，并基于JVM运行。官网

日志

记录应用程序行为日志的开发库。

• Apache Log4j 2：使用强大的插件和配置架构进行完全重写。官网

• kibana：分析及可视化日志文件。官网

• Logback：强健的日期开发库，通过Groovy提供很多有趣的选项。官网

• logstash：日志文件管理工具。官网

• Metrics：通过JMX或HTTP发布参数，并且支持存储到数据库。官网

• SLF4J：日志抽象层，需要与具体的实现配合使用。官网

机器学习

提供具体统计算法的工具。其算法可从数据中学习。

• Apache Flink：快速、可靠的大规模数据处理引擎。官网

• Apache Hadoop：在商用硬件集群上用来进行大规模数据存储的开源软件框架。官网

• Apache Mahout：专注协同过滤、聚类和分类的可扩展算法。官网

• Apache Spark：开源数据分析集群计算框架。官网

• DeepDive：从非结构化数据建立结构化信息并集成到已有数据库的工具。官网

• Deeplearning4j：分布式多线程深度学习开发库。官网

• H2O：用作大数据统计的分析引擎。官网

• Weka：用作数据挖掘的算法集合，包括从预处理到可视化的各个层次。官网

• QuickML：高效机器学习库。官网、GitHub

消息传递

在客户端之间进行消息传递，确保协议独立性的工具。

• Aeron：高效可扩展的单播、多播消息传递工具。官网

• Apache ActiveMQ：实现JMS的开源消息代理（broker），可将同步通讯转为异步通讯。官网

• Apache Camel：通过企业级整合模式（Enterprise Integration Pattern EIP）将不同的消息传输API整合在一起。官网

• Apache Kafka：高吞吐量分布式消息系统。官网

• Hermes：快速、可靠的消息代理（Broker），基于Kafka构建。官网

• JBoss HornetQ：清晰、准确、模块化，可以方便嵌入的消息工具。官网

• JeroMQ：ZeroMQ的纯Java实现。官网

• Smack：跨平台XMPP客户端函数库。官网

• Openfire：是开源的、基于XMPP、采用Java编程语言开发的实时协作服务器。 Openfire安装和使用都非常简单，并可利用Web界面进行管理。官网GitHub

• Spark：是一个开源，跨平台IM客户端。它的特性支持集组聊天，电话集成和强大安全性能。如果企业内部部署IM使用Openfire+Spark是最佳的组合。官网GitHub

• Tigase： 是一个轻量级的可伸缩的 Jabber/XMPP 服务器。无需其他第三方库支持，可以处理非常高的复杂和大量的用户数，可以根据需要进行水平扩展。官网

杂项

未分类其它资源。

• Design Patterns：实现并解释了最常见的设计模式。官网

• Jimfs：内存文件系统。官网

• Lanterna：类似curses的简单console文本GUI函数库。官网

• LightAdmin：可插入式CRUD UI函数库，可用来快速应用开发。官网

• OpenRefine：用来处理混乱数据的工具，包括清理、转换、使用Web Service进行扩展并将其关联到数据库。官网

• RoboVM：Java编写原生iOS应用。官网

• Quartz：强大的任务调度库.官网

应用监控工具

监控生产环境中应用程序的工具。

• AppDynamics：性能监测商业工具。官网

• JavaMelody：性能监测和分析工具。官网

• Kamon：Kamon用来监测在JVM上运行的应用程序。官网

• New Relic：性能监测商业工具。官网

• SPM：支持对JVM应用程序进行分布式事务追踪的性能监测商业工具。官网

• Takipi：产品运行时错误监测及调试商业工具。官网

原生开发库

用来进行特定平台开发的原生开发库。

• JNA：不使用JNI就可以使用原生开发库。此外，还为常见系统函数提供了接口。官网

自然语言处理

用来专门处理文本的函数库。

• Apache OpenNLP：处理类似分词等常见任务的工具。官网

• CoreNLP：斯坦佛CoreNLP提供了一组基础工具，可以处理类似标签、实体名识别和情感分析这样的任务。官网

• LingPipe：一组可以处理各种任务的工具集，支持POS标签、情感分析等。官网

• Mallet：统计学自然语言处理、文档分类、聚类、主题建模等。官网

网络

网络编程函数库。

• Async Http Client：异步HTTP和WebSocket客户端函数库。官网

• Grizzly：NIO框架，在Glassfish中作为网络层使用。官网

• Netty：构建高性能网络应用程序开发框架。官网

• OkHttp：一个Android和Java应用的HTTP+SPDY客户端。官网

• Undertow：基于NIO实现了阻塞和非阻塞API的Web服务器，在WildFly中作为网络层使用。官网

ORM

处理对象持久化的API。

• Ebean：支持快速数据访问和编码的ORM框架。官网

• EclipseLink：支持许多持久化标准，JPA、JAXB、JCA和SDO。官网

• Hibernate：广泛使用、强健的持久化框架。Hibernate的技术社区非常活跃。官网

• MyBatis：带有存储过程或者SQL语句的耦合对象（Couples object）。官网

• OrmLite：轻量级开发包，免除了其它ORM产品中的复杂性和开销。官网

• Nutz：另一个SSH。官网，Github

• JFinal：JAVA WEB + ORM框架。官网，Github

PDF

用来帮助创建PDF文件的资源。

• Apache FOP：从XSL-FO创建PDF。官网

• Apache PDFBox：用来创建和操作PDF的工具集。官网

• DynamicReports：JasperReports的精简版。官网

• flyingsaucer：XML/XHTML和CSS 2.1渲染器。官网

• iText：一个易于使用的PDF函数库，用来编程创建PDF文件。注意，用于商业用途时需要许可证。官网

• JasperReports：一个复杂的报表引擎。官网

性能分析

性能分析、性能剖析及基准测试工具。

• jHiccup：提供平台中JVM暂停的日志和记录。官网

• JMH：JVM基准测试工具。官网

• JProfiler：商业分析器。官网

• LatencyUtils：测量和报告延迟的工具。官网

• VisualVM：对运行中的应用程序信息提供了可视化界面。官网

• YourKit Java Profiler：商业分析器。官网

响应式开发库

用来开发响应式应用程序的开发库。

• Reactive Streams：异步流处理标准，支持非阻塞式反向压力（backpressure）。官网

• Reactor：构建响应式快速数据（fast-data）应用程序的开发库。官网

• RxJava：通过JVM可观察序列（observable sequence）构建异步和基于事件的程序。官网

REST框架

用来创建RESTful 服务的框架。

• Dropwizard：偏向于自己使用的Web框架。用来构建Web应用程序，使用了Jetty、Jackson、Jersey和Metrics。官网

• Feign：受Retrofit、JAXRS-2.0和WebSocket启发的HTTP客户端连接器（binder）。官网

• Jersey：JAX-RS参考实现。官网

• RESTEasy：经过JAX-RS规范完全认证的可移植实现。官网

• RestExpress：一个Java类型安全的REST客户端。官网

• RestX：基于注解处理和编译时源码生成的框架。官网

• Retrofit：类型安全的REST客户端。官网

• Spark：受到Sinatra启发的Java REST框架。官网

• Swagger：Swagger是一个规范且完整的框架，提供描述、生产、消费和可视化RESTful Web Service。官网

• Blade：国人开发的一个轻量级的MVC框架. 它拥有简洁的代码，优雅的设计。官网

科学计算与分析

用于科学计算和分析的函数库。

• DataMelt：用于科学计算、数据分析及数据可视化的开发环境。官网

• JGraphT：支持数学图论对象和算法的图形库。官网

• JScience：用来进行科学测量和单位的一组类。官网

搜索引擎

文档索引引擎，用于搜索和分析。

• Apache Solr：一个完全的企业搜索引擎。为高吞吐量通信进行了优化。官网

• Elasticsearch：一个分布式、支持多租户（multitenant）全文本搜索引擎。提供了RESTful Web接口和无schema的JSON文档。官网

• Apache Lucene：是一个开放源代码的全文检索引擎工具包，是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。官网

安全

用于处理安全、认证、授权或会话管理的函数库。

• Apache Shiro：执行认证、授权、加密和会话管理。官网

• Bouncy Castle，涵盖了从基础的帮助函数到PGP/SMIME操作。官网：多途加密开发库。支持JCA提供者（JCA provider)

• Cryptomator：在云上进行客户端跨平台透明加密。官网

• Keycloak：为浏览器应用和RESTful Web Service集成SSO和IDM。目前还处于beta版本，但是看起来非常有前途。官网

• PicketLink：PicketLink是一个针对Java应用进行安全和身份认证管理的大型项目（Umbrella Project）。官网

序列化

用来高效处理序列化的函数库。

• FlatBuffers：高效利用内存的序列化函数库，无需解包和解析即可高效访问序列化数据。官网

• Kryo：快速、高效的对象图形序列化框架。官网

• FST：提供兼容JDK的高性能对象图形序列化。官网

• MessagePack：一种高效的二进制序列化格式。官网

应用服务器

用来部署应用程序的服务器。

• Apache Tomcat：针对Servlet和JSP的应用服务器，健壮性好且适用性强。官网

• Apache TomEE：Tomcat加Java EE。官网

• Jetty：轻量级、小巧的应用服务器，通常会嵌入到项目中。官网

• WebSphere Liberty：轻量级、模块化应用服务器，由IBM开发。官网

• WildFly：之前被称作JBoss，由Red Hat开发。支持很多Java EE功能。官网

模板引擎

在模板中替换表达式的工具。

• Apache Velocity：提供HTML页面模板、email模板和通用开源代码生成器模板。官网

• FreeMarker：通用模板引擎，不需要任何重量级或自己使用的依赖关系。官网

• Handlebars.java：使用Java编写的模板引擎，逻辑简单，支持语义扩展（semantic Mustache）。官网

• Thymeleaf：旨在替换JSP，支持XML文件的工具。官网

测试

测试内容从对象到接口，涵盖性能测试和基准测试工具。

• Apache JMeter：功能性测试和性能评测。官网

• Arquillian：集成测试和功能行测试平台，集成Java EE容器。官网

• AssertJ：支持流式断言提高测试的可读性。官网

• Awaitility：用来同步异步操作的DSL。官网

• Cucumber：BDD测试框架。官网

• Gatling：设计为易于使用、可维护的和高性能负载测试工具。官网

• Hamcrest：可用来灵活创建意图（intent）表达式的匹配器。官网

• JMockit：用来模拟静态、final方法等。官网

• JUnit：通用测试框架。官网

• Mockito：在自动化单元测试中创建测试对象，为TDD或BDD提供支持。官网

• PowerMock： 支持模拟静态方法、构造函数、final类和方法、私有方法以及移除静态初始化器的模拟工具。官网

• REST Assured：为REST/HTTP服务提供方便测试的Java DSL。官网

• Selenide：为Selenium提供精准的周边API，用来编写稳定且可读的UI测试。官网

• Selenium：为Web应用程序提供可移植软件测试框架。官网

• Spock：JUnit-compatible framework featuring an expressive Groovy-derived specification language.官网兼容JUnit框架，支持衍生的Groovy范的语言。

• TestNG：测试框架。官网

• Truth：Google的断言和命题（proposition）框架。官网

• Unitils：模块化测试函数库，支持单元测试和集成测试。官网

• WireMock：Web Service测试桩（Stub）和模拟函数。官网

通用工具库

通用工具类函数库。

• Apache Commons：提供各种用途的函数，比如配置、验证、集合、文件上传或XML处理等。官网

• args4j：命令行参数解析器。官网

• CRaSH：为运行进行提供CLI。官网

• Gephi：可视化跨平台网络图形化操作程序。官网

• Guava：集合、缓存、支持基本类型、并发函数库、通用注解、字符串处理、I/O等。官网

• JADE：构建、调试多租户系统的框架和环境。官网

• javatuples：正如名字表示的那样，提供tuple支持。尽管目前tuple的概念还有留有争议。官网

• JCommander：命令行参数解析器。官网

• Protégé：提供存在论（ontology）编辑器以及构建知识系统的框架。官网

网络爬虫

用于分析网站内容的函数库。

• Apache Nutch：可用于生产环境的高度可扩展、可伸缩的网络爬虫。官网

• Crawler4j：简单的轻量级网络爬虫。官网

• JSoup：刮取、解析、操作和清理HTML。官网

Web框架

用于处理Web应用程序不同层次间通讯的框架。

• Apache Tapestry：基于组件的框架，使用Java创建动态、强健的、高度可扩展的Web应用程序。官网

• Apache Wicket：基于组件的Web应用框架，与Tapestry类似带有状态显示GUI。官网

• Google Web Toolkit：一组Web开发工具集，包含在客户端将Java代码转为JavaScript的编译器、XML解析器、RCP官网API、JUnit集成、国际化支持和GUI控件。

• Grails：Groovy框架，旨在提供一个高效开发环境，使用约定而非配置、没有XML并支持混入（mixin）。官网

• Ninja：Java全栈Web开发框架。非常稳固、快速和高效。官网

• Pippo：小型、高度模块化的类Sinatra框架。官网

• Play：使用约定而非配置，支持代码热加载并在浏览器中显示错误。官网

• PrimeFaces：JSF框架，提供免费和带支持的商业版本。包括若干前端组件。官网

• Ratpack：一组Java开发函数库，用于构建快速、高效、可扩展且测试完备的HTTP应用程序。官网

• Spring Boot：微框架，简化了Spring新程序的开发过程。官网

• Spring：旨在简化Java EE的开发过程，提供依赖注入相关组件并支持面向切面编程。官网

• Vaadin：基于GWT构建的事件驱动框架。使用服务端架构，客户端使用Ajax。官网

• Blade：国人开发的一个轻量级的MVC框架. 它拥有简洁的代码，优雅的设计。官网

业务流程管理套件

流程驱动的软件系统构建。

• jBPM：非常灵活的业务流程管理框架，致力于构建开发与业务分析人员之间的桥梁。官网

• Activity：轻量级工作流和业务流程管理框架。官网github

资源

社区

⑺ 大数据专业主要学什么啊

1、大数据专业，一般是指大数据采集与管理专业；
2、课程设置，大数据专业将从大数据应用的三个主要层面（即数据管理、系统开发、海量数据分析与挖掘）系统地帮助企业掌握大数据应用中的各种典型问题的解决办法，包括实现和分析协同过滤算法、运行和学习分类算法、分布式Hadoop集群的搭建和基准测试、分布式Hbase集群的搭建和基准测试、实现一个基于、Maprece的并行算法、部署Hive并实现一个的数据操作等等，实际提升企业解决实际问题的能力。
3、核心技术，
（1）大数据与Hadoop生态系统。详细介绍分析分布式文件系统HDFS、集群文件系统ClusterFS和NoSQL Database技术的原理与应用；分布式计算框架Maprece、分布式数据库HBase、分布式数据仓库Hive。
（2）关系型数据库技术。详细介绍关系型数据库的原理，掌握典型企业级数据库的构建、管理、开发及应用。
（3）分布式数据处理。详细介绍分析Map/Rece计算模型和Hadoop Map/Rece技术的原理与应用。
（4）海量数据分析与数据挖掘。详细介绍数据挖掘技术、数据挖掘算法–Minhash, Jaccard and Cosine similarity，TF-IDF数据挖掘算法–聚类算法；以及数据挖掘技术在行业中的具体应用。
（5）物联网与大数据。详细介绍物联网中的大数据应用、遥感图像的自动解译、时间序列数据的查询、分析和挖掘。
（6）文件系统（HDFS）。详细介绍HDFS部署，基于HDFS的高性能提供高吞吐量的数据访问。
（7）NoSQL。详细介绍NoSQL非关系型数据库系统的原理、架构及典型应用。
4、行业现状，
今天，越来越多的行业对大数据应用持乐观的态度，大数据或者相关数据分析解决方案的使用在互联网行业，比如网络、腾讯、淘宝、新浪等公司已经成为标准。而像电信、金融、能源这些传统行业，越来越多的用户开始尝试或者考虑怎么样使用大数据解决方案，来提升自己的业务水平。
在“大数据”背景之下，精通“大数据”的专业人才将成为企业最重要的业务角色，“大数据”从业人员薪酬持续增长，人才缺口巨大。

⑻ 大数据核心技术有哪些

大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。

一、数据采集与预处理

对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是零散的，也就是所谓的数据孤岛，此时的这些数据并没有什么意义，数据采集就是将这些数据写入数据仓库中，把零散的数据整合在一起，对这些数据综合起来进行分析。数据采集包括文件日志的采集、数据库日志的采集、关系型数据库的接入和应用程序的接入等。在数据量比较小的时候，可以写个定时的脚本将日志写入存储系统，但随着数据量的增长，这些方法无法提供数据安全保障，并且运维困难，需要更强壮的解决方案。

Flume NG作为实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据，同时，对数据进行简单处理，并写到各种数据接收方(比如文本，HDFS，Hbase等)。Flume NG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和 Sink，source用来消费（收集）数据源到channel组件中，channel作为中间临时存储，保存所有source的组件信息，sink从channel中读取数据，读取成功之后会删除channel中的信息。

NDC，Netease Data Canal，直译为网易数据运河系统，是网易针对结构化数据库的数据实时迁移、同步和订阅的平台化解决方案。它整合了网易过去在数据传输领域的各种工具和经验，将单机数据库、分布式数据库、OLAP系统以及下游应用通过数据链路串在一起。除了保障高效的数据传输外，NDC的设计遵循了单元化和平台化的设计哲学。

Logstash是开源的服务器端数据处理管道，能够同时从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的 “存储库” 中。一般常用的存储库是Elasticsearch。Logstash 支持各种输入选择，可以在同一时间从众多常用的数据来源捕捉事件，能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

Sqoop，用来将关系型数据库和Hadoop中的数据进行相互转移的工具，可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoop(例如HDFS、Hive、Hbase)中，也可以将Hadoop(例如HDFS、Hive、Hbase)中的数据导入到关系型数据库(例如Mysql、Oracle)中。Sqoop 启用了一个 MapRece 作业（极其容错的分布式并行计算）来执行任务。Sqoop 的另一大优势是其传输大量结构化或半结构化数据的过程是完全自动化的。

流式计算是行业研究的一个热点，流式计算对多个高吞吐量的数据源进行实时的清洗、聚合和分析，可以对存在于社交网站、新闻等的数据信息流进行快速的处理并反馈，目前大数据流分析工具有很多，比如开源的strom，spark streaming等。

Strom集群结构是有一个主节点（nimbus）和多个工作节点（supervisor）组成的主从结构，主节点通过配置静态指定或者在运行时动态选举，nimbus与supervisor都是Storm提供的后台守护进程，之间的通信是结合Zookeeper的状态变更通知和监控通知来处理。nimbus进程的主要职责是管理、协调和监控集群上运行的topology（包括topology的发布、任务指派、事件处理时重新指派任务等）。supervisor进程等待nimbus分配任务后生成并监控worker（jvm进程）执行任务。supervisor与worker运行在不同的jvm上，如果由supervisor启动的某个worker因为错误异常退出（或被kill掉），supervisor会尝试重新生成新的worker进程。

当使用上游模块的数据进行计算、统计、分析时，就可以使用消息系统，尤其是分布式消息系统。Kafka使用Scala进行编写，是一种分布式的、基于发布/订阅的消息系统。Kafka的设计理念之一就是同时提供离线处理和实时处理,以及将数据实时备份到另一个数据中心，Kafka可以有许多的生产者和消费者分享多个主题，将消息以topic为单位进行归纳；Kafka发布消息的程序称为procer，也叫生产者，预订topics并消费消息的程序称为consumer，也叫消费者；当Kafka以集群的方式运行时，可以由一个服务或者多个服务组成，每个服务叫做一个broker，运行过程中procer通过网络将消息发送到Kafka集群，集群向消费者提供消息。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Procer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消费消息。Kafka可以和Flume一起工作，如果需要将流式数据从Kafka转移到hadoop，可以使用Flume代理agent，将Kafka当做一个来源source，这样可以从Kafka读取数据到Hadoop。

Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。它的作用主要有配置管理、名字服务、分布式锁和集群管理。配置管理指的是在一个地方修改了配置，那么对这个地方的配置感兴趣的所有的都可以获得变更，省去了手动拷贝配置的繁琐，还很好的保证了数据的可靠和一致性，同时它可以通过名字来获取资源或者服务的地址等信息，可以监控集群中机器的变化，实现了类似于心跳机制的功能。

二、数据存储

Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。

HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。HBase是一种Key/Value系统，部署在hdfs上，克服了hdfs在随机读写这个方面的缺点，与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。

Phoenix，相当于一个Java中间件，帮助开发工程师能够像使用JDBC访问关系型数据库一样访问NoSQL数据库HBase。

Yarn是一种Hadoop资源管理器，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。Yarn由下面的几大组件构成：一个全局的资源管理器ResourceManager、ResourceManager的每个节点代理NodeManager、表示每个应用的Application以及每一个ApplicationMaster拥有多个Container在NodeManager上运行。

Mesos是一款开源的集群管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等应用架构。

Redis是一种速度非常快的非关系数据库，可以存储键与5种不同类型的值之间的映射，可以将存储在内存的键值对数据持久化到硬盘中，使用复制特性来扩展性能，还可以使用客户端分片来扩展写性能。

Atlas是一个位于应用程序与MySQL之间的中间件。在后端DB看来，Atlas相当于连接它的客户端，在前端应用看来，Atlas相当于一个DB。Atlas作为服务端与应用程序通讯，它实现了MySQL的客户端和服务端协议，同时作为客户端与MySQL通讯。它对应用程序屏蔽了DB的细节，同时为了降低MySQL负担，它还维护了连接池。Atlas启动后会创建多个线程，其中一个为主线程，其余为工作线程。主线程负责监听所有的客户端连接请求，工作线程只监听主线程的命令请求。

Ku是围绕Hadoop生态圈建立的存储引擎，Ku拥有和Hadoop生态圈共同的设计理念，它运行在普通的服务器上、可分布式规模化部署、并且满足工业界的高可用要求。其设计理念为fast analytics on fast data。作为一个开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。Ku不但提供了行级的插入、更新、删除API，同时也提供了接近Parquet性能的批量扫描操作。使用同一份存储，既可以进行随机读写，也可以满足数据分析的要求。Ku的应用场景很广泛，比如可以进行实时的数据分析，用于数据可能会存在变化的时序数据应用等。

在数据存储过程中，涉及到的数据表都是成千上百列，包含各种复杂的Query，推荐使用列式存储方法，比如parquent,ORC等对数据进行压缩。Parquet 可以支持灵活的压缩选项，显著减少磁盘上的存储。

三、数据清洗

MapRece作为Hadoop的查询引擎，用于大规模数据集的并行计算，”Map（映射）”和”Rece（归约）”，是它的主要思想。它极大的方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统中。

随着业务数据量的增多，需要进行训练和清洗的数据会变得越来越复杂，这个时候就需要任务调度系统，比如oozie或者azkaban，对关键任务进行调度和监控。

Oozie是用于Hadoop平台的一种工作流调度引擎，提供了RESTful API接口来接受用户的提交请求(提交工作流作业)，当提交了workflow后，由工作流引擎负责workflow的执行以及状态的转换。用户在HDFS上部署好作业(MR作业)，然后向Oozie提交Workflow，Oozie以异步方式将作业(MR作业)提交给Hadoop。这也是为什么当调用Oozie 的RESTful接口提交作业之后能立即返回一个JobId的原因，用户程序不必等待作业执行完成（因为有些大作业可能会执行很久(几个小时甚至几天)）。Oozie在后台以异步方式，再将workflow对应的Action提交给hadoop执行。

Azkaban也是一种工作流的控制引擎，可以用来解决有多个hadoop或者spark等离线计算任务之间的依赖关系问题。azkaban主要是由三部分构成：Relational Database，Azkaban Web Server和Azkaban Executor Server。azkaban将大多数的状态信息都保存在MySQL中，Azkaban Web Server提供了Web UI，是azkaban主要的管理者，包括project的管理、认证、调度以及对工作流执行过程中的监控等；Azkaban Executor Server用来调度工作流和任务，记录工作流或者任务的日志。

流计算任务的处理平台Sloth，是网易首个自研流计算平台，旨在解决公司内各产品日益增长的流计算需求。作为一个计算服务平台，其特点是易用、实时、可靠，为用户节省技术方面（开发、运维）的投入，帮助用户专注于解决产品本身的流计算需求。

四、数据查询分析

Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能。Hive本身不存储和计算数据，它完全依赖于HDFS和MapRece。可以将Hive理解为一个客户端工具，将SQL操作转换为相应的MapRece jobs，然后在hadoop上面运行。Hive支持标准的SQL语法，免去了用户编写MapRece程序的过程，它的出现可以让那些精通SQL技能、但是不熟悉MapRece 、编程能力较弱与不擅长Java语言的用户能够在HDFS大规模数据集上很方便地利用SQL 语言查询、汇总、分析数据。

Hive是为大数据批量处理而生的，Hive的出现解决了传统的关系型数据库(MySql、Oracle)在大数据处理上的瓶颈 。Hive 将执行计划分成map->shuffle->rece->map->shuffle->rece…的模型。如果一个Query会被编译成多轮MapRece，则会有更多的写中间结果。由于MapRece执行框架本身的特点，过多的中间过程会增加整个Query的执行时间。在Hive的运行过程中，用户只需要创建表，导入数据，编写SQL分析语句即可。剩下的过程由Hive框架自动的完成。

Impala是对Hive的一个补充，可以实现高效的SQL查询。使用Impala来实现SQL on Hadoop，用来进行大数据实时查询分析。通过熟悉的传统关系型数据库的SQL风格来操作大数据，同时数据也是可以存储到HDFS和HBase中的。Impala没有再使用缓慢的Hive+MapRece批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。Impala将整个查询分成一执行计划树，而不是一连串的MapRece任务，相比Hive没了MapRece启动时间。

Hive 适合于长时间的批处理查询分析，而Impala适合于实时交互式SQL查询，Impala给数据人员提供了快速实验，验证想法的大数据分析工具，可以先使用Hive进行数据转换处理，之后使用Impala在Hive处理好后的数据集上进行快速的数据分析。总的来说：Impala把执行计划表现为一棵完整的执行计划树，可以更自然地分发执行计划到各个Impalad执行查询，而不用像Hive那样把它组合成管道型的map->rece模式，以此保证Impala有更好的并发性和避免不必要的中间sort与shuffle。但是Impala不支持UDF，能处理的问题有一定的限制。

Spark拥有Hadoop MapRece所具有的特点，它将Job中间输出结果保存在内存中，从而不需要读取HDFS。Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。

Solr用Java编写、运行在Servlet容器（如Apache Tomcat或Jetty）的一个独立的企业级搜索应用的全文搜索服务器。它对外提供类似于Web-service的API接口，用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。

Elasticsearch是一个开源的全文搜索引擎，基于Lucene的搜索服务器，可以快速的储存、搜索和分析海量的数据。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

还涉及到一些机器学习语言，比如，Mahout主要目标是创建一些可伸缩的机器学习算法，供开发人员在Apache的许可下免费使用；深度学习框架Caffe以及使用数据流图进行数值计算的开源软件库TensorFlow等，常用的机器学习算法比如，贝叶斯、逻辑回归、决策树、神经网络、协同过滤等。

五、数据可视化

对接一些BI平台，将分析得到的数据进行可视化，用于指导决策服务。主流的BI平台比如，国外的敏捷BI Tableau、Qlikview、PowrerBI等，国内的SmallBI和新兴的网易有数（可点击这里免费试用）等。

在上面的每一个阶段，保障数据的安全是不可忽视的问题。

基于网络身份认证的协议Kerberos，用来在非安全网络中，对个人通信以安全的手段进行身份认证，它允许某实体在非安全网络环境下通信，向另一个实体以一种安全的方式证明自己的身份。

控制权限的ranger是一个Hadoop集群权限框架，提供操作、监控、管理复杂的数据权限，它提供一个集中的管理机制，管理基于yarn的Hadoop生态圈的所有数据权限。可以对Hadoop生态的组件如Hive，Hbase进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问HDFS文件夹、HDFS文件、数据库、表、字段权限。这些策略可以为不同的用户和组来设置，同时权限可与hadoop无缝对接。