1、Hadoop：Hadoop 框架基于 Map Reduce 分布式计算，并开发了 HDFS（分布式文件系统）和 HBase（数据存储系统），以满足大数据的处理需求。它的开源性质使其成为分布式计算领域的国际标准，并被 Yahoo、Facebook、Amazon 以及中国的百度、阿里巴巴等知名互联网公司广泛采用。
2、仅批处理框架：Apache Hadoop - 特点：适用于对时间要求不高的非常大规模数据集，通过MapReduce进行批处理。- 优势：可处理海量数据，成本低，扩展性强。- 局限：速度相对较慢，依赖持久存储，学习曲线陡峭。
3、HDFS具有高容错性，并设计用来部署在低廉硬件上。它提供高传输速率以访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS放宽了POSIX的要求，以支持流式访问文件系统中的数据。
1、技术理念不同：Spark的技术理念是使用微批来模拟流的计算，基于Micro-batch，数据流以时间为单位被切分为一个个批次，通过分布式数据集RDD进行批量处理，是一种伪实时。而Flink是基于事件驱动，它是一个面向流的处理框架， Flink基于每个事件一行一行地流式处理，是真正的流式计算。
2、Spark在SQL上的优化，尤其是DataFrame到DataSet其实是借鉴的Flink的。Flink最初一开始对SQL支持得就更好。Spark的cache in memory在Flink中是由框架自己判断的，而不是用户来指定的，因为Flink对数据的处理不像Spark以RDD为单位，就是一种细粒度的处理，对内存的规划更好。
3、下图是flink官网给出的和storm的latency对比benchmark。storm可以达到平均5毫秒以内的latency，而flink的平均latency也在30毫秒以内。两者的99%的data都在55毫秒latency内处理完成，表现都很优秀。
4、相比HadoopMapReduce，Spark的资源消耗更大，可能会对需要在同一时间使用集群的其他任务产生影响。从本质来看，Spark更不适合与Hadoop堆栈的其他组件共存一处。总结Spark是多样化工作负载处理任务的最佳选择。Spark批处理能力以更高内存占用为代价提供了无与伦比的速度优势。
5、Flink处理实时数据流的方式跟Spark Streaming也很相似，也是将流数据分段后，一小批一小批地处理。流处理算是Flink里的“一等公民”，Flink对流处理的支持也更加完善，它可以对数据流执行window操作，将数据流切分到一个一个的window里，进而进行计算。Storm的主要特点如下所示：简单的编程模型。
6、与上文Spark的输出端Exactly-Once一致性上实现类似，除了目标源需要满足一定条件以外，Flink内置的二阶段提交机制也变相实现了事务一致性。**支持幂等写入、事务写入机制（二阶段提交）这一块和上文Spark的幂写入特性内容一致，即相同Key/ID 更新写入，数据不变。
1、大数据技术也开始用于监测早产儿和患病婴儿的身体状况。通过记录和分析每个婴儿的每一次心跳和呼吸模式，提前24小时预测出身体感染的症状，从而及早干预，拯救那些脆弱的随时可能生命危险的婴儿。
2、大数据技术专业属于计算机专业，通俗讲的人工智能。大数据技术与应用专业旨在培养学生系统掌握数据管理及数据挖掘方法，成为具备大数据分析处理、数据仓库管理、大数据平台综合部署、大数据平台应用软件开发和数据产品的可视化展现与分析能力的高级专业大数据技术人才。
3、大数据可以实现的应用可以概括为两个方向，一个是精准化定制，第二个是预测。比如像通过搜索引擎搜索同样的内容，每个人的结果却是大不相同的。再比如精准营销、企业找客户的时候根据条件和线索进行有规律的挖掘，这样在大海里也能找到属于企业所需要的那根“针”。
4、海量数据分析与数据挖掘。详细介绍数据挖掘技术、数据挖掘算法–Minhash， Jaccard and Cosine similarity，TF-IDF数据挖掘算法–聚类算法；以及数据挖掘技术在行业中的具体应用。（5）物联网与大数据。详细介绍物联网中的大数据应用、遥感图像的自动解译、时间序列数据的查询、分析和挖掘。
5、大数据是一系列技术的统称，经过多年的发展，大数据已经形成了从数据采集、整理、传输、存储、安全、分析、呈现和应用等一系列环节，这些环节涉及到诸多大数据工作岗位，这些工作岗位与物联网、云计算也都有密切的联系。
6、大数据 零售业：主要集中在客户营销分析上，通过大数据技术可以对客户的消费信息进行分析。获知客户的消费习惯、消费方向等，以便商场做好更合理商品、货架摆放，规划市场营销方案、产品推荐手段等。金融业：在金融行业里头，数据即是生命，其信息系统中积累了大量客户的交易数据。
目前，包括阿里巴巴所有子公司在内的所有阿里巴巴业务都采用了基于Flink的实时计算平台。同时，Flink计算平台运行在开源的Hadoop集群上。Hadoop的YARN作为资源管理调度，HDFS作为数据存储。所以Flink可以和开源大数据软件Hadoop无缝对接。
在云计算的SaaS、PaaS、IaaS三层架构中，阿里云ECS作为IaaS服务，为用户提供了灵活、可扩展的计算能力。ECS（Elastic Compute Service）是阿里云的核心产品之一，它允许用户无需自购硬件，即可享受到稳定、高性能的云计算服务。这种服务的优势在于其弹性，用户可以根据业务需求快速调整计算资源。
云服务器（Elastic Compute Service，简称ECS）是阿里云提供的性能卓越、稳定可靠、弹性扩展的IaaS级别云计算服务。云服务器ECS免去了您采购IT硬件的前期准备，让您像使用水、电、天然气等公共资源一样便捷、高效地使用服务器，实现计算资源的即开即用。
用的阿里云服务器，在购买云服务器后，获取云服务器时间缩短到10-15分钟。当计算资源需求发生改变时，可以按照阿里云网站提供的资源套餐随时进行计算资源的提升。
阿里云服务器（Elastic Compute Service， ECS）是一种处理能力可弹性伸缩的计算服务，其管理方式比物理服务器更简单高效。阿里云服务器适用范围：适用于社区网站、企业官网、门户网站、电子商务网站、SAAS应用（如：在线ERP，CRM，OA，HR）、游戏类应用等。
1、在JobManager端，会接收到Client提交的JobGraph形式的Flink Job，JobManager会将一个JobGraph转换映射为一个ExecutionGraph，ExecutionGraph是JobGraph的并行表示，也就是实际JobManager调度一个Job在TaskManager上运行的逻辑视图。
2、在Flink整个软件架构体系中，统一遵循了分层的架构设计理念，在降低系统耦合度的同时，为上层用户构建Flink应用提供了丰富且友好的接口。整个Flink的架构体系可以分为三层：Deployment层： 该层主要涉及了Flink的部署模式，Flink支持多种部署模式：本地、集群（Standalone/YARN），云（GCE/EC2），Kubernetes等。
3、当用户提交一个Flink程序时，会首先创建一个Client，该Client首先会对用户提交的Flink程序进行预处理，并提交到Flink集群中处理，所以Client需要从用户提交的Flink程序配置中获取JobManager的地址，并建立到JobManager的连接，将Flink Job提交给JobManager。