1、通过文件数量，大小进行分区。例如：读入一份 2048M 大小的数据，hdfs 块大小设置为 128M 该目录有1000个小文件，则会生成1000个partition。如果只有1个文件，则会生成 16 个分区。如果有一个大文件1024M，其余 999 个文件共 1024M，则会生成 1007个分区。
2、由带partitioner的数据源确定，比如数据来自hdfs，则根据hdfs的数据分片方式确定分区数；如果数据来自kafka，则有topic的分区数确定。不带partitioner的数据源，其分区数由参数spark.default.parallelism确定。
3、Spark可以直接对HDFS进行数据的读写，同样支持Spark on YARN。Spark可以与MapReduce运行于同集群中，共享存储资源与计算，数据仓库Shark实现上借用Hive，几乎与Hive完全兼容。Spark的适用场景 Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。
4、Hadoop和Spark各有优势，选择哪个更好取决于具体的使用场景和需求。Hadoop的优势：Hadoop是一个分布式计算框架，主要用于处理大规模数据集。它提供了数据存储和处理的解决方案，特别是在处理海量数据方面表现出色。
1、关于对Spark的描述正确的是其具有高性能内存迭代计算框架，支持多语言快速开发应用，是一种内存计算一站式解决方案。Spark中的计算模式：RDD（弹性分布式数据集）计算模式：在这种模式下，Spark使用RDD作为分布式计算的数据结构，通过对RDD进行转换和动作操作来完成数据处理任务。
2、关于对Spark的描述正确的是其具有高性能内存迭代计算框架，支持多语言快速开发应用，是一种内存计算一站式解决方案。
3、关于spark，下面说法正确的是如下：Spark 是一种大数据处理工具，它被广泛用于处理大规模的数据 Spark的基本架构 Spark是由多个不同的组件组成的分布式计算系统。它的基本架构包括一个主节点（Spark Master）和多个工作节点（SparkWorker）。主节点负责管理和协调工作节点，而工作节点则负责执行实际的任务。
4、关于spark中算子，下面说法正确的是：Spark中的算子主要分为两种：转换（transformation）和动作（action）。转换算子用于修改数据集，而动作算子则用于触发计算并返回结果。转换算子 map：它接收一个函数和一个数据集作为输入，将该函数应用于数据集中的每一个元素，然后返回一个新的数据集。
5、对于SparkRDD（弹性分布式数据集），以下是关于SparkRDD的一些常见说法，您可以判断哪个说法是不正确的：RDD是Spark中最基本的数据抽象和计算模型之一。它是一个不可变的分布式对象集合，可以直接跨越多个节点进行并行计算，是Spark分布式计算的核心模块。
从上面的代码可以看出来，使用spark+scala操作hbase是非常简单的。
Spark的核心是其RDD（Resilient Distributed Dataset）抽象，这是一种不可变的分布式对象集合，可以在集群中的不同节点上进行并行计算。RDD可以来源于外部数据集，如HDFS文件、HBase表等，也可以通过转换其他RDD得到。Spark提供了丰富的操作来创建、转换和查询RDD，包括map、filter、reduce、join等。
那如果大数据中心的数据流到外部，也是用kafka（如Spark计算的数据要交给HBASE或MySql，期间我们都会用kafka），很多的大数据组件都是用的Scala编写的，所以，如果你想成为一个较高级的大数据开发高手，你一定要掌握Scala。
数据存储：Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。数据清洗：MapReduce作为Hadoop的查询引擎，用于大规模数据集的并行计算。
所收集的数据成为他们自己的RDD，然后使用Spark应用程序中常用的一组进行处理。作者声称这种模式是在缓慢节点和故障情况下会更加稳健，而且5秒的时间间隔通常对于大多数应用已经足够快了。这种方法也很好地统一了流式处理与非流式处理部分。
Impala不再使用缓慢的Hive+MapReduce批处理，而是通过与商用并行关系数据库中类似的分布式查询引擎（由QueryPlanner、QueryCoordinator和QueryExecEngine三部分组成），可以直接从HDFS或者HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。
SparkStreaming。根据SCDN查询可知，spark组件中SparkStreaming可以对实时数据流进行处理和控制。SpakSteamin是Spak平台上针对实时教据进行流式计算的组件，提供了丰富的处理教据流的AP1。
Spark SQL：Spark SQL允许开发人员直接处理RDD，同时也可查询Hive、HBase等外部数据源。Spark SQL的一个重要特点是其能够统一处理关系表和RDD，使得开发人员可以轻松地使用SQL命令进行查询，并进行更复杂的数据分析。
SparkStreaming。原题：spark的批处理组件是（），A.SparkShell，B.SparkStreaming，C.SparkSQL，D.BlinkDB，答案：B.SparkStreaming。组件（Component）是对数据和方法的简单封装，C++Builder中，一个组件就是一个从TComponent派生出来的特定对象。
Apache Flink Apache Flink是一个开源的流处理框架，适用于实时数据流处理和批处理。它具有高性能、可扩展性和高可用性，并且支持多种编程语言。Flink的核心组件包括流处理引擎、批处理引擎和任务调度器。Flink能够与其他分布式存储系统（如Hadoop）集成，并且可以用于构建实时数据流应用程序。
答案：Storm和Spark都是大数据处理工具，各有其特点和优势。解释： Storm的特点和优势：Storm是一个分布式实时计算系统，主要用于处理大数据流。它的主要优势是处理速度快，可以实时地对数据进行处理和分析。此外，Storm具有很好的可扩展性，可以轻松地扩展到多个节点，处理大规模的数据流。