如何在 Debian 12 上安装 Apache Spark

Apache Spark已经彻底改变了大数据处理，成为全球数据工程师和分析师的首选解决方案。其闪电般的处理速度和强大的功能使其成为高效处理大量数据的重要工具。如果你想在你的Debian 12（书虫）系统上利用Apache Spark的强大功能，那么你来对地方了。

在 Debian 12 书虫上安装 Apache Spark

第 1 步。在我们安装任何软件之前，通过在终端中运行以下命令来确保您的系统是最新的非常重要：apt

sudo apt update
sudo apt upgrade

此命令将刷新存储库，允许您安装最新版本的软件包。

第 2 步。安装爪哇。

现在，让我们安装所需的依赖项，包括OpenJDK（Java Development Kit），这是Apache Spark的先决条件：

sudo apt install default-jdk

通过检查其版本来确认 Java 是否已正确安装：

java -version

第 3 步。在 Debian 12 上安装 Apache Spark。

准备好系统后，是时候获取最新版本的 Apache Spark 并为您的大数据之旅奠定基础了：

wget https://www.apache.org/dyn/closer.lua/spark/spark-3.4.1/spark-3.4.1-bin-hadoop3.tgz

使用以下命令解压缩下载的软件包：

tar xvf spark-<spark-version>-bin-hadoop3.tgz

接下来，将提取的 Spark 目录移动到所选位置。例如，让我们将其移动到目录：/opt/

sudo mv spark-<spark-version>-bin-hadoop3 /opt/spark

要从系统上的任何位置访问 Spark 命令，我们需要设置一些环境变量。使用文本编辑器打开文件：.bashrc

nano ~/.bashrc

在文件末尾添加以下行以设置所需的环境变量：

# Apache Spark
export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin

保存更改并退出文本编辑器。要将更改应用于当前会话，请运行：

source ~/.bashrc

通过运行一个简单的测试，确保Apache Spark正确安装：

spark-shell

如果安装成功，Spark shell 应该会启动，你将看到如下提示：

scala>

第 4 步。在本地运行 Apache Spark。

安装和配置 Apache Spark 后，让我们在本地运行它来处理一些数据。运行以下命令以启动 Spark 外壳：

spark-shell

基本数据帧操作：

让我们使用 Spark 的 DataFrame API 执行一些基本操作：

若要将 CSV 文件读入数据帧，请使用以下代码片段：

val data = spark.read.format("csv")
.option("header", "true")
.load("/path/to/your/csv/file.csv")

要显示数据帧内容，只需键入变量名称并按 Enter 键：

data.show()

您可以使用 Spark 的函数式编程 API 在数据帧上执行各种转换，例如筛选、分组和聚合。

示例：让我们计算名为“price”的列的平均值：

val avgPrice = data.agg(avg("price")).collect()(0)(0)
println(s"The average price is: $avgPrice")

第5步。设置 Spark 群集（可选）。

虽然Spark可以在本地运行，但它的真正功能在部署在集群上时会大放异彩。通过设置 Spark 群集，可以在多个节点之间分配数据处理任务，从而显著提高性能和可伸缩性。

cd /opt/spark/conf

将文件复制到：spark-env.sh.templatespark-env.sh

cp spark-env.sh.template spark-env.sh

编辑文件以配置主节点和其他设置：spark-env.sh

nano spark-env.sh

添加以下行以指定主节点的 IP 地址，并为 Spark 驱动程序和工作线程分配内存：

export SPARK_MASTER_HOST=<master-ip>
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_MEMORY=2g

保存更改并退出文本编辑器。

第 6 步。启动主节点。

通过运行以下命令启动 Spark 主节点：

start-master.sh

通过打开 Web 浏览器并导航到以下内容来访问 Spark Web UI：

http://<master-ip>:8080

步骤 7.故障排除提示。

安装和配置 Apache Spark 可能会遇到一些挑战。以下是一些常见问题和故障排除提示：

Java 版本冲突：如果遇到 Java 版本问题，请确保已安装 OpenJDK（Java 开发工具包）版本 8 或更高版本，并正确设置环境变量。JAVA_HOME
Spark 外壳故障：如果 Spark 外壳无法启动，请检查环境变量，并确保在系统的 .PATH
端口冲突：如果 Spark Web UI 未加载或显示与端口冲突相关的错误，请验证系统上的其他服务是否未使用指定的端口（例如 8080、7077）。

感谢您使用本教程在 Debian 12 Bookworm 上安装 Apache Spark。有关其他帮助或有用信息，我们建议您查看 Apache 官方网站。