离线安装TiSpark v2.5.1指南

一、背景

在安装 TiDB v6.0的时候，使用的是离线包，安装 TiSpark 采用的方式是 在线安装的形式，使用 Tiup 扩容的方式安装 TiSpark 集群。并且最高的 TiSpark 版本是 TiSpark v2.4.1，没有最新的 Release TiSpark v2.5.1 。给自己提了个问题，能否离线安装 TiSpark ？目前我的浅层的理解是：在已有 Spark 集群的方式下可以实现离线安装 TiSpark。

二、准备环境

2.1 准备安装包

离线安装： https://pingcap.com/zh/product-community/#TiDB 6.0.0-DMR

1）下载安装包 tidb-community-server-v6.0.0-linux-amd64.tar.gz

2）下载tookit tidb-community-toolkit-v6.0.0-linux-amd64.tar.gz

3）下载 Spark V3.1.3 https://dlcdn.apache.org/spark/spark-3.1.3/spark-3.1.3-bin-hadoop3.2.tgz

4）下载 TiSpark V2.5.1 https://github.com/pingcap/tispark/releases/download

2.2 Cluster111 拓扑# cluster111.yml server_configs: tidb:   log.slow-threshold: 300   binlog.enable: false   binlog.ignore-error: false tikv:   readpool.storage.use-unified-pool: false   readpool.coprocessor.use-unified-pool: true pd:   schedule.leadmkdir -p /usr/local0/webserver/tidb/ cd /usr/local0/webserver/tidb/ iup cluster check ./cluster111.yml --user root -p --apply # 安装cluster111 tiup cluster deploy cluster111 v6.0.0 ./cluster111.yml --user root -p # 启动集群 tiup cluster start cluster111 tiup cluster display cluster1112.3 离线安装 Cluster111

三、离线安装 TiSpark v2.5.1

3.1 解压 spark-3.1.3-bin-hadoop3.2.tgz# 替换 Spark mkdir -p /usr/local0/webserver/tispark && tar -zxvf spark-3.1.3-bin-hadoop3.2.tgz -C /usr/local0/webserver/tispark/ mv /usr/local0/webserver/tispark/spark-3.1.3-bin-hadoop3.2 /tidb-deploy/tispark-master-7077 chown tidb.tidb -R /tidb-deploy/tispark-master-7077 # 替换 TiSpark 包 cp -rf tispark-assembly-3.1-2.5.1.jar /tidb-deploy/tispark-master-7077/jars/3.2 安装openjdk8(略)3.3 spark-defaults.conf 中增加配置# sql扩展类 spark.sql.extensions org.apache.spark.sql.TiExtensions # master节点 spark.master spark://10.0.2.15:7077 # pd节点 多个pd用逗号隔开 如：10.16.20.1:2379,10.16.20.2:2379,10.16.20.3:2379 spark.tispark.pd.addresses 10.0.2.15:23793.4 启动 Spark 集群

/tidb-deploy/tispark-master-7077/sbin/start-all.sh

3.5 在已有 Spark 集群上部署 TiSpark3.5.1 启动 Spark-shell 的方式# 启动 spark-shell /tidb-deploy/tispark-master-7077/bin/spark-shell --jars /tidb-deploy/tispark-master-7077/jars/tispark-assembly-3.1-2.5.1. 3.5.2 启动 Spark-sql 的方式# 启动 Spark-sql /tidb-deploy/tispark-master-7077/bin/spark-sql --jars /tidb-deploy/tispark-master-7077/jars/tispark-assembly-3.1-2.5.1.jar 3.5.3 spark master的情况

五、总结

本篇实践了 以已有 Spark 集群的方式，实现离线安装 TiSpark v2.5.1，目前对TiSpark的理解还比较浅，后续会继续探索 TiSpark的功能。

如果您 只读使用 TiUP 扩容的方式如何离线扩容方式安装 TiSpark 可以留言！

谢谢！

参考

https://tidb.net/blog/b54581d1