TiDB Cloud 上使用 Databricks 进行数据分析的指南

吴强（PingCAP TiDB Cloud 团队工程师）TiDB Cloud 是为开源分布式数据库 TiDB 打造的全托管 DBaaS (Database-as-a-Service) 服务Databricks。

是一款搭载 Spark，并基于网页的数据分析平台Databricks 的数据湖仓架构集成了业界最优秀的数据仓库和数据湖借助 Databricks 内置的 JDBC 驱动程序，只需几分钟即可将 TiDB Cloud 对接到 Databricks，随后可以通过 Databricks 分析 TiDB 中的数据。

本文主要介绍如何创建 TiDB Cloud Developer Tier 集群、如何将 TiDB 对接到 Databricks，以及如何使用 Databricks 处理 TiDB 中的数据设置 TiDB Cloud Dev Tier 集群。

使用 TiDB Cloud 前，需进行以下操作：注册 TiDB Cloud 账号并登录在 Create Cluster > Developer Tier 菜单下，选择 1 year Free Trial。

设置集群名称，并为集群选择区域单击 Create大约 1~3 分钟后，TiDB Cloud 集群创建成功在 Overview 面板，单击 Connect 并创建流量过滤器例如，添加 IP 地址 0.0.0.0/0，允许所有 IP 访问。

JDBC URL 稍后将在 Databricks 中使用，请做好记录将样例数据导入 TiDB Cloud创建集群后，即可导入样例数据到 TiDB Cloud我们将使用共享单车平台 Capital Bikeshare 的系统样例数据集作为演示。

样例数据的使用完全遵循 Capital Bikeshare 公司的数据许可协议1.在集群信息窗格，单击 Import随后，将出现 Data Import Task 页面 2.按如下所示配置导入任务：Data Source Type :

Amazon S3Bucket URL : s3://tidbcloud-samples/data-ingestion/Data Format : TiDB DumplingRole-ARN : arn:aws:iam::385595570414:role/import-sample-access

3.配置 Target Database 时，键入 TiDB 集群的 Username 和 Password4.单击 Import，开始导入样例数据整个过程将持续大约 3 分钟5.返回概览面板，单击 Connect to Get the MyCLI URL

6.使用 MyCLI 客户端检查样例数据是否导入成功： $ mycli -u root -h tidb.xxxxxx.aws.tidbcloud.com -P 4000(none)> SELECT COUNT。

(*) FROM bikeshare.trips; +----------+ | COUNT(*)| +----------+ |816090| +----------+ 1 row inset Time:

0.786sCopy使用 Databricks 连接 TiDB Cloud开始之前，请确保您已经使用自己的账号登录到 Databricks 工作区如果您没有 Databricks 账号，请先免费注册一个。

如果您拥有丰富的 Databricks 使用经验，并且想直接导入笔记本，可跳过（可选）将 TiDB Cloud 样例笔记本导入 Databricks在本章节中，我们将创建一个新的 Databricks Notebook，并将它关联到一个 Spark 集群，随后通过 JDBC URL 将创建的笔记本连接到 TiDB Cloud。

1.在 Databricks 工作区，按如下所示方式创建并关联 Spark 集群：2.在 Databricks 笔记本中配置 JDBCTiDB 可以使用 Databricks 默认的 JDBC 驱动程序，因此无需配置驱动程序参数：。

%scala val url =jdbc:mysql://tidb.xxxx.prod.aws.tidbcloud.com:4000 val table =bikeshare.trips val user

=root val password =xxxxxxxxxxCopy配置参数说明如下：url：用于连接 TiDB Cloud 的 JDBC URLtable：指定数据表，例如：${database}.${table}

user：用于连接 TiDB Cloud 的 用户名password：用户的密码3.检查 TiDB Cloud 的连通性： %scala import java.sql.DriverManager val connection

= DriverManager.getConnection(url, user, password) connection.isClosed() res2: Boolean =falseCopy在 Databricks 中分析数据

只要成功建立连接，即可将 TiDB 数据加载为 Spark DataFrame，并在 Databricks 中分析这些数据1.创建一个 Spark DataFrame 用于加载 TiDB 数据这里，我们将引用在之前步骤中定义的变量：。

%scala val remote_table = spark.read.format(jdbc) .option(url, url) .option(dbtable, table) .option(user

, user) .option(password, password) .load()Copy2.查询数据Databricks 提供强大的图表显示功能，您可以自定义图表类型：%scala display。

(remote_table.select(*))Copy3.创建一个 DataFrame 视图或一张 DataFrame 表我们创建一个名为 “trips” 的视图作为示例：%scala remote_table.createOrReplaceTempView。

(trips)Copy4.使用 SQL 语句查询数据以下语句将查询每种类型单车的数量： %sql SELECT rideable_type, COUNT(*) count FROM trips GROUP BY rideable_type ORDER BY count DESC。

Copy5.将分析结果写入 TiDB Cloud： %scala spark.table(type_count) .withColumnRenamed(type, count) .write .format

(jdbc) .option(url, url) .option(dbtable, bikeshare.type_count) .option(user, user) .option(password, password

) .option(isolationLevel, NONE) .mode(SaveMode.Append) .save()Copy将 TiDB Cloud 样例笔记本导入 Databricks我们使用的 TiDB Cloud 样例笔记本包含使用 Databricks 连接 TiDB Cloud 和在 Databricks 中分析 TiDB 数据两个步骤。

您可以直接导入该样例笔记本，以便聚焦于分析过程在 Databricks 工作区，单击 Create > Import，并粘贴 TiDB Cloud 样例 URL，将笔记本下载到您的 Databricks 工作区。

将该笔记本关联到您的 Spark 集群使用您自己的 TiDB Cloud 集群信息替换样例中的 JDBC 配置按照笔记本中的步骤，通过 Databricks 使用 TiDB Cloud总结本文主要介绍了如何通过 Databricks 使用 TiDB Cloud。

您可以立即免费试用 TiDB Cloud，仅需几分钟即可部署你的 TiDB 集群同时，我们正在编写另一个教程，用来介绍如何通过 TiSpark（TiDB/TiKV 上层用于运行 Apache Spark 的轻量查询层，项目链接：。

https://github.com/pingcap/tispark）在 TiDB 上使用 Databricks 进行数据分析，敬请期待。TiDB Cloud

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。