TiFlash、Spark SQL、TiDB SQL Layer | Meetup No.94 & 95 回顾

孙若曦，PingCAP 核心开发工程师

本次分享的内容主要包括以下三个方面：

1. HTAP 的核心价值：能够解决当前各类数据平台上广泛存在的工具链过于复杂，运维成本高，数据实效性和一致性等问题。

2. HTAP 面临的技术挑战：OLTP 场景通常使用行存，而 OLAP 场景通常使用列存；另外，OLAP 任务因为对系统资源占用较多，也会严重影响 OLTP 业务。

3. TiFlash 是如何解决这些问题的：

• 使用列存及向量化计算来满足 OLAP 业务；

• 数据使用 Raft Learner 机制同步到列存；

• 拥有与 TiDB 相同的 Scalability；

• OLTP 与 OLAP 的物理资源完全隔离，避免互相干扰；

• TiDB/TiSpark 能够同时访问行存和列存副本，通过 CBO 选取最优化的访问方式；

• 为 TiFlash 引入 MPP 能力。

02. eBay 在 Spark SQL 的性能优化

王刚，eBay 大数据工程师

本次 Topic 主要分享了 eBay 在 Spark SQL 上所做的一系列探索与优化工作。其中包括我们在 index 上所尝试 Bloom filter index，还有我们为了解决大表与大表 join 所做的一些方案，bucket join 和 range partition。MV 是我们在 Cache 上做的探索。新的 CBO 弥补了部分现有 Spark CBO 的缺陷，提供了更强大的 cost based optimize 的能力。

* 后台回复“94”获取本期 PPT 链接

Introduction of TiDB SQL Layer

姚珂男，TiDB SQL Engine 开发工程师

本次分享主要介绍 TiDB SQL 层的三个组件：优化器，统计信息和执行引擎。

• 优化器部分主要举例介绍了逻辑优化规则和物理优化框架；

• 统计信息部分主要介绍直方图，CMSketch 以及使用方法；

• 执行引擎部分以两种 join 方式为例介绍了我们在执行引擎实现中用到的一些优化方法。

* 后台回复“95”获取本期 PPT 链接