基于 Hadoop 的 ES 索引 & TiDB 4.0 & WebAssembly | Meetup 回顾

网友投稿 436 2020-01-02

内容来源:http://mp.weixin.qq.com/s?__biz=MzI3NDIxNTQyOQ==&mid=2247490620&idx=2&sn=b7663f71dd93c4a61d2440f926a12e26&chksm=eb163b56dc61b240ddf44b2fb7ce0d1dd72e9cab4250fab32ff21f5e114b0b5e6993fa6f26b6#rd


上周末我们在北京和杭州举办了两场 Infra Meetup:

在北京,我们联合滴滴开源举办了一场内容丰富的线下交流活动。来自滴滴的资深软件开发工程师钟***大家介绍了如何基于 Hadoop 快速构建 Elasticsearch 索引;同时,我司 TiKV engine team tech-leader 张金鹏与大家一起初探了 TiDB 4.0。

在杭州,PayPal 的 Senior Software Engineer 于航和我司研发工程师周帅与大家聊了聊最近大热的 WebAssembly。

以下是视频&文字回顾,enjoy~


Infra Meetup No.122 北京

后台回复“122“获取本期 PPT 链接


01-基于 Hadoop 快速构建 Elasticsearch 索引


钟华 | 滴滴资深软件开发工程师

本次分享钟华老师介绍了基于 Hadoop 快速构建 Elasticsearch 索引的核心设计及挑战,包括:
1. 将 Hive 表数据转化成 Elasticsearch 底层的 Lucene 文件的基本思路和实现方式。
2. Lucene 文件合并,以及 Lucene 文件加入到 Elasticsearch 索引中的实现方式。
3. 如何解决导入过程中的 Mapping 冲突问题。
最后与大家讨论了如何获得和 DataX 相同的使用体验,即在不关闭索引的前提下,将 Lucene 文件加入到索引中。接下来我们会开发数据导入相关的辅助工具,降低业务接入的复杂度,从而提高整体的数据导入效率。
* 视频回顾:


02-初探 TiDB 4.0


张金鹏 | TiKV engine team tech-leader

本次 talk 我们回顾了 3.0 的一些 feature 在实际场景中的效果,比如 Titan 在大 value 情况下对于延迟的明显降低,以及 hibernate region 能在大数据量的情况下明显降低了 CPU 开销。

同时我们带大家浏览了 4.0 的多个新特性,包括:

1. 通过 key visualizer 直观的看数据的热点分布情况。

2. 表达式索引的支持。

3. 通过 SQL plan management 自动纠正错误的索引。

4. PD 弹性调度,可以针对不同的表进行单独的调度。

5. 通过 follower replication 降低跨数据中心的数据流量。

6. 跳过 SQL 层,基于 TiKV 的快速 backup 和 restore 功能。

* 视频回顾:


Infra Meetup No.123 杭州

后台回复“123“获取本期 PPT 链接


01-WebAssembly — What & How


于航 | PayPal Senior Software Engineer

本次于航老师分享主要介绍了 WebAssembly 的发展历史、技术实践与未来展望,包括:

1. WebAssembly 技术的出现背景,Asm.js 与 PANCL 的基本介绍。

2. 基于 Emscripten 构建 WebAssembly 应用的基本流程。

3. 现阶段 WebAssembly 生产实践及周边基础工具链/语言的发展情况。

4. WASI 的基本概念介绍与实践。

最后讨论了 WebAssembly 现有的落地及实践场景,现阶段实践中存在的问题,以及未来 WebAssembly 技术可能的发展方向。

* 视频回顾:


02-Put TiDB in WebAssembly


周帅 | PingCAP 研发工程师

本次分享介绍了 tidb-wasm(https://github.com/pingcap/tidb-wasm) 的设计与实现,包括:

1. 将 TiDB 运行在浏览器的 WebAssembly 环境中需要对 TiDB 自身做的改造。

2. 将 TiDB 运行在非浏览器的 WebAssembly 环境中需要对 Golang 做的改动。

3. 目前基于 WebAssembly,TiDB 可以运行的所有场景,以及未来可以进行的扩展。

最后大家一起讨论了 WebAssembly 的优势,以及在安全性上和 Docker 的一些对比,和未来可以扩展的一些应用场景。

* 视频回顾:




PingCAP Infra Meetup



作为一个基础架构领域的前沿技术公司,PingCAP 希望能为国内真正关注技术本身的 Hackers 打造一个自由分享的平台。自 2016 年 3 月 5 日开始,我们定期在周末举办 Infra Meetup,与大家深度探讨基础架构领域的前瞻性技术思考与经验,目前已在北京、上海、广州、成都、杭州、深圳、西安等地举办。在这里,我们希望提供一个高水准的前沿技术讨论空间,让大家真正感受到自由的开源精神魅力。


版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:TiDB 年度报告 | 站在 2019 的边界,我们回了回头
下一篇:TiDB 在 OPPO 准实时数据仓库中的实践
相关文章