黄东旭解析 TiDB 的核心优势
425
2019-10-30
内容来源:http://mp.weixin.qq.com/s?__biz=MzI3NDIxNTQyOQ==&mid=2247490046&idx=1&sn=962bb8aa4619c3815fcc561ed96331d7&chksm=eb163e94dc61b7826b7e73a057f4c9823261c1a79005104dd41dbd6ef4276c01bd6e41a69d14#rd
TiDB Hackathon 2019 在 10 月 27 日完美收官!北京、上海、广州三地共 39 支队伍参赛,两天一夜的 Hacking Time,大家围绕着「Improve」主题,为 TiDB 性能、易用性、稳定性、功能等各方面做出提升,最终 6 支队伍瓜分了一、二、三等奖的 15 万元现金奖励,另有 4 支队伍分获最佳贡献奖、最佳创意奖、最具潜力奖和 CTO 特别奖。
话说,本届 Hackathon 不管是从比赛的形式、规模,还是完赛项目的质量,相比去年可以说是颠覆性的提升。
项目超猛,Demo Show 超长
今年总共 39 支队伍参赛,几乎较去年翻倍。从质量来看,优秀项目又多又猛,奖项角逐非常激烈,三地联动直播的 Demo Show 从下午 14:30 持续到 21:30(没看错,7 个小时),但是大家越看越兴奋——兴奋程度堪比看到编译完没有报错和 Warning 的电脑屏幕
放几张(评委 Ed Huang"激动盗摄"的)PPT 大家随意感受一下:
「Improve」不是说着玩儿的
这些项目深深刺激了大家的神经,小伙伴们看完 Demo Show 都开始了激烈的讨论、摩拳擦掌开始推动项目落地,而本届 Hackathon 导师、我司首席架构师唐刘老师,“开心到飞起”,火速写了一篇的点评文章(以下为节选内容)——
一等奖项目:Unified Thread Pool
这个项目主要解决 TiKV 两个问题:1)线程池太多,频繁线程切换导致性能问题;2)大查询影响小查询问题。一开始我并不知道奕霖同学要挑战这个项目,看到的时候真的很震惊,毕竟之前我们内部尝试过几次,但都无疾而终。主要面临的困难是同一个线程池如何调度大小查询,包括大查询不能影响小查询,同时小查询的性能又要足够好。
奕霖同学参考 Linux 的 Schedule 算法,以及 Rust juliex 库,跟他同学一起完成了 Unified Thread Pool 的原型,实际的测试效果让我非常震惊,不光是纯 point select 性能有大量提升,在有大查询的情况下面,QPS 也能保持稳定。
二等奖项目:tidb-wasm
不得不说,这个是一个大杀器,它通过 wasm 技术,让 TiDB 能跑在浏览器上面,这个就很有意思了,我们可以很方便的做一个 TiDB Playground 出来,放到 PingCAP University(PU)这边,或者可以官网上嵌入,让用户直接尝试使用。这对于让用户快速的感受 TiDB 非常重要,可以说极大降低了用户了解 TiDB 的门槛,我个人非常期望这个项目能够落地。
二等奖项目:TiDB 跨数据中心的解决方案
这个项目主要是解决跨 DC 情况下面 TiDB 的 latency 问题,主要从 Raft 层面来解决的。两个核心的思想:
1. Follower replication - 引入 raft sub-group 概念,将一些节点按照 DC 等属性进行分组,每个组里面有一个 delegate 节点,leader 只会跟这个 delegate 节点交互,由这个 delegate 节点将数据转发给这个 group 里面的其他节点。
2. 对于异地 follower read,并发的发送获取 TSO 以及 ReadIndex 的请求,减少一次 RTT。
这个项目我个人在开赛之前非常看好,后面果然拿了第二名的好成绩。
……此处省略八千字长文点评,以上点评仅代表首架个人观点。
总之这次完赛的项目质量都非常高,除了获奖项目之外,还有一些很有意义、实用性很强同时极具想象力的项目,我们非常希望这些项目都能在社区的维护下完善成熟~
评委老师好严肃,好认真
第二天大家吃完最后的午餐,就进入紧张的 Demo Show 环节了。评委团从项目的实用性/易用性/性能(40%)、完成度(30%)、创新性(20%)、展示度(10%),四个方面进行打分。由于项目一个比一个精彩,竞争非常激烈,评委老师们也卯足了劲,聚精会神地看每个细节,甚至用笔认真记下每个项目的优缺点。在选手演示结束后,评委老师们也随机提问,当然也不乏对项目完善方向的建议。
尤其感谢美团数据库团队负责人李凯,58 集团数据库高级经理于伯伟,京东云高级总监李道兵,美团点评分布式数据库平台开发和运维负责人、研究员赵应钢,贝壳找房数据技术总监侯圣文,五位老师认真负责的评审 👏
分布式赛事保障
当然硬核的黑客马拉松少不了吃吃喝喝啦,为了保障北上广三地分布式赛事顺利,TiDB Robot 的分身们都拼了。希望所有参赛选手回忆起 2019 年参加过最好吃的马拉松,脑袋里会冒出 TiDB Robot 在会议室给大家摆自助大餐、小龙虾、披萨、啤酒的样子,毕竟 Robot 每顿都要在群里叉腰大喊:吃早饭啦,吃午饭啦,吃晚饭啦,趁热吃!还有夜宵零食随便吃!(都给我吃!)
不过最令 Robot 感到惊悚的事情莫过于,第二天早上看到一位同学头朝下,窝在沙发里,2 小时一动不动。Robot 心里咯噔了一下,静静观察了这位同学的呼吸起伏……(此处就不配图了)大家都是通宵型选手,嗨起来其实都不用睡的……
完赛项目合集,有你感兴趣的吗?
以上是最后参与 Demo Show 的 37 个项目,不知有没有大家特别感兴趣的呢?
为了社区小伙伴们都能参与进来,一起推动这些优秀项目的落地,我们将邀请部分参赛选手撰文,为大家深入介绍他们的项目设计思路、实现过程以及未来工作方向,敬请期待!
* Demo Show 全程视频:
Demo Show(北京)
Demo Show(上海)
Demo Show(广州)
最后,
感谢 UCloud 提供云计算基础设施支持,
感谢志愿者们的奉献!
我们明年见~
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。