TiDB 论文引发的HTAP数据库再思考

网友投稿 368 2024-03-25



ΪʲôҪ��˼����

��Һã����ǰ�����֮ǰ�������� Paper Reading ��з����� Greenplum �Ŷ��� 2021�� SIGMOD �Ϸ��������ģ���Greenplum: A Hybrid Database for Transactional and Analytical Workloads�� - https://asktug.com/t/topic/693579�������������ӣ���

TiDB 论文引发的HTAP数据库再思考

��ƪ���ģ������ͳ���������ݿ��Ʒ��OLAP RDBMS��Greenplum��ͨ�����һϵ�� TP �����µĸߴ��ۼ������⣬���硰�ֲ�ʽ�����⡱������Դ�������⡱�������׶��ύ���۹������⡱����ʵ��һ���� OLAP ����Ϊ������� OLTP ������ HTAP ���ݿ⡣������˵�Ŷӵ�˼·�Ǿ������ͷֲ�ʽ�����·����ͳ����������ͳ�����Ӱ�죬�����������ԴӦ��һЩ����������������һϵ�еĸĽ������������ŶԱȲ���ͼ��Ҳ���Կ�����GPDB 6 ����� GPDB 5 �����ڻ������͸��³����»������˺ܴ������������

�� HTAP �������ϣ�

���� Greenplum �ȴ�ͳ���������ݿ��Ʒ�� HTAP ���ݽ���

Ҳ������ TiDB �� NewSQL �ĸ� TP ֧�ֳ����� HTAP ���ݽ���

��ͬһ������Ҳ��

TP/AP �ֶ���֮

TP+AP ͳһ����

�IJ�ͬ����������ʵ�ַ����кܶ࣬��������Ҳ�Ǹ�����˵��硡�

ɯʿ����˵��һǧ�����߾���һǧ����ķ���ء��Ҳ���ʲô������䣬�ҵĹ۵���ܲ�һ���ԣ�����һ���ܲ����������Դ��ϴ������������Ҳ�յ���һЩ���ѵķ���������ʱ��϶̸о����������ݲ������ʣ�û��һЩ����������ֻ�Ǹ���ྸо�ѧϰ�����������ˡ��ܵ���˵�����ܻ����ҵ�ˮƽ���ޣ��� HTAP ������Ҳ�������룬���Dz�Ҫ�������Dz��ǻ���ʱ��ͻ��������������������ϸ�ж� TiDB ��������TiDB: A Raft-based HTAP Database��������ʱ��Ҳ�п���Ȧ������� HTAP �IJ�ͬ���⣬��ϣ���ܹ��л����ٸ���ҷ���һ���Ҷ������ֲ�ͬ�� HTAP �ݽ���ʽ�����⣬������ TiDB ���� GP�����ǺܺõIJ�Ʒ��ϣ�����Ҳ�����õĿ��ġ�

��������Ĺ۵�

�����Ҷ� TiDB �����Ļ�û����ϸ�Ķ��������Բο��������ݲ����Σ�

TiDB ���� - https://www.doc88.com/p-99599860907503.html

���Ľ��1 - https://blog.csdn.net/wangxin201492/article/details/119902840

���Ľ��2 - https://developer.aliyun.com/article/802291

���ҵĹ۵����������Ҫ������¼���������з�����

1. TiDB �ܹ������˼��

�ܹ�������˵����Ϊ TiDB �����������Ҫ�ǵ������ݿ�(OLTP)������һЩ���⣬���Դ���Ʒ��濼�ǵĻ��������Ǹ߲����ͷֲ�ʽ��չ������֧�֡����� Greenplum ר��Ϊ���������ģ�������֧�ֵ��߲��������Դ����ʵ���ٵ������Dz�һ���ģ����磺

1������ HTAP ������˼·��ͬ

Greenplum ���ڸ��쵱ǰ�洢������ʵ���� GP �����֮���Ѿ������˷����ͳ����е�һЩƵ�����º�Ƶ��ɾ�����ij���������һֱ������ HEAP �� AO ���ֱ������ǿ�ʼ�� HEAP ���������ơ���Դ�����Dz�̫�Ѻõģ���ǰ�� HTAP �Ľ�����������Զѱ����Ż����Խ��ԭ���ѱ��϶� TP ֧�ֲ�̫�õ�һЩ���⡣�����Ż���� GPDB 6 �����ݿ�ģ�����ʱ����ȻҪ������ǰ���ù滮�������ͳ����£�����ʹ�� AO ���д�ѹ����Ч�ʸ��ã������ͳ������Ƽ�ʹ�öѱ�����ôͬʱҲ�����һЩ���⣬����Ҫ�ľ��ǣ�ͬһ�ű���������ͬʱ�ṩ��õ� TP �� AP ����������� AO ����˵����������һ�ŷ����� SALES �Ķ����ģ�ͣ���Ȼʹ���˶��ִ洢�����������ͬ�������ݣ���Ȼֻ��һ�ִ洢��ʽ��Ҳ�����˻�˵����������Ҳ�Ƿ��ȶȵ��������ݿ���ʹ�� HEAP�������ݿ���ʹ�� AO�������ݿ��Էŵ� HDFS����Ҳ����ǰ���Ǿ����������ͻ�ȥ���õĴ�����ʽ�������������ݵĻ��ַ�ʽ�����ݿⱾ����û�п��������ģ���Ҫҵ���������֣���Ҳ����Ҫ���������Ʒѡ��ʱ��Ҫע��ĵط���

TiDB ������ԭ�мܹ�������һ�������ʹ洢���� TiFlash�����ڻ��� RocksDB �� TiKV �����Ѿ��ڶ��귢չ�о�������֤���ܹ��ܺõijе������ͳ�������������Ҫ���ľ��������мܹ��ȶ��Ļ����ϣ���չ OLAP ����������ʱ���Ŷ���Ȼ������ TiKV һ����˼·����������һ���ڷ�������ĺ������� *** ����������û��ȥ�ظ������ӡ�CK �Ļ�����������Ͳ��ظ������ˣ����Ϻܶ����¶��н��ܣ��ڵ������������£��ܹ���ɱ����ͳ�������档�Ŷ��������ĺô�Ҳ�Զ��׼����ڱ�������ܹ������Ժ��ȶ��Ե�ǰ���£����þ�����ҵ��֤�ij����Ʒ�����ڲ�Ʒ���͵��������Ѻõģ�����ܹ��Ͽ�������ѡ���Ƿ����� TiFlash����ȻҲ������һЩ������⣬����Ϊ����������Ҫ�����������㣺һ���� TiDB Server �������Ч�Ĵ����ͷַ� TP �� AP ��ѯ�������ڴ洢�������˶�һ���д洢��������Ĵ��ۣ�������������Ҳ�Dz�Ʒѡ��ʱ��Ҫ���ع�ע�ĵ���

���ܽ᣺��ͬ�ļܹ�����ʹ��ҳ��Բ�ͬ�Ĵ���˼·���Ա���������˵˭��������˵���ã���������������С��Ҹ�����Ϊҵ��ʹ�㲻һ������Ʒѡ�;Ͳ�һ����û��һ���Ʒ���԰� TP �� AP ���������£�ֻ��˵��Ҹ���������һ���档

2������������ʽ�IJ�ͬ

�������Щ�۵㣬���������µ�ϸ�����������������������Ҫ̸����������ʽ��

GP ���õ��� *** �����صĻ��� WAL ��־ͬ���ķ�ʽ������־ͬ��д��һ�ݵ�����ڵ㣬�γ�һ�� Mirror ���ݣ�Mirror �������ȱ��������ṩֻ���������������Ļ������еĶ�д���󣬶�ֻ�����������Ͻ��У�ѹ����������ģ������� HTAP �����У���ǰ�������Ƿ�����μ������������⡢��ν����׶��ύ����Ϊһ�׶��ύ�����ڼ��� TP ����ִ�еĴ��ۡ���Ȼ���������°汾�ƻ��У���ų� WAL ��־ͬ���Ľӿڣ�����Ҳ��ʵ�ֶั����ͨ�����ַ�ʽ�����Բ�ֶ�������һ�׼�Ⱥ�����Ӧ�ö�д���룩��

TiDB ���õ��� Raft ��ʶЭ�飬Ҫ�ﵽ��ʶ����;�Ҫ 3 ������TiDB ����������ܹ����ǿ����������Ķ�д����ģ�����Ҳ������ʵ�ֶ����IJ�������֣������˵�� HTAP ����Ҫ�Ѻ�һЩ�������Ҫ֧�ַ��������������� TiFlash���Ǿ��� 4 ����������Ϊ TiFlash ֻ���� Learner �Ľ�ɫ���룬�����д����������һЩ����ͬ��������ת���Ĵ������⣬��Щ������������Ҳ�����ᵽ���ȥ�������ҿ�����ϸ��һ����

���ܽ᣺��ͬ�ܹ�������ͬ����������ʽ����ʵ�����ߵIJ���һ��·�ӣ�Ҳû��Ҫǿ��Ӳק��ȥ��ϵ�ͶԱȣ����ֻҪ���׸��Եij����㲻һ�����ɡ�

3��SQL ������ʽ�IJ�ͬ

��������ϣ���ʵ GP û��ʲô�����۵ģ���Ϊ����һ�� SQL �� Master �ڵ���������ij����ֻ��һ���洢��·���ߣ���˵������ʲô����������ȥ�顣

���� TiDB ��߾�����˼�ˣ����� TiFlash ��ǰ���£�һ�� SQL �� TiDB ��������Ҫ���ж�һ��������·�����ʵ����� TiKV ���� TiFlash �������������Ҳ���ᵽ��������һ����ȷ�����أ����Ǵ����жϲ��������ߴ���·���²�ѯЧ�ʱ�ͣ����籾��Ӧ����ƫ�����ij�����ƫƫ���� TiKV������ TiDB ������Ҳ�ر�������������Ż����������Ĺ�����ͬʱ������ RBO �� CBO�����������ļܹ��߼����˺ܶ� Rules �ȵȣ��Ը������������Ż���ȥ�ҵ��������·������ҿ��Ե����ĵ� 5.2 �½�ȥ��ϸ�˽�һ�¡�

���ܽ᣺�Ҽǵúܾ�֮ǰ���ͻ����ܹ�����ʱ�ᵽ��һ������������ PG + GP �ķ�ʽ�ֱ�֧�� TP + AP ���������������ѵIJ�����ǰ�� SQL ��ת���ͺ�����ݵ�ͬ�������ڻؿ� TiDB ��ƪ���ĵ� HTAP ʵ�֣���������2���ᵽ�ĸ���������ʽ�IJ�ͬ�ͱ��۵㣬�Ҹо� TiDB �� HTAP ̽����ʵҲ��һ��ˮ�����ɡ���Ȼ��Ȼ���£�����Ҫ���ģ����ܾ��Dz�Ʒ����ϸ���Ĵ�ĥ�ˡ�

2. һЩ��ͬ�����µĴ�������

�ڵ�һ���У�������һ����Դʹ�úʹ��۵����⡣���ﵥ����������������һ�¡������Ǹ��۵㣺��������һ�����ݿ� TP �� AP �����������£����� *** ��ôǿ���ڴ��������� AP ���������£������� GP �Ķ��֣�MySQL �����õ�Сѧ�������ã���������Ҫ TiDB �������չ�����⣿

�� TiDB �� TiDB��ͨ�� TiDB �����ģ����ǿ��Կ������¼������⣺

1���Դ洢������������ֵ��ֵ�ã�

�������Ǿ�ֱ�����⣬1��������4���������ܲ��ܽ��ܣ�

������������Ŀ�У��Ѿ����ͻ��ʵ���һ�����⣺

Greenplum �Ǽ�������

Ϊʲô�����ṩ��������

Hadoop ������ǰ�������������������

�����Ը��̧�ܣ��һ�ֱ�Ӹ��߿ͻ���һ��ʵʱ������ϵͳҪ��������ʲô���ѵ����������˲��Ͻ��ޣ���Ҫ�ȵ�����Ҳ�ҵ���

��Ȼ���������о�����ļ�����������˵�������ڶั���Ѿ�����ʲô�������ˣ��ܶ��˶��ܽ������������������ TP �� AP ��ǿ���루����ָ TiKV �� TiFlash �洢����ֱ����ڲ�ͬ��Ӳ���ϣ��������ţ����������ݴ��Ͷ��������ԡ�����һЩ�洢������ֵ�õġ���ͼ���ڻ�����񳡾��£���ר�ŵķ��������ݿ�ļ򵥶Աȣ�TiSpark���������Ϻ�ֵ�ÿ϶���

2�������ִ�мƻ��������ʲô�˺���

������⻹��������һЩ���������������˼�������е��Ż�����������˴����ִ�мƻ����������˴����������ô�죿һ�������͵IJ�ѯ������ TiKV��Ӱ�쵽�����е� TP ҵ����ô�죿�᲻��Ѽ�Ⱥ�Ͽ壿���Ŵ��Ҳ���������ĵ��İɣ���������һЩ�ؼ�ҵ�񳡾��£�û����Ը������������������

�� TiDB �ĽǶȳ������������þͺ����� TiDB ������������ʲô��֪����С��˾�������������ԡ�����������˵��TiDB ���Ķ�������������Ӧ�ö��Ͽɡ������ĺô����ǣ������������ľ�����ۺ�������֤���������ĸ��ʾͻ�С�ܶ࣬������޸�Ҳ���ܶ���Ҳ�кܶ��ֶο���ȥ��Ԥ���󣬱����������� HINT�������۶ϲ����ȵȣ�������С�������ʱ������ҵ���Ӱ�졣

������е� HTAP

���һ�ڣ������Լ�����л������Ŀ����ҵ����Ӻ͹۵㡣�ҵĹ۵����������֪ʶ�棬������ЩƬ�档

�͸���ң�������� HTAP �� TiDB ����ʲô�뷨����ӭ��ע���ڵķ��������һ���������Լ����е� HTAP��

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:TiDB 落地 SAS 机器实践心得
下一篇:TiDB 负载均衡配置实践
相关文章