数据库中间件Atlas调研笔记

数据库中间件Atlas调研笔记

13年底负责数据库中间件设计时的调研笔记，拿出来和大家分享，轻拍。

一、Atlas是什么

奇虎360的一个mysql数据库中间层项目在mysql官方推出的mysql-proxy0.8.2的基础上改的基于服务端的中间件

画外音：数据库中间件有基于服务端的，也有基于客户端的，***属于后者;而cobar和Atlas是一个中间层服务，属于前者。

二、Atlas相对mysql-proxy的优势

既然Atlas是基于mysql-proxy改的，有一些什么优化呢?

主流程中的Lua脚本用C重写网络模型，线程模型重写实现了“真正意义”上的连接池，真正连接复用优化了锁机制，性能提高数十倍

画外音：性能提高数十倍是传说，用过的同学可以出来说一说。

官方mysql-proxy主库宕机从库亦不可用，Atlas优化为可读不可写

优化之外，还新增了什么特性呢?

ip过滤分表支持dba可平滑上下线db自动摘除宕机db…

三、Atlas最吸引人的分表功能

分表功能是Atlas相对于mysql-proxy最具有吸引力的功能。

1. 分表设置

为了支持分表，需要增加分表设置

tables = $db_name     .$table_name     .$partition_column_name     .$table_count

例如

tables = school:stu:id:100

数据库名叫school表名叫stu分表字段叫id总共分为100张表

这100张子表需要用户手动逐个建立的，stu_0, stu_1, stu_2, … stu_99，并且所有的子表必须在一个数据库里。

画外音：额，这个需要用户手动执行，还是有点坑的。

画外音：分表并且要求子表在一个库里，如果数据量过大，无法通过扩展实例来扩容，不确定Atlas对于这个问题是如何考虑“扩展性”的。

2. 操作支持

Atlas支持select, delete, update, insert, replace操作，它会根据$partition_column_name 的值来对表的个数进行取模，以定位到sql请求要落到哪个子表。

需要注意的是，sql语句必须带上分表id作为查询条件，如果不带上id，则会提示stu表不存在。

画外音：不支持夸库分表，不支持非partition_column上的查询，应用场景应该会比较受限。

四、Atlas的参数扩展

1. min-idle-connections

用来实现mysq连接池功能，进行连接限制Atlas为每台DB建立一个连接池当有客户端连接Atlas时，Atlas会先在第一台DB上建立连接，直到第一台DB连接池内的空闲连接数达到min-idle-connections，再在下一台DB上建立连接，直到所有DB连接池内的空闲连接数都达到min-idle-connections，便不再建立新连接，而开始复用连接池内的连接Atlas启动时，配置里的所有DB会按照主库在前从库在后的顺序在内存里排好次序，所以初始阶段会先在主库上建立连接Atlas在运行过程中，某连接如果触发了DB的wait_timeout，Atlas会把该连接销毁，如果因此而导致连接池内的空闲连接数低于min-idle-connections，Atlas将在客户端下一次连接时重新在该DB上建立连接初使用者常常会误认为读写分离不起作用，其实是由于min-idle-connections设置得较大，而测试时只连接了一次或几次，这样的话建立的连接都在主库上，从库上还没有建立连接，此时发送读语句，自然也只能打向主库DB的wait_timeout建议不要设得太小，因为Atlas有连接池机制，不会一直新建连接导致DB上连接数过多，所以DB不需要依赖wait_timeout防止过多连接，如果wait_timeout太小会导致Atlas的一些不必要的销毁超时连接的开销

画外音：并发量比较大的时候，连接几乎不会被销毁。

2. client-ips

该参数用来实现多用户的权限控制功能

配置格式如下：

client-ips : 127.0.0.1, 192.168.0.*

画外音：简单而实用的功能，多少事故是因为“线下将流量压到线上”或者“ SecureCRT 窗口太多，切换错了数据库”。

3. lvs-ips

该参数是Atlas前面挂接的LVS的物理网卡的IP，不是虚IP该参数用来实现平滑重启功能，否则在重启Atlas的瞬间的那些SQL请求都会失败平滑重启的条件：至少有两台配置相同的Atlas，且挂接在LVS之后

五、Atlas最受关注FAQ

1. 问：Atlas是否支持多字符集?

答：是，对多字符集的支持是Atlas对原版MySQL-Proxy的第一项改进。

2. 问：Atlas是否支持事务操作?

答：支持，且处于事务状态的客户端中途退出时，Atlas会销毁该客户端使用的连接，让后台的mysql回滚事务，保证了事务的完整性。

画外音：单库多表。

3. 问：自动读写分离挺好，但有时候写完马上就想读，万一主从同步延迟怎么办?

答：SQL语句前增加 /*master*/ 就可以将读请求强制发往主库，例如：

/*master*/ select * from t;

画外音：额，需要调用方自己来强制读主，说实话，不是特别实用。

4. 问：主库宕机，读操作受影响么?

答：不受影响，mysql-proxy不支持这个功能。

5. 问：想下线一台DB, 又不想停掉server, 怎么办?

答：可以通过管理接口手动上下线后端db：

remove backend i

6. 问：想给集群中增加一台DB, 不想影响线上正常访问可以吗?

答：可以通过管理接口可以实现：

add master ip:port add slave ip:port@weight

7. 问：Atlas支持mysql的prepare特性吗?

答：不支持，但打算在后续版本中支持。

8. 问：Altas支持多个主库的运行模式吗?

答：目前还未对于Atlas后面挂接多个主库的情形进行测试过，不建议这样使用。建议使用一主一从或一主多从的模式。

9. 问：Altas支持SQL安全性过滤吗?

答：支持，不带where字句的delete可以过滤。

10. 问：Altas未来有什么发展规划?

答：支持跨机器的分库分表，将数据分不到多台机器上。

戳这里，看该作者更多好文

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。