go语言数据库连接池？

Go语言使用gorm对MySQL进行性能测试之前写过了Go语言gorm框架MySQL实践，其中对gorm框架在操作MySQL的各种基础实践，下面分享一下如何使用gorm框架对MySQL直接进行性能测试的简单实践。

这里我使用了一个原始的Go语言版本的 FunTester 测试框架，现在只有一个基本的方法，实在是因为Go语言特性太强了框架设计的主要思路之一就是利用Go语言的闭包和方法参数特性，将一个 func() 当做性能测试的主题，通过不断运行这个 func() 来实现性能测试。

当然还有另外一个思路就是运行一个多线程任务类，类似 Java 版本的 com.funtester.base.constaint.ThreadBase 抽象类，这样可以设置一些类的属性，绑定一些测试资源，适配更多的测试场景。

下面演示select的性能测试，这里我用了随机ID查询的场景 这里我使用从35开始递增的ID进行删除 这里使用了select的用例部分，随机ID，然后更新name字段，随机10个长度的字符串。

这里用到了 FunTester 字段都是随机生成 到这里可以看出，性能测试框架用到的都是gorm框架的基础API使用，这里MySQL连接池的管理工作完全交给了gorm框架完成，看资料说非常牛逼，我们只需要设置几个参数。

这个使用体现很像 HttpClient 设置 HTTP 连接池类似，这里我们也可以看出这些优秀的框架使用起来都是非常简单的 PS：关于gorm的基础使用的请参考上一期的文章Go语言gorm框架MySQL实践。

如何在 Go 语言中使用 Redis 连接池一、关于连接池一个数据库服务器只拥有有限的资源，并且如果你没有充分使用这些资源，你可以通过使用更多的连接来提高吞吐量一旦所有的资源都在使用，那么你就不 能通过增加更多的连接来提高吞吐量。

事实上，吞吐量在连接负载较大时就开始下降了通常可以通过限制与可用的资源相匹配的数据库连接的数量来提高延迟和吞 吐量如何在Go语言中使用Redis连接池如果不使用连接池，那么，每次传输数据，我们都需要进行创建连接，收发数据，关闭连接。

在并发量不高的场景，基本上不会有什么问题，一旦并发量上去了，那么，一般就会遇到下面几个常见问题：性能普遍上不去CPU 大量资源被系统消耗网络一旦抖动，会有大量 TIME_WAIT 产生，不得不定期重启服务或定期重启机器

服务器工作不稳定，QPS 忽高忽低要想解决这些问题，我们就要用到连接池了连接池的思路很简单，在初始化时，创建一定数量的连接，先把所有长连接存起来，然后，谁需要使用，从这里取走，干完活立马放回来 如果请求数超出连接池容量，那么就排队等待、退化成短连接或者直接丢弃掉。

二、使用连接池遇到的坑最近在一个项目中，需要实现一个简单的 Web Server 提供 Redis 的 HTTP interface，提供 JSON 形式的返回结果考虑用 Go 来实现首先，去看一下 Redis 官方推荐的 Go Redis driver。

官方 Star 的项目有两个：Radix.v2 和 Redigo经过简单的比较后，选择了更加轻量级和实现更加优雅的 Radix.v2Radix.v2 包是根据功能划分成一个个的 sub package，每一个 sub package 在一个独立的子目录中，结构非常清晰。

我的项目中会用到的 sub package 有 redis 和 pool由于我想让这种被 fork 的进程最好简单点，做的事情单一一些，所以，在没有深入去看 Radix.v2 的 pool 的实现之前，我选择了自己实现一个 Redis pool。

(这里，就不贴代码了后来发现自己实现的 Redis pool 与 Radix.v2 实现的 Redis pool 的原理是一样的，都是基于 channel 实现的, 遇到的问题也是一样的)不过在测试过程中，发现了一个诡异的问题。

在请求过程中经常会报 EOF 错误而且是概率性出现，一会有问题，一会又好了通过反复的测试，发现 bug 是有规律的，当程序空闲一会后，再进行连续请求，会发生3次失败，然后之后的请求都能成功，而我的连接池大小设置的是3。

再进一步分析，程序空闲300秒 后，再请求就会失败，发现我的 Redis server 配置了 timeout 300，至此，问题就清楚了是连接超时 Redis server 主动断开了连接客户端这边从一个超时的连接请求就会得到 EOF 错误。

然后我看了一下 Radix.v2 的 pool 包的源码，发现这个库本身并没有检测坏的连接，并替换为新server{location/pool{content_by_lua_block{localredis=require"resty.redis"localred=redis:new()localok,err=red:connect("127.0.0.1",6379)ifnotokthenngx.say("failedtoconnect:",err)returnendok,err=red:set("hello","world")ifnotokthenreturnendred:set_keepalive(10000,100)}}}

发现有个 set_keepalive 的方法，查了一下官方文档，方法的原型是 syntax: ok, err = red:set_keepalive(max_idle_timeout, pool_size) 貌似 max_idle_timeout 这个参数，就是我们所缺少的东西，然后进一步跟踪源码，看看里面是怎么保证连接有效的。

function_M.set_keepalive(self,...)localsock=self.sockifnotsockthenreturnnil,"notinitialized"endifself.subscribedthenreturnnil,"subscribedstate"endreturnsock:setkeepalive(...)end

至此，已经清楚了，使用了 tcp 的 keepalive 心跳机制于是，通过与 Radix.v2 的作者一些讨论，选择自己在 redis 这层使用心跳机制，来解决这个问题四、最后的解决方案在创建连接池之后，起一个 goroutine，每隔一段 idleTime 发送一个 PING 到 Redis server。

其中，idleTime 略小于 Redis server 的 timeout 配置连接池初始化部分代码如下：p,err:=pool.New("tcp",u.Host,concurrency)errHndlr(err)gofunc(){for{p.Cmd("PING")time.Sleep(idelTime*time.Second)}}()

使用 redis 传输数据部分代码如下：funcredisDo(p*pool.Pool,cmdstring,args...interface{})(reply*redis.Resp,errerror){reply=p.Cmd(cmd,args...)iferr=reply.Err;err!=nil{iferr!=io.EOF{Fatal.Println("redis",cmd,args,"erris",err)}}return}

其中，Radix.v2 连接池内部进行了连接池内连接的获取和放回，代码如下：//Cmdautomaticallygetsoneclientfromthepool,executesthegivencommand//(returningitsresult),andputstheclientbackinthepoolfunc(p*Pool)Cmd(cmdstring,args...interface{})*redis.Resp{c,err:=p.Get()iferr!=nil{returnredis.NewResp(err)}deferp.Put(c)returnc.Cmd(cmd,args...)}

这样，我们就有了 keepalive 的机制，不会出现 timeout 的连接了，从 redis 连接池里面取出的连接都是可用的连接了看似简单的代码，却完美的解决了连接池里面超时连接的问题同时，就算 Redis server 重启等情况，也能保证连接自动重连。

如何在go语言中使用redis连接池1.在创建连接池之后，起一个 go routine，每隔一段 idleTime 发送一个 PING 到 Redis server其中，idleTime 略小于 Redis server 的 timeout 配置。

2.连接池初始化部分代码如下：p, err := pool.New("tcp", u.Host, concurrency) errHndlr(err) go func() { for { p.Cmd("PING") time.Sleep(idelTime * time.Second) } }()

3.使用 redis 传输数据部分代码如下：func redisDo(p *pool.Pool, cmd string, args ...interface{}) (reply *redis.Resp, err error) { reply = p.Cmd(cmd, args...) if err = reply.Err; err != nil { if err != io.EOF { Fatal.Println("redis", cmd, args, "err is", err) } } return }

4.其中，Radix.v2 连接池内部进行了连接池内连接的获取和放回，代码如下：// Cmd automatically gets one client from the pool, executes the given command // (returning its result), and puts the client back in the pool func (p *Pool) Cmd(cmd string, args ...interface{}) *redis.Resp { c, err := p.Get() if err != nil { return redis.NewResp(err) } defer p.Put(c) return c.Cmd(cmd, args...) }

这样，就有了系统 keep alive 的机制，不会出现 time out 的连接了，从 redis 连接池里面取出的连接都是可用的连接了看似简单的代码，却完美的解决了连接池里面超时连接的问题同时，就算 Redis server 重启等情况，也能保证连接自动重连。

使用Go实现一个数据库连接池开始本文之前，我们看一段Go连接数据库的代码： 本文内容我们将解释连接池背后是如何工作的，并 探索 如何配置数据库能改变或优化其性能 转自： 整理：地鼠文档： 那么sql.DB连接池是如何工作的呢? 。

需要理解的最重要一点是，sql.DB池包含两种类型的连接——“正在使用”连接和“空闲”连接当您使用连接执行数据库任务(例如执行SQL语句或查询行)时，该连接被标记为正在使用，任务完成后，该连接被标记为空闲。

当您使用Go执行数据库操作时，它将首先检查池中是否有可用的空闲连接如果有可用的连接，那么Go将重用这个现有连接，并在任务期间将其标记为正在使用如果在您需要空闲连接时池中没有空闲连接，那么Go将创建一个新的连接。

当Go重用池中的空闲连接时，与该连接有关的任何问题都会被优雅地处理异常连接将在放弃之前自动重试两次，这时Go将从池中删除异常连接并创建一个新的连接来执行该任务 连接池有四个方法，我们可以使用它们来配置连接池的行为。

让我们一个一个地来讨论 SetMaxOpenConns()方法允许您设置池中“打开”连接(使用中+空闲连接)数量的上限默认情况下，打开的连接数是无限的 一般来说，MaxOpenConns设置得越大，可以并发执行的数据库查询就越多，连接池本身成为应用程序中的瓶颈的风险就越低。

但让它无限并不是最好的选择默认情况下，***最多100个打开连接的硬限制，如果达到这个限制的话，它将导致pq驱动返回”sorry, too many clients already”错误。

为了避免这个错误，将池中打开的连接数量限制在100以下是有意义的，可以为其他需要使用***的应用程序或会话留下足够的空间 设置MaxOpenConns限制的另一个好处是，它充当一个非常基本的限流器，防止数据库同时被大量任务压垮。

但设定上限有一个重要的警告如果达到MaxOpenConns限制，并且所有连接都在使用中，那么任何新的数据库任务将被迫等待，直到有连接空闲在我们的API上下文中，用户的HTTP请求可能在等待空闲连接时无限期地“挂起”。

因此，为了缓解这种情况，使用上下文为数据库任务设置超时是很重要的我们将在书的后面解释如何处理 SetMaxIdleConns()方法的作用是：设置池中空闲连接数的上限缺省情况下，最大空闲连接数为2 。

理论上，在池中允许更多的空闲连接将增加性能因为它减少了从头建立新连接发生概率—，因此有助于节省资源 但要意识到保持空闲连接是有代价的它占用了本来可以用于应用程序和数据库的内存，而且如果一个连接空闲时间过长，它也可能变得不可用。

例如，默认情况下MySQL会自动关闭任何8小时未使用的连接 因此，与使用更小的空闲连接池相比，将MaxIdleConns设置得过高可能会导致更多的连接变得不可用，浪费资源因此保持适量的空闲连接是必要的。

理想情况下，你只希望保持一个连接空闲，可以快速使用 另一件要指出的事情是MaxIdleConns值应该总是小于或等于MaxOpenConnsGo会强制保证这点，并在必要时自动减少MaxIdleConns值。

SetConnMaxLifetime()方法用于设置ConnMaxLifetime的极限值，表示一个连接保持可用的最长时间默认连接的存活时间没有限制，永久可用 如果设置ConnMaxLifetime的值为1小时，意味着所有的连接在创建后，经过一个小时就会被标记为失效连接，标志后就不可复用。

但需要注意： 理论上，ConnMaxLifetime为无限大（或设置为很长生命周期）将提升性能，因为这样可以减少新建连接但是在某些情况下，设置短期存活时间有用比如： 如果您决定对连接池设置ConnMaxLifetime，那么一定要记住连接过期(然后重新创建)的频率。

例如，如果连接池中有100个打开的连接，而ConnMaxLifetime为1分钟，那么您的应用程序平均每秒可以杀死并重新创建多达1.67个连接您不希望频率太大而最终影响性能吧 SetConnMaxIdleTime()方法在Go 1.15版本引入对ConnMaxIdleTime进行配置。

其效果和ConnMaxLifeTime类似，但这里设置的是：在被标记为失效之前一个连接最长空闲时间例如，如果我们将ConnMaxIdleTime设置为1小时，那么自上次使用以后在池中空闲了1小时的任何连接都将被标记为过期并被后台清理操作删除。

这个配置非常有用，因为它意味着我们可以对池中空闲连接的数量设置相对较高的限制，但可以通过删除不再真正使用的空闲连接来周期性地释放资源 所以有很多信息要吸收这在实践中意味着什么？我们把以上所有的内容总结成一些可行的要点。

1、根据经验，您应该显式地设置MaxOpenConns值这个值应该低于数据库和操作系统对连接数量的硬性限制，您还可以考虑将其保持在相当低的水平，以充当基本的限流作用 对于本书中的项目，我们将MaxOpenConns限制为25个连接。

我发现这对于小型到中型的web应用程序和API来说是一个合理的初始值，但理想情况下，您应该根据基准测试和压测结果调整这个值 2、通常，更大的MaxOpenConns和MaxIdleConns值会带来更好的性能。

但是，效果是逐渐降低的，而且您应该注意，太多的空闲连接(连接没有被复用)实际上会导致性能下降和不必要的资源消耗 因为MaxIdleConns应该总是小于或等于MaxOpenConns，所以对于这个项目，我们还将MaxIdleConns限制为25个连接。

3、为了降低上面第2点的风险，通常应该设置ConnMaxIdleTime值来删除长时间未使用的空闲连接在这个项目中，我们将设置ConnMaxIdleTime持续时间为15分钟 4、ConnMaxLifetime默认设置为无限大是可以的，除非您的数据库对连接生命周期施加了硬限制，或者您需要它协助一些操作，比如优雅地交换数据库。

这些都不适用于本项目，所以我们将保留这个默认的无限制配置 与其硬编码这些配置，不如更新cmd/api/main.go文件通过命令行参数读取配置 ConnMaxIdleTime值比较有意思，因为我们希望它传递一段时间，最终需要将其转换为Go的time.Duration类型。

这里有几个选择: 1、我们可以使用一个整数来表示秒(或分钟)的数量，并将其转换为time.Duration 2、我们可以使用一个表示持续时间的字符串——比如“5s”(5秒)或“10m”(10分钟)——然后使用time.ParseDuration()函数解析它。

3、两种方法都可以很好地工作，但是在这个项目中我们将使用选项2继续并更新cmd/api/main.go文件如下: File: cmd/api/main.gogolang配制高性能sql.DB有很多教程是关于Go的sql.DB类型和如何使用它来执行SQL数据库查询的。

但大多数内容都没有讲述 SetMaxOpenConns() , SetMaxIdleConns() 和 SetConnMaxLifetime()方法， 您可以使用它们来配置sql.DB的行为并改变其性能。

转自： 整理：go语言中文文档： 在本文我将详细解释这些设置的作用，并说明它们所能产生的(积极和消极)影响 一个sql.DB对象就是一个数据库连接池，它包含“正在用”和“空闲的”连接一个正在用的连接指的是，你正用它来执行数据库任务，例如执行SQL语句或行查询。

当任务完成连接就是空闲的 当您创建sql.DB执行数据库任务时，它将首先检查连接池中是否有可用的空闲连接如果有可用的连接，那么Go将重用现有连接，并在执行任务期间将其标记为正在使用如果池中没有空闲连接，而您需要一个空闲连接，那么Go将创建一个新的连接。

默认情况下，在同一时间打开连接的数量是没有限制(包含使用中+空闲)但你可以通过SetMaxOpenConns()方法实现自定义限制，如下所示: 在这个示例代码中，连接池现在有5个并发打开的连接数。

如果所有5个连接都已经被标记为正在使用，并且需要另一个新的连接，那么应用程序将被迫等待，直到5个连接中的一个被释放并变为空闲 为了说明更改MaxOpenConns的影响，我运行了一个基准测试，将最大打开连接数设置为1、2、5、10和无限。

基准测试在***数据库上执行并行的INSERT语句，您可以在这里找到代码测试结果: 对于这个基准测试，我们可以看到，允许打开的连接越多，在数据库上执行INSERT操作所花费的时间就越少(打开的连接数为1时，执行速度3129633ns/op，而无限连接：531030ns/op——大约快了6倍)。

这是因为允许打开的连接越多，可以并发执行的数据库查询就越多 默认情况下，sql.DB允许连接池中最多保留2个空闲连接你可以通过SetMaxIdleConns()方法改变它，如下所示: 从理论上讲，允许池中有更多的空闲连接将提高性能，因为这样就不太可能从头开始建立新连接——因此有助于提升数据库性能。

让我们来看看相同的基准测试，最大空闲连接设置为none, 1,2,5和10: 当MaxIdleConns设置为none时，必须为每个INSERT从头创建一个新的连接，我们可以从基准测试中看到，平均运行时和内存使用量相对较高。

只允许保留和重用一个空闲连接对基准测试影响特别明显——它将平均运行时间减少了大约8倍，内存使用量减少了大约20倍继续增加空闲连接池的大小会使性能变得更好，尽管改进并不明显 那么，您应该维护一个大的空闲连接池吗?答案取决于应用程序。

重要的是要意识到保持空闲连接是有代价的—它占用了可以用于应用程序和数据库的内存 还有一种可能是，如果一个连接空闲时间太长，那么它可能会变得不可用例如，MySQL的wait_timeout设置将自动关闭任何8小时(默认)内未使用的连接。

当发生这种情况时，sql.DB会优雅地处理它坏连接将自动重试两次，然后放弃，此时Go将该连接从连接池中删除，并创建一个新的连接因此，将MaxIdleConns设置得太大可能会导致连接变得不可用，与空闲连接池更小(使用更频繁的连接更少)相比，会占有更多的资源。

所以，如果你很可能很快就会再次使用，你只需保持一个空闲的连接 最后要指出的是，MaxIdleConns应该总是小于或等于MaxOpenConnsGo强制执行此操作，并在必要时自动减少MaxIdleConns。

现在让我们看看SetConnMaxLifetime()方法，它设置连接可重用的最大时间长度如果您的SQL数据库也实现了最大连接生命周期，或者—例如—您希望方便地在负载均衡器后交换数据库，那么这将非常有用。

你可以这样使用它: 在这个例子中，所有的连接都将在创建后1小时“过期”，并且在过期后无法重用但注意: 从理论上讲，ConnMaxLifetime越短，连接过期的频率就越高——因此，需要从头创建连接的频率就越高。

为了说明这一点，我运行了将ConnMaxLifetime设置为100ms、200ms、500ms、1000ms和无限(永远重用)的基准测试，默认设置为无限打开连接和2个空闲连接这些时间段显然比您在大多数应用程序中使用的时间要短得多，但它们有助于很好地说明行为。

在这些特定的基准测试中，我们可以看到，与无限生存期相比，在100ms生存期时内存使用量增加了3倍以上，而且每个INSERT的平均运行时也稍微长一些 如果您在代码中设置了ConnMaxLifetime，那么一定要记住连接将过期(随后重新创建)的频率。

例如，如果您总共有100个连接，而ConnMaxLifetime为1分钟，那么您的应用程序可能每秒钟杀死和重新创建1.67个连接(平均值)您不希望这个频率太大，最终会阻碍性能，而不是提高性能 最后，如果不说明超过数据库连接数量的硬限制将会发生什么，那么本文就不完整了。

为了说明这一点，我将修改postgresql.conf文件，这样总共只允许5个连接(默认是100个)… 然后在无限连接的情况下重新运行基准测试…… 一旦达到5个连接的硬限制，数据库驱动程序(pq)立即返回一个太多客户端连接的错误消息，而无法完成INSERT。

为了防止这个错误，我们需要将sql.DB中打开连接的最大总数(正在使用的+空闲的)设置为低于5像这样: 现在，sql.DB在任何时候最多只能创建3个连接，基准测试运行时应该不会出现任何错误但是这样做需要注意：当达到开放连接数限制，并且所有连接都在使用时，应用程序需要执行的任何新的数据库任务都将被迫等待，直到连接标记为空闲。

例如，在web应用程序的上下文中，用户的HTTP请求看起来会“挂起”，甚至在等待数据库任务运行时可能会超时 为了减轻这种情况，你应该始终在一个上下文中传递在调用数据库时，启用上下文的方法(如ExecContext())，使用固定的、快速的超时上下文对象。

总结 1、根据经验，应该显式设置MaxOpenConns值这应该小于数据库和基础设施对连接数量的硬性限制 2、一般来说，更高的MaxOpenConns和MaxIdleConns值将带来更好的性能。

但你应该注意到效果是递减的，连接池空闲连接太多(连接没有被重用，最终会变坏)实际上会导致性能下降 3、为了降低上面第2点带来的风险，您可能需要设置一个相对较短的ConnMaxLifetime但你也不希望它太短，导致连接被杀死或不必要地频繁重建。

4、MaxIdleConns应该总是小于或等于MaxOpenConns 对于中小型web应用程序，我通常使用以下设置作为起点，然后根据实际吞吐量水平的负载测试结果进行优化go语言TCP连接池rocket049/connpool使用。

安装： go get -v -u github.com/rocket049/connpool go get -v -u gitee.com/rocket049/connpool rocket049/connpool 包是本人用go语言开发的，提供一个通用的TCP连接池，初始化参数包括最高连接数、超时秒数、连接函数，放回连接池的连接被重新取出时，如果已经超时，将会自动重新连接；如果没有超时，连接将被复用。

可调用的函数： 调用示例：

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。