golang http使用踩过的坑与填坑指南


Posted in Golang onApril 27, 2021

golang对http进行了很好的封装, 使我们在开发基于http服务的时候, 十分的方便, 但是良好的封装, 很容易是的我们忽略掉它们底层的实现细节。

如下是我踩过的一些坑, 以及相应的解决方法。

调用http服务

通常的实践如下:

resp, err := http.Get("http://example.com/")
if err != nil {
               // handle error
}
defer resp.Body.Close()
body, err := ioutil.ReadAll(resp.Body)
// ...

陷阱一: Response body没有及时关闭

网络程序运行中, 过了一段时间, 比较常见的问题就是爆出错误:“socket: too many open files”, 这通常是由于打开的文件句柄没有关闭造成的。

在http使用中, 最容易让人忽视的, 就是http返回的response的body必须close,否则就会有内存泄露。

更不容易发现的问题是, 如果response.body的内容没有被读出来, 会造成socket链接泄露, 后续的服务无法使用。

这里, response.body是一个io.ReadCloser类型的接口, 包含了read和close接口。

type Response struct { 
    // Body represents the response body.
    //
    // The response body is streamed on demand as the Body field
    // is read. If the network connection fails or the server
    // terminates the response, Body.Read calls return an error.
    //
    // The http Client and Transport guarantee that Body is always
    // non-nil, even on responses without a body or responses with
    // a zero-length body. It is the caller's responsibility to
    // close Body. The default HTTP client's Transport may not
    // reuse HTTP/1.x "keep-alive" TCP connections if the Body is
    // not read to completion and closed.
    //
    // The Body is automatically dechunked if the server replied
    // with a "chunked" Transfer-Encoding.
    Body io.ReadCloser
 }

如果没有通过ioutil.ReadAll或者其他的接口读取response.body的内容, 此次socket链接就无法被后续的连接复用, 造成的结果就是该连接一直存在。

尽管调用了ioutil.ReadAll就可以避免该连接的泄露, 我们还是建议在获取response后, 就调用Close, 因为在response返回的地方与ReadAll之间, 万一有条件判断造成接口提前返回, 还是会造成泄露的。

defer resp.Body.Close()

另外, http.Request是不需要主动关闭的。

陷阱二: 默认的http的transport的设定不合适

在简单的应用下, 采用默认的http client就可以满足需要, 在稍微复杂一点的场景, 有其实想要保持长链接以及提高链接复用的效率等方面的控制, 这个时候就需要对client比较清楚的了解。

type Client struct {
    // Transport specifies the mechanism by which individual
    // HTTP requests are made.
    // If nil, DefaultTransport is used.
    Transport RoundTripper  
    // Timeout specifies a time limit for requests made by this
    // Client. The timeout includes connection time, any
    // redirects, and reading the response body. The timer remains
    // running after Get, Head, Post, or Do return and will
    // interrupt reading of the Response.Body.
    //
    // A Timeout of zero means no timeout.
    //
    // The Client cancels requests to the underlying Transport
    // as if the Request's Context ended.
    //
    // For compatibility, the Client will also use the deprecated
    // CancelRequest method on Transport if found. New
    // RoundTripper implementations should use the Request's Context
    // for cancelation instead of implementing CancelRequest.
    Timeout time.Duration
}

这里, 我们重点关注Transport与Timeout两个字段, Transport记录了本次请求的事务信息, 以及连接复用相关的信息。

Timeout记录此次调用的超时时间以避免异常发生的时候的长时间等待。

通常我们使用的默认的Transport定义如下:

var DefaultTransport RoundTripper = &Transport{
    Proxy: ProxyFromEnvironment,
    DialContext: (&net.Dialer{
        Timeout:   30 * time.Second,
        KeepAlive: 30 * time.Second,
        DualStack: true,
    }).DialContext,
    MaxIdleConns:          100,
    IdleConnTimeout:       90 * time.Second,
    TLSHandshakeTimeout:   10 * time.Second,
    ExpectContinueTimeout: 1 * time.Second,
}

默认情况下, 它会保留打开的连接以备未来复用, 如果服务要连接很多的主机, 就会保存很多的空闲连接, IdleConnTimeout用来将超过一定时间的空闲连接回收;实际上, Defaulttransport 的MaxIdleConns是100, 在很多的场景下还是偏小的, 尤其是对于需要管理大的系统并且模块之间交互频繁的情况。

另外, 如果该连接需要定期 访问很多的资源节点, 并列我们知道每个资源节点上面需要的连接数大于2, 那么就会出现很多的短连接, 因为对于每一台资源机, DefaultTransport默认的最大连接数是2, 最大空闲连接是1.

type Transport struct {
     // MaxIdleConnsPerHost, if non-zero, controls the maximum idle
    // (keep-alive) connections to keep per-host. If zero,
    // DefaultMaxIdleConnsPerHost is used.
    MaxIdleConnsPerHost int
    
    // MaxConnsPerHost optionally limits the total number of
    // connections per host, including connections in the dialing,
    // active, and idle states. On limit violation, dials will block.
    //
    // Zero means no limit.
    //
    // For HTTP/2, this currently only controls the number of new
    // connections being created at a time, instead of the total
    // number. In practice, hosts using HTTP/2 only have about one
    // idle connection, though.
    MaxConnsPerHost int
}

HTTP的长连接与TCP的长连接

在http1.1中, http默认保持长连接, 以备将来复用, 但是这个长连接通常是有时间限制的, 并且向我们上面开到的Transport里面的设定, 空闲的连接数是有最大限制的, 超过了该限制,其余新的连接就变成了短连接。

TCP协议本身是长连接, 它超过一定时间没有数据传送, 就会发送心跳来检测该连接是否存活, 如果是, 该连接继续有效。

补充:golang 设置 http response 响应头的内容与坑

用 golang 写 http server 时,可以很方便可通过 w.Header.Set(k, v) 来设置 http response 中 header 的内容。

例如:w.Header().Set("Access-Control-Allow-Origin", "*") 。

但是需要特别注意的是某些时候不仅要修改 http header ,还要修改 http status code。

修改 http status code 可以通过:w.WriteHeader(code) 来实现,例如:w.WriteHeader(404) 。

如果这两种修改一起做,就必须让 w.WriteHeader 在所有的 w.Header.Set 之后,也就是 w.WriteHeader 后 Set Header 是无效的。

今天就遇到了这个问题,在一段代码中调用 w.Header.Set,怎么折腾都无效,最后才发现其它代码段中先调用了 w.WriteHeader。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。如有错误或未考虑完全的地方,望不吝赐教。

Golang 相关文章推荐
Golang二维切片初始化的实现
Apr 08 Golang
Go缓冲channel和非缓冲channel的区别说明
Apr 25 Golang
go 原生http web 服务跨域restful api的写法介绍
Apr 27 Golang
golang import自定义包方式
Apr 29 Golang
golang 定时任务方面time.Sleep和time.Tick的优劣对比分析
May 05 Golang
golang 实现时间戳和时间的转化
May 07 Golang
Golang中异常处理机制详解
Jun 08 Golang
Go语言读取txt文档的操作方法
Jan 22 Golang
victoriaMetrics库布隆过滤器初始化及使用详解
Apr 05 Golang
Golang数据类型和相互转换
Apr 12 Golang
Golang 遍历二叉树
Apr 19 Golang
Go web入门Go pongo2模板引擎
May 20 Golang
Golang 实现超大文件读取的两种方法
Apr 27 #Golang
golang中的空slice案例
Apr 27 #Golang
Go语言切片前或中间插入项与内置copy()函数详解
golang中切片copy复制和等号复制的区别介绍
Apr 27 #Golang
go语言中切片与内存复制 memcpy 的实现操作
Apr 27 #Golang
Go语言中的UTF-8实现
Apr 26 #Golang
golang中实现给gif、png、jpeg图片添加文字水印
Apr 26 #Golang
You might like
怎样在php中使用PDF文档功能
2006/10/09 PHP
一周让你学会PHP 不错的学习资料
2009/02/06 PHP
PHP 模拟登陆MSN并获得用户信息
2009/05/16 PHP
PHP中=赋值操作符对不同数据类型的不同行为
2011/01/02 PHP
PHP简单预防sql注入的方法
2016/09/27 PHP
Zend Framework校验器Zend_Validate用法详解
2016/12/09 PHP
让网页根据不同IE版本显示不同的内容
2009/02/08 Javascript
div+css布局的图片连续滚动js实现代码
2010/05/04 Javascript
原生javascript实现图片轮播效果代码
2010/09/03 Javascript
如何让你的Lightbox支持滚轮缩放及Base64图片
2014/12/04 Javascript
AngularJS语法详解(续)
2015/01/23 Javascript
使用JavaScript解决网页图片拉伸问题(推荐)
2016/11/25 Javascript
backbone简介_动力节点Java学院整理
2017/07/14 Javascript
详解JS中的柯里化(currying)
2017/08/17 Javascript
node.js实现微信JS-API封装接口的示例代码
2017/09/06 Javascript
使用selenium抓取淘宝的商品信息实例
2018/02/06 Javascript
Vue2.0 事件的广播与接收(观察者模式)
2018/03/14 Javascript
jQuery实现的监听导航滚动置顶状态功能示例
2018/07/23 jQuery
js for终止循环 跳出多层循环
2018/10/04 Javascript
详解使用JWT实现单点登录(完全跨域方案)
2019/08/02 Javascript
vue中英文切换实例代码
2020/01/21 Javascript
vue 解决兄弟组件、跨组件深层次的通信操作
2020/07/27 Javascript
Python import自定义模块方法
2015/02/12 Python
使用Python编写一个模仿CPU工作的程序
2015/04/16 Python
详解Python的单元测试
2015/04/28 Python
在Python中操作字典之setdefault()方法的使用
2015/05/21 Python
Python中逗号的三种作用实例分析
2015/06/08 Python
python分布式环境下的限流器的示例
2017/10/26 Python
Python中常用信号signal类型实例
2018/01/25 Python
Python随机生成身份证号码及校验功能
2018/12/04 Python
PyCharm Ctrl+Shift+F 失灵的简单有效解决操作
2021/01/15 Python
介绍一下SQL中union,intersect和minus
2012/04/05 面试题
总经理岗位职责描述
2014/02/08 职场文书
个人求职意向书
2015/05/11 职场文书
本科毕业论文答辩稿
2015/06/23 职场文书
Python基于百度AI实现抓取表情包
2021/06/27 Python