目前,我开发 HTTP 服务, 用的是 beego框架, 方便了很多。
但是, 有时候,还是会遇到一些 特殊的场景。
比如: 过滤日志。
这应该是一种典型的stream,同时数据量也适中, 不会有人,为了这个, 就用一些很重的框架。
可以这样直观的描述这个 逻辑
其他组件 产生 log
||
\ /
我的组件,业务处理
||
\ /
用户, http client
这种情景下, 有几个特殊点:
1. 难以用 string,或者 byte 数组 收集数据
2. 数据Source 端,不断的有数据产生
3. 数据缓冲,如果占有的 内存太多, 可能导致 服务崩溃
通常情况下,我们准备好数据, 然后调用Beego框架的方法,将数据发送到客户端,就不管了。
而如果,我们需要根据处理的情况,多次写数据到客户端,该怎么办呢?
首先,对于 这种简单的 流数据, golang 提供了一个 结构。
pipeReader, pipeWriter := io.Pipe()
这个方法的原型是这样的
func Pipe() (*PipeReader, *PipeWriter)
它返回紧密相连的一对 Reader 和 Writer。 他们的“生命周期”相同。
任何 写到 Writer中的数据, 直接流到了Reader中。这个 和 Linux 命令行中 “管道 |” 很像。
我们先开个goroutine 接收 日志数据
go func () { for { var log []byte //log = pipeWriter.Write(log) //break; } pipeWriter.CloseWithError(io.EOF) }
主逻辑中, 处理日志
defer pipeReader.Close() rr := bufio.NewReader(io.Reader(pipeReader)) for { line, err := rr.ReadBytes('\n') if io.EOF == err { break } ........ }
最后, 输出到客户端
var out []byte ctl.Ctx.ResponseWriter.Write(out) ctl.Ctx.ResponseWriter.Flush()
总结:
iopipe 直接 对接了 日志输出, 缓冲很小,
处理后的结果, 直接输出到 http 客户端。
尤其是第二点,很重要,我在处理这个逻辑的时候, 发现服务器,有几次意外崩溃,后来,才意识到,beego的controller 如果缓冲 处理后的数据,有可能仍然占有大量内存。
以上为个人经验,希望能给大家一个参考,也希望大家多多支持。如有错误或未考虑完全的地方,望不吝赐教。
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
更新日志
- 群星.2006-失而复得2辑【新艺宝】【WAV+CUE】
- 《张震岳6CD合集》1993-2000全套[WAV+CUE][3.1G]
- 周华健《粤语精选+国语精选》日本母带 [WAV+CUE][1.2G]
- 《陈楚生6CD合集》[WAV+CUE][2.2G]
- dnf经验胶囊快速获得
- dnf结婚地下城入场材料怎么获得
- dnf结婚戒指属性和婚房属性
- FlorianNoack-IWannaBeLikeYou(2024)【Hi-Res】24bit-96kHz【flac】
- 张国荣.1995-狂恋·国语经典【新艺宝】【WAV+CUE】
- 佛教音乐.2012-《藏传密咒精选集》[FLAC+CUE]
- 微软在Win11中加入内置广告:宣传XGP服务
- 《地狱之刃2》官方:游戏中美景都是取材于真实地点
- 对漫威太失望!叉骨叔确认加盟DC《和平使者》第2季
- 李克勤.1998-寻最这五年2CD【艺能动音】【WAV+CUE】
- 彭莉.1995-感谢你的爱【宝丽金】【WAV+CUE】