记一次 redis cluster 事务 (transaction) 翻车及分析总结

2020年3月28日 · 阅读需 11 分钟

发现生产环境的业务报了好多错误, 涉及的 Node.js 代码是一个基于 Redis 的频率计数器，那部分逻辑大概是这样

// 查询并增加一次计数
async incr (id) {
    const key = `${this.namespace}:${id}`
    const now = getMicrotime()
    const start = now - this.duration * 1000

    const operations = [
      ['zremrangebyscore', key, 0, start],
      ['zcard', key],
      ['zadd', key, now, now],
      ['pexpire', key, this.duration]
    ]

    const res = await this.redis.multi(operations).exec()
    const count = toNumber(res[1][1])
    return count
}

错误是：

Cannot read property '1' of undefined

Mac 环境下 node 安装 canvas@2.6.1 出现错误

2020年3月6日 · 阅读需 1 分钟

Mac 环境下 node 安装 canvas@2.6.1 出现以下错误时

node: cairo-pattern.c:1127: cairo_pattern_destroy: Assertion failed. none - catched error

使用 brew 安装一下以下几个库

brew install pixman cairo pango

不过你可能会遇到 python2.x 升级失败的问题

可以试试

brew uninstall python@2
brew install python
brew upgrade python

升级到 python3.x

来源: https://github.com/Automattic/node-canvas/issues/1065#issuecomment-373381272

mysql 查询某个库、表、列的字符集 charset

2020年2月21日 · 阅读需 1 分钟

SELECT default_character_set_name FROM information_schema.SCHEMATA
WHERE schema_name = "schemaname";

表

SELECT CCSA.character_set_name FROM information_schema.`TABLES` T,
       information_schema.`COLLATION_CHARACTER_SET_APPLICABILITY` CCSA
WHERE CCSA.collation_name = T.table_collation
  AND T.table_schema = "schemaname"
  AND T.table_name = "tablename";

列

SELECT character_set_name FROM information_schema.`COLUMNS`
WHERE table_schema = "schemaname"
  AND table_name = "tablename"
  AND column_name = "columnname";

axios 下载文件并保存到本地

2020年1月7日 · 阅读需 1 分钟

const Fs = require('fs')
const Path = require('path')
const Axios = require('axios')

async function downloadImage () {
  const url = 'https://unsplash.com/photos/AaEQmoufHLk/download?force=true'
  const path = Path.resolve(__dirname, 'images', 'code.jpg')
  const writer = Fs.createWriteStream(path)

  const response = await Axios({
    url,
    method: 'GET',
    responseType: 'stream'
  })

  response.data.pipe(writer)

  return new Promise((resolve, reject) => {
    writer.on('finish', resolve)
    writer.on('error', reject)
  })
}

downloadImage()

主要注意的是

responseType: 'stream'
response.data.pipe(writer)

golang 切片初始化时下标的行为

2019年12月3日 · 阅读需 1 分钟

使用另外一个数组来初始化切片时，使用到的下标是一个半开区间的玩意儿，比如

package main

import "fmt"

func main() {
	primes := [6]int{2, 3, 5, 7, 11, 13}

	var s []int = primes[1:4]
	fmt.Println(s)
}

得到的结果是

3,5,7

在学习 golang 了解到的一些概念的细节

2019年12月3日 · 阅读需 9 分钟

知识一些之前只知道这些名词，但是并不知道这个名词的细节，以下内容仅是个人理解，也可能理解的不到位。

这个词之前只是尝尝看到对比

同步 IO
异步 IO
阻塞 IO
非阻塞 IO

这几个概念时，会提到的 IO 模型，~~比如：select、poll、epoll~~ 这里之前描述的有问题，IO 模型中有一种是 IO multiplexing，常译为 IO 多路复用，几种实现是 select、poll、epoll。

而我之前一直不太理解这几个都有啥区别，最近看到知乎的一篇文章，也算大概理解了，可以参考这篇一个EOF引发的探索之路之四（理解golang的NetFD之I/O多路复用篇）。

真正从代码层面了解到的是，看到的两个关于优化 golang WebSocket 内存占用的文章，使用 epoll 的方式来接收百万级别的长连接。问题出现的原因是，在通常情况下，我们都会为每个连接分配一个 goroutine ，这在一般情况下是没有什么问题的，而且比其他语言的线程级别的实现要轻量高效的多。但是 goroutine 是没有开销的吗？当然不是！根绝不同的平台，每个 groutine 需要 2K ~ 8K 左右的内存开销（在不做任何事情的情况下，参考 https://github.com/golang/go/blob/release-branch.go1.8/src/runtime/stack.go#L64-L82 ），那么这时候，有什么办法优化么？是有的。

通过 epoll 是如何优化的

通过文章中的代码优化示例（https://github.com/eranyanay/1m-go-websockets/blob/master/4_optimize_gobwas/epoll.go ），我们可以了解到，epoll 方式的是通过接收请求时获取 net.Conn 连接的 fd (File descriptor，具体的值其实是个 int 的值) 文件描述符，然后将文件描述符注册到 epoll 中，每当这个文件描述符所对应的连接有新的数据发送过来时，则会触发我们注册 epoll 时，选择监听的事件，这时，我们再通过这些触发事件的列表信息中的 fd 获取对应的连接，获取到这些连接之后，就可以去获取连接中接收到的数据了。这样只在连接没有任何数据时，并不需要一个固定的 goroutine 的开销。

引申的一些东西

由于涉及到了 net.Conn ，想到了 http 长连接怎么去处理 net.Conn，这时查到了一篇关于请求拦截的文章，参看 https://colobu.com/2016/07/01/the-complete-guide-to-golang-net-http-timeouts/。

还有另外的一些：

Accessing the underlying socket of a net/http response

zero-copy

意思是零拷贝，这个概念我一开始怎么也猜不到是怎么样实现的，直到看了内存优化的这篇文章 A Million WebSockets and Go 的 3.4 节，发现也不是说完全不用内存，内存还是要的，只是说开辟一块很小的空间，重复利用，但是不对 http 中的原始内容复制到一块新的内存上去再处理，只是每次写入这一块小空间，处理完之后就直接重置这块内存空间，从而达到零拷贝的目的。

fd - File descriptor - 文件描述符

维基百科的解释可参考 https://zh.wikipedia.org/wiki/%E6%96%87%E4%BB%B6%E6%8F%8F%E8%BF%B0%E7%AC%A6，另外一篇讲的还算是具体一点的是这篇 http://c.biancheng.net/view/3066.html

相关链接

WebSocket Frame https://tools.ietf.org/html/rfc6455#section-5.2
https://github.com/mailru/easygo

学单词 deprecated

2019年11月27日 · 阅读需 1 分钟

意思是 被弃用

比较常见在开源软件中，用于声明已经不维护或是没有人维护。

Node.js 案例

uws 已停止维护

参考地址 https://www.npmjs.com/package/uws

nodemailer 使用 126 邮箱时的踩坑，报错 Invalid login 535 Error authentication failed

2019年9月3日 · 阅读需 2 分钟

错误

如果你在使用 nodemailer smtp 发送邮箱时遇到了以下错误：

Error: Invalid login: 535 Error: authentication failed

也许是因为需要使用「客户端授权码」的问题。

解决

const _ = require('lodash')
const nodemailer = require('nodemailer')

async function main () {
  const mailer = nodemailer.createTransport({
    host: 'smtp.126.com',
    port: 465,
    pool: true,
    secure: true,
    auth: {
      type: 'login',
      user: 'xxxxx@126.com',
      pass: 'xxxxx'    // 如果开启了客户端授权码，则这里需要填写客户端授权码
    },
    tls: {
      rejectUnauthorized: false
    }
  })

  const sendMailOptions = {
    from: 'xxxxxxx@126.com',
    to: 'xxxxxx@163.com',
    subject: ' 测试主题 ',
    html: ' 测试内容 '
  }

  const result = await mailer.sendMail(sendMailOptions)

  if (!_.startsWith(_.get(result, 'response'), '250 Mail OK')) {
    return Promise.reject(new Error('Send mail fail'))
  }

  return result.response
}

main()

参考

https://cnodejs.org/topic/55b78babf30671210b35fa31

alinode 和官方的 node 版本对应关系

2019年8月22日 · 阅读需 1 分钟

可以通过这个地址访问到

http://alinode.aliyun.com/dist/new-alinode/alinode.json

其中

{
  "version": "v4.7.2",
  "date": "2019-03-11",
  "files": "linux-x64,osx-x64-tar",
  "npm": "6.4.1",
  "v8": "6.8.275.32",
  "uv": "1.23.2",
  "zlib": "1.2.11",
  "openssl": "1.1.0j",
  "modules": "64",
  "node": "v10.15.3",
  "notes": [
  	""
  ]
}

version 是 alinode 版本，node 是官方 node 版本

nodejs 在 build docker 镜像时 grpc 库安装超时的解决办法

2019年8月16日 · 阅读需 1 分钟

在 Dockerfile 执行命令时，添加以下选项

FROM node

COPY . .
RUN npm install --grpc_node_binary_host_mirror=https://npm.taobao.org/mirrors/

CMD   ['npm', 'start']

表

列

通过 epoll 是如何优化的​

引申的一些东西​