[译] Go语言的协程，系统线程以及CPU管理

本文基于Go 1.13

创建系统线程以及在系统线程间切换，会对程序的内存和性能造成较大的开销。 Go 的目标是尽量利用 CPU 多核资源。设计之初就考虑了高并发性。

M，P，G 模型

为了达到这个目标， Go 拥有一个将协程调度到系统线程执行的调度器。这个调度器定义了三个核心概念，在 Go 源码中是这样解释的：

G – goroutinue. 协程

M – worker thread, or machine. 工作线程

P – processor, 执行Go代码时所必须的一种资源。

M必须有一个相关联的P才能执行Go代码。

以下是 P ， M ， G 模型的示意图：

每个协程（ G ）在一个分配给逻辑 processor （ P ）的系统线程（ M ）上运行。来看一个小例子：

func main() {
   var wg sync.WaitGroup
   wg.Add(2)

   go func() {
      println(`hello`)
      wg.Done()
   }()

   go func() {
      println(`world`)
      wg.Done()
   }()

   wg.Wait()
}

首先， Go 会根据当前机器的逻辑 CPU 个数来创建相应数量的 P ，并将它们存放在一张空闲 P 列表中：

然后，新创建并等待被运行的协程会唤醒一个 P 来执行这个任务，这个 P 会创建一个和系统线程相关联的 M ：

和 P 一样，如果一个 M 没有工作可做了，该 M 会被放入空闲 M 链表中：

在程序启动时， Go 会预先创建一些系统线程以及相关联的 M 。在上面的小例子中，第一个打印 hello 的协程会使用主协程，而第二个打印 world 的协程会从空闲列表中获取到一个 M 和一个 P ：

以上，我们有了一张管理协程和系统线程的全局图，让我们进一步看看 Go 在什么情况下会使用更多的 M 和 P ，以及调用系统调用时协程是如何被管理的。

系统调用

Go 对系统调用做了优化，具体做法是在运行时对系统调用做了封装（不管系统调用是否会造成阻塞）。该部分封装代码会自动将 P 与线程 M 解除绑定，使得另一个线程 M 可以在这个 P 上运行。让我们来看一个读取文件的例子：

func main() {
   buf := make([]byte, 0, 2)

   fd, _ := os.Open("number.txt")
   fd.Read(buf)
   fd.Close()

   println(string(buf)) // 42
}

以下是打开文件的流程：

现在， P0 被放入空闲列表中，可被使用。当系统调用结束之后， Go 顺序执行如下流程直到其中一条规则被满足：

• 试图获取同一个 P ，在我们上面的例子就是 P0 ，如果获取到，则恢复执行
• 试图在空闲列表中获取一个 P ，如果获取到，则恢复执行
• 将协程放入全局队列中，将相关的 M 放入空闲列表中

并且， Go 使用非阻塞 I/O 模式，对资源还没有就绪的情况也做了处理，比如说 http 请求。这种情况下首先也遵循上面所说的系统调用的流程，之后如果底层的系统调用由于资源没有就绪而返回失败时，Go会强制使用 network poller ，并且将该协程挂起。以下是例子：

func main() {
   http.Get(`https://httpstat.us/200`)
}

当底层的系统调用返回并且显式表示资源没有就绪时，协程将被挂起，直到 network poller 通知它资源已经就绪。这种情况下，线程 M 不会被阻塞：

当 Go 调度器重新调度时，之前的那个协程将被重新运行。调度器会询问 network poller 是否存在之前在等待资源并且现在资源已经就绪的协程：

如果有多个协程就绪了，其它的协程会被放入全局等待执行队列中，稍后会被调度执行。

关于系统线程数的限制

当使用了系统调用时， Go 并不限制这些可能被阻塞的系统线程的数量，以下是 Go 代码中的注释说明：

GOMAXPROCS变量限制的是用户层面Go代码的系统线程数量。对于可能造成阻塞的系统调用的线程数是不做限制的；它们不计算在GOMAXPROCS限制之中。

以下是一个例子：

func main() {
   var wg sync.WaitGroup

   for i := 0;i < 100 ;i++  {
      wg.Add(1)

      go func() {
         http.Get(`https://httpstat.us/200?sleep=10000`)

         wg.Done()
      }()
   }

   wg.Wait()
}

以下是使用 tracing 工具，查看程序创建的线程数量：

值得一提，由于 Go 可以复用系统线程，所以工具查看到的线程数要小于例子中 for 循环的次数。

英文原文地址： Go: Goroutine, OS Thread and CPU Management

原文链接： https://pengrl.com/p/29953/

原文出处： yoko blog ( https://pengrl.com )

原文作者：yoko

版权声明：本文欢迎任何形式转载，转载时完整保留本声明信息（包含原文链接、原文出处、原文作者、版权声明）即可。本文后续所有修改都会第一时间在原始地址更新。