当 goroutine 数量增加时，Go 程序会变慢。这是因为 goroutine 的调度和切换会引入额外的开销，从而导致程序性能下降。虽然 goroutine 在提供并发性能方面表现出色，但是过多的 goroutine 会导致线程竞争和资源争用，进而影响程序的执行效率。为了避免这种情况发生，我们需要合理管理和控制 goroutine 的数量，确保程序能够高效地运行。在本文中，php小编柚子将为您介绍一些优化 goroutine 性能的方法和技巧，帮助您提升 Go 程序的执行效率。
问题内容
我正在为我的并行性课程做一个小项目，我已经尝试使用缓冲通道、无缓冲通道、不使用指向切片的指针的通道等。此外，尝试尽可能优化它（不是当前状态）但我仍然得到相同的结果：增加 goroutine 数量（甚至增加 1）会减慢整个程序的速度。有人可以告诉我我做错了什么吗？在这种情况下甚至可以增强并行性吗？
这是部分代码：
func main() {
rand.seed(time.now().unixmicro())
numagents := 2
fmt.println("please pick a number of goroutines: ")
fmt.scanf("%d", &numagents)
numfiles := 4
fmt.println("how many files do you want?")
fmt.scanf("%d", &numfiles)
start := time.now()
numassist := numfiles
channel := make(chan []file, numagents)
files := make([]file, 0)
for i := 0; i < numagents; i++ {
if i == numagents-1 {
go generatefiles(numassist, channel)
} else {
go generatefiles(numfiles/numagents, channel)
numassist -= numfiles / numagents
}
}
for i := 0; i < numagents; i++ {
files = append(files, <-channel...)
}
elapsed := time.since(start)
fmt.printf("function took %s\n", elapsed)
}
func generatefiles(numfiles int, channel chan []file) {
magicnumbersmap := getmap()
files := make([]file, 0)
for i := 0; i < numfiles; i++ {
content := randelementfrommap(&magicnumbersmap)
length := rand.intn(400) + 100
hexslice := gethex()
for j := 0; j < length; j++ {
content = content + hexslice[rand.intn(len(hexslice))]
}
hash := getsha1hash([]byte(content))
file := file{
content: content,
hash: hash,
}
files = append(files, file)
}
channel <- files
}
预期通过增加 goroutines，程序会运行得更快，但达到一定数量的 goroutines，此时通过增加 goroutines，我将获得相同的执行时间或稍慢一些。
编辑：使用的所有功能：
import (
"crypto/sha1"
"encoding/base64"
"fmt"
"math/rand"
"time"
)
type File struct {
content string
hash string
}
func getMap() map[string]string {
return map[string]string{
"D4C3B2A1": "Libcap file format",
"EDABEEDB": "RedHat Package Manager (RPM) package",
"4C5A4950": "lzip compressed file",
}
}
func getHex() []string {
return []string{
"0", "1", "2", "3", "4", "5",
"6", "7", "8", "9", "A", "B",
"C", "D", "E", "F",
}
}
func randElementFromMap(m *map[string]string) string {
x := rand.Intn(len(*m))
for k := range *m {
if x == 0 {
return k
}
x--
}
return "Error"
}
func getSHA1Hash(content []byte) string {
h := sha1.New()
h.Write(content)
return base64.URLEncoding.EncodeToString(h.Sum(nil))
}解决方法
简单来说 - 文件生成代码不够复杂，不足以证明并行执行的合理性。所有上下文切换和通过通道移动数据都会消耗并行处理的所有好处。
如果你在 generatefiles 函数的循环中添加类似 time.sleep(time.millisecond * 10) 的内容，就好像它在做更复杂的事情一样，你会看到你期望看到的东西 - 更多的 goroutine 工作得更快。但同样，只有到一定程度，并行处理的额外工作才会带来好处。
另请注意，程序最后一位的执行时间：
for i := 0; i < numAgents; i++ {
files = append(files, <-channel...)
}
直接取决于 goroutine 的数量。由于所有 goroutine 大约同时完成，因此该循环几乎不会与您的工作线程并行执行，并且运行所需的时间只是添加到总时间中。
接下来，当您多次追加到 files 切片时，它必须增长几次并将数据复制到新位置。您可以通过最初创建一个切片来填充所有结果元素（幸运的是，您确切知道需要多少个元素）来避免这种情况。
