0

0

理解Go中的syncCond:生产者-消费者场景中的Goroutine同步

DDD

DDD

发布时间:2024-11-06 17:06:20

|

770人浏览过

|

来源于dev.to

转载

理解go中的synccond:生产者-消费者场景中的goroutine同步

Hitems
Hitems

HITEMS是一个AI驱动的创意设计平台,支持一键生成产品

下载

在并发编程中,同步是防止数据竞争并确保线程或 goroutine 以协调方式运行的关键。 想象一下,您在协调多个生产者和消费者访问共享资源(例如缓冲区或队列)时遇到问题。这种经典的并发挑战被称为生产者-消费者问题。在这种情况下,同步对于确保生产者不会覆盖数据以及消费者不会读取无效或陈旧的数据至关重要。同步是必要的,因为如果没有正确的同步,同时访问共享数据可能会导致竞争条件、数据损坏或崩溃。如果缓冲区已满,生产者需要等待,如果缓冲区为空,消费者需要等待。 在某些情况下您有一个固定大小的有界缓冲区,并且您需要管理多个生产者和消费者之间对其的访问。

什么是sync.cond?

go 中的sync.cond 是一种信号机制,允许 goroutine 等待直到满足特定条件。它对于协调复杂的工作流程特别有用,在这些工作流程中,某些 goroutine 需要暂停执行并等待其他 goroutine 完成某些操作。 sync.cond 背后的想法非常简单且易于理解:

  • 阻塞:goroutines 可以等待信号,暂停执行直到收到通知。
  • 发信号:当满足条件时,其他 goroutine 可以向等待的 goroutine 发出信号以继续执行。
  • 效率:通过让 goroutine 休眠直到收到信号来减少繁忙等待。
sync.cond 的工作原理

  • sync.cond初始化:它需要一个locker,通常是sync.mutex或sync.rwmutex来控制访问。此储物柜有助于保护共享资源。
  • wait():当 goroutine 调用 wait() 时,它:
      释放关联的锁,允许其他 goroutine 访问该资源。
    • 等待(阻塞)直到另一个 goroutine 发出继续的信号。
  • 信号()和广播()
    • signal() 唤醒一个 等待的 goroutine,允许其获取锁并继续。
    • broadcast() 唤醒所有 等待的 goroutine。
问题:具有互斥锁和条件变量的生产者-消费者

假设您有一个

缓冲区(或队列),其大小固定。多个生产者生成项目并将其添加到缓冲区,而多个消费者则从中删除项目。挑战是:

    确保生产者仅在缓冲区有空间时添加项目。
  1. 确保消费者仅在缓冲区不为空时移除项目。
  2. 向生产者和消费者发出可以添加或删除项目的信号。
这是初始代码结构:


package main

import (
    "fmt"
    "sync"
    "time"
)

const buffersize = 5

type buffer struct {
    data []int
    mu   sync.mutex
    cond *sync.cond
}

func (b *buffer) produce(item int) {
    // producer logic to add item to the buffer
}

func (b *buffer) consume() int {
    // consumer logic to remove item from the buffer
    return 0
}

func main() {
    buffer := &buffer{data: make([]int, 0, buffersize)}
    buffer.cond = sync.newcond(&buffer.mu)
    var wg sync.waitgroup

    // start producer goroutines
    for i := 1; i <= 3; i++ {
        wg.add(1)
        go func(id int) {
            defer wg.done()
            for j := 0; j < 5; j++ { // each producer creates 5 items
                buffer.produce(id*10 + j) // produce unique items based on id and j
                time.sleep(100 * time.millisecond)
            }
        }(i)
    }

    // start consumer goroutines
    for i := 1; i <= 3; i++ {
        wg.add(1)
        go func(id int) {
            defer wg.done()
            for j := 0; j < 5; j++ { // each consumer consumes 5 items
                item := buffer.consume()
                fmt.printf("consumer %d consumed item %d\n", id, item)
                time.sleep(150 * time.millisecond)
            }
        }(i)
    }

    wg.wait()
    fmt.println("all producers and consumers finished.")
}

作为工程师,我们的任务是实现生产和消费方法来实现这些要求。 produce 方法将项目添加到缓冲区,并在添加项目时通知消费者。 consumer 方法从缓冲区中删除项目,并在项目被删除时通知生产者。这个问题可以通过使用sync.cond来等待并在缓冲区已满或空时发出信号来无缝解决。

在示例中使用sync.cond

以下是如何在生产和消费方法中使用sync.cond的详细信息:

初始化:

buffer.cond = sync.newcond(&buffer.mu)

    这里,sync.newcond(&buffer.mu) 创建一个与 mu 互斥体关联的新条件变量。条件变量可以等待缓冲区的更改并发出信号(例如添加或删除项目)。

生产者方法(生产):

func (b *buffer) produce(item int) {
    b.mu.lock()
    defer b.mu.unlock()

    // wait if the buffer is full
    for len(b.data) == buffersize {
        b.cond.wait() // release lock and wait until signaled
    }

    // add item to the buffer
    b.data = append(b.data, item)
    fmt.printf("produced item %d\n", item)

    // signal a consumer that an item is available
    b.cond.signal()
}

  • 锁定:生产者锁定 mu,以确保其对 b.data 具有独占访问权限。
  • wait if full:如果缓冲区已满,生产者调用 b.cond.wait():
      这会释放 b.mu 上的锁定,允许消费者使用缓冲区中的项目。
    • 它会等待(阻塞),直到消费者发出信号表明缓冲区中现在有空间。
  • 添加项目和信号:一旦缓冲区中有空间,生产者:
      将项目添加到缓冲区。
    • 调用 b.cond.signal() 通知一个等待的消费者(如果有)现在有一个项目可以消费。

消费方法(消费):

func (b *Buffer) consume() int {
    b.mu.Lock()
    defer b.mu.Unlock()

    // Wait if the buffer is empty
    for len(b.data) == 0 {
        b.cond.Wait() // Release lock and wait until signaled
    }

    // Remove item from the buffer
    item := b.data[0]
    b.data = b.data[1:]
    fmt.Printf("Consumed item %d\n", item)

    // Signal a producer that space is available
    b.cond.Signal()

    return item
}

  • 锁定:消费者锁定 mu 以确保对 b.data 的独占访问。
  • wait if empty:如果缓冲区为空,消费者调用 b.cond.wait():
      这会释放 b.mu 上的锁定,允许生产者生产物品并在准备就绪时发出信号。
    • 消费者等待直到有商品可供消费。
  • 消费项目和信号:一旦缓冲区中有一个项目,消费者:
      删除它。
    • 调用 b.cond.signal() 通知等待的生产者缓冲区中现在有空间。
为什么sync.cond在这里有效

在此示例中:

  • 条件变量:sync.cond 提供了一种有效的方法来处理缓冲区已满或空的情况,而无需进行不必要的循环。
  • 等待和信号机制:wait() 自动释放锁,这可以通过允许其他 goroutine 在适当的时候继续执行来防止死锁。
  • 协调:通过使用 signal(),我们协调生产者和消费者的操作,确保每个人仅在必要时等待,防止它们在空或满的缓冲区上进行操作。
这种协调允许生产者和消费者在没有干扰或死锁的情况下共享缓冲区,从而根据缓冲区的状态有效地管理访问。

    生产者
  • 等待如果缓冲区已满,并在生产完产品后向消费者发出信号
  • 消费者
  • 等待如果缓冲区为空,并且在消费完物品后向生产者发出信号。
sync.cond 的其他场景

想象一下您的任务多个 goroutine 需要等待特定条件才能继续,例如:

  • 批处理:等待任务积累到一定数量才一起处理。
  • 事件协调:等待事件发生(例如,要加载的数据、可用的资源)。
  • rate limiting:控制并发操作数量,防止资源耗尽。 在这些场景中,sync.cond 提供了一种根据条件管理 goroutine 同步的有效方法,非常适合需要在并发任务之间进行协调的问题。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

778

2023.08.22

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

503

2023.08.10

clawdbot ai使用教程 保姆级clawdbot部署安装手册
clawdbot ai使用教程 保姆级clawdbot部署安装手册

Clawdbot是一个“有灵魂”的AI助手,可以帮用户清空收件箱、发送电子邮件、管理日历、办理航班值机等等,并且可以接入用户常用的任何聊天APP,所有的操作均可通过WhatsApp、Telegram等平台完成,用户只需通过对话,就能操控设备自动执行各类任务。

7

2026.01.29

clawdbot龙虾机器人官网入口 clawdbot ai官方网站地址
clawdbot龙虾机器人官网入口 clawdbot ai官方网站地址

clawdbot龙虾机器人官网入口:https://clawd.bot/,clawdbot ai是一个“有灵魂”的AI助手,可以帮用户清空收件箱、发送电子邮件、管理日历、办理航班值机等等,并且可以接入用户常用的任何聊天APP,所有的操作均可通过WhatsApp、Telegram等平台完成,用户只需通过对话,就能操控设备自动执行各类任务。

1

2026.01.29

Golang 网络安全与加密实战
Golang 网络安全与加密实战

本专题系统讲解 Golang 在网络安全与加密技术中的应用,包括对称加密与非对称加密(AES、RSA)、哈希与数字签名、JWT身份认证、SSL/TLS 安全通信、常见网络攻击防范(如SQL注入、XSS、CSRF)及其防护措施。通过实战案例,帮助学习者掌握 如何使用 Go 语言保障网络通信的安全性,保护用户数据与隐私。

5

2026.01.29

俄罗斯Yandex引擎入口
俄罗斯Yandex引擎入口

2026年俄罗斯Yandex搜索引擎最新入口汇总,涵盖免登录、多语言支持、无广告视频播放及本地化服务等核心功能。阅读专题下面的文章了解更多详细内容。

514

2026.01.28

包子漫画在线官方入口大全
包子漫画在线官方入口大全

本合集汇总了包子漫画2026最新官方在线观看入口,涵盖备用域名、正版无广告链接及多端适配地址,助你畅享12700+高清漫画资源。阅读专题下面的文章了解更多详细内容。

183

2026.01.28

ao3中文版官网地址大全
ao3中文版官网地址大全

AO3最新中文版官网入口合集,汇总2026年主站及国内优化镜像链接,支持简体中文界面、无广告阅读与多设备同步。阅读专题下面的文章了解更多详细内容。

313

2026.01.28

php怎么写接口教程
php怎么写接口教程

本合集涵盖PHP接口开发基础、RESTful API设计、数据交互与安全处理等实用教程,助你快速掌握PHP接口编写技巧。阅读专题下面的文章了解更多详细内容。

10

2026.01.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
10分钟--Midjourney创作自己的漫画
10分钟--Midjourney创作自己的漫画

共1课时 | 0.1万人学习

Midjourney 关键词系列整合
Midjourney 关键词系列整合

共13课时 | 0.9万人学习

AI绘画教程
AI绘画教程

共2课时 | 0.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号