0

0

Linux 脚本并发执行引发的问题

冷漠man

冷漠man

发布时间:2026-02-11 17:51:10

|

142人浏览过

|

来源于php中文网

原创

并发写日志错位因bash重定向非原子,应使用flock、分文件或syslog;后台进程需显式wait防丢失;管道中变量修改不回传,应避免无意义管道。

linux 脚本并发执行引发的问题

bash & 并发导致文件写入混乱

多个子进程同时往同一个文件用 echo "log" >> file.log 追加,结果出现内容错位、半截行、甚至字节级覆盖——这不是概率问题,是 POSIX shell 重定向的固有行为。系统调用 open(..., O_APPEND) 保证每次 write() 原子追加,但 >> 在 bash 里先 openlseek 到末尾再 write,中间有竞态窗口。

实操建议:

  • flock 包裹写操作:flock /tmp/log.lock -c 'echo "$(date): $MSG" >> /var/log/myapp.log'
  • 避免所有并发进程共用一个日志文件;改用按 PID 或时间戳分文件,如 /tmp/log.$$.txt
  • 若必须集中日志,交给 sysloglogger:它底层用 Unix domain socket,天然串行化

wait 丢失导致父脚本提前退出

写了 cmd1 & cmd2 &,但没跟 wait,脚本执行完就退出,后台进程变成孤儿、被 init 收养,后续无法捕获退出码或信号。

实操建议:

  • 显式 wait 是必须的,不是可选优化:cmd1 & p1=$!; cmd2 & p2=$!; wait $p1 $p2
  • 需要等全部后台任务?直接 wait 不带参数即可,它会等当前 shell 启动的所有子进程
  • 注意 set -e 下,某个后台命令失败不会触发退出——wait 才是检查点,务必在 wait 后判断 $?

变量在子 shell 中修改不回传

for i in {1..3}; do echo $i; done | while read n; do count=$((count+1)); done ——最后 $count 还是空。管道每个段都运行在独立子 shell,变量修改只在子 shell 生效。

高端时尚购物网店
高端时尚购物网店

1、系统基于网上流行被广泛使用的商城平台延续开发,集百家之所长,技术领先、功能完备;不需要懂技术,只要会打字3分钟即可以建立一个功能完备的网上商城; 2、安装方便:只需传到您的虚拟空间即可; 3、界面由专业设计师设计,时尚简约,采用人性化的布局,是一套纯专业高端网上购物平台。应用本系统更能有效地提高产品档次,树立网店及商品品牌! 4、全面优化代码提供系统的执行效率,并且针对搜索引擎做了代码优化,使

下载

实操建议:

  • 避免无意义的管道:改用 while read n; do ...; done
  • 真要并行处理数据流?用命名管道(mkfifo)或临时文件中转,别依赖变量跨进程传递
  • 如果只是计数,优先用 wc -l 这类外部命令,而不是在 shell 循环里累加

并发数失控拖垮系统

写了个 for f in *.log; do process_log "$f" & done,目录有 5000 个文件,瞬间拉起 5000 个进程,内存爆满、IO 阻塞、调度失衡。

实操建议:

  • parallel 控制并发度:ls *.log | parallel -j4 process_log-j4 表示最多 4 个并发
  • 不用 parallel?手写信号量:用 mkdir 的原子性模拟锁,配合 while [ $(ls /tmp/sem.* | wc -l) -ge 4 ]; do sleep 0.1; done
  • 注意 ulimit -u 限制用户进程数,别让脚本突破系统级防护

真正麻烦的不是“怎么并发”,而是“怎么安全地收住并发”。资源边界、状态可见性、错误传播路径——这些在单进程里不显眼,一并发就全暴露出来。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
counta和count的区别
counta和count的区别

Count函数用于计算指定范围内数字的个数,而CountA函数用于计算指定范围内非空单元格的个数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

198

2023.11.20

while的用法
while的用法

while的用法是“while 条件: 代码块”,条件是一个表达式,当条件为真时,执行代码块,然后再次判断条件是否为真,如果为真则继续执行代码块,直到条件为假为止。本专题为大家提供while相关的文章、下载、课程内容,供大家免费下载体验。

101

2023.09.25

磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

1480

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

712

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

298

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

789

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

582

2023.07.06

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

559

2023.07.20

2026春节习俗大全
2026春节习俗大全

本专题整合了2026春节习俗大全,阅读专题下面的文章了解更多详细内容。

68

2026.02.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 8.9万人学习

Git 教程
Git 教程

共21课时 | 3.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号