我一直在处理一个我无法找到解决方法的奇怪问题。
我的情况如下。
我在python中有一个名为"app1"的应用程序,它需要一个文件来输出它执行的结果。
我有一个名为"app2"的辅助应用程序;二进制文件,从stdin获取输入。
我想管道"app1"直接生成"app2"进行处理,在理想情况下会是这样的:
app1 | app2
但是,正如我所说,有一些限制,比如app1需要一个文件作为输出。
我发现"愚弄"app1输出到stdout的第一个解决方案是使用mkfifo并创建一个管道,所以我可以将它管道输入到app2中的stdin。像这样:
pipe='/tmp/output_pipe'
mkfifo"$output_pipe"
python app1 -o"$output_pipe" &
app2 <$tmp_pipe
问题是最终&#xff0c;在执行期间&#xff0c;app1将产生比app2作为输入处理的输出更多的输出&#xff0c;并且由于管道上的缓冲区大小限制&#xff0c;管道将填满并且一切都将停止工作。
然后我使用了另一种方法&#xff1a;
python app1 -o /dev/stdout | app2
但情况与stdout也有缓冲区大小限制相同。
任何人都知道如何解决这个特定的情况&#xff1f;
TL; DR&#xff1a;我需要一个"虚拟"文件&#xff0c;它将作为标准输出&#xff0c;但没有管道的标准尺寸限制。
听起来你有一个需要解决的死锁问题。 创建更大的管道不是最佳解决方案。
特别是&#xff0c;"管道将填满&#xff0c;一切都将停止工作"的说法没有多大意义。 如果管道填满&#xff0c;则app1将阻止写入&#xff0c;但app2应继续工作。 当它清除管道中的数据时&#xff0c;app1将开始写入更多数据。 除非你有其他的僵局&#xff0c;否则你没有描述。
我的推论是因为如果我尝试使用缓冲管道&#xff0c;运行几个小时后&#xff0c;app2将停止工作。 如果我使用无缓冲管道(如stderr)&#xff0c;应用程序会持续运行数小时而不会出现问题。 这是我(可能是错误的)扣除的唯一原因。
有几个utils旨在处理类似的情况&#xff1a;
buffer&#xff1a;python app1 -o /dev/stdout | buffer | app2
stdbuf&#xff1a;python app1 -o /dev/stdout | stdbuf app2
unbuffer&#xff1a;python app1 -o /dev/stdout | unbuffer app2
mbuffer(buffer有更多选项)&#xff1a;python app1 -o /dev/stdout | mbuffer | app2
bash进程替换&#xff1a;python app1 -o >(app2)
utils有各种选项&#xff0c;其中一些可能是必需的(取决于app1和app2正在做什么)。某些选项设置缓冲区的大小&#xff0c;或添加延迟&#xff0c;或显示诊断信息。
Pixelbeat.org有一些图表可以帮助可视化缓冲的工作原理(或失败)。
另外这里有一个socat技巧&#xff0c;但我不太确定它的作用......
好。我的错。
有些人在这里建议&#xff0c;这不是缓冲问题。
这是一个CPU上限问题。这两个应用程序在运行时消耗100&#xff05;的CPU和RAM&#xff0c;这就是应用程序崩溃的原因。
你有几个选择&#xff1a;
使用文件。消费者从文件中读取文件并从"tail -f"代码中实现文件&#xff0c;而不是从stdin读取
编写管道缓冲程序。这个选项有点愚蠢但是如果你不能改变其他任何一个都可以。我刚才在Perl写了一个&#xff0c;抱歉不能分享它&#xff0c;但基本上使用非阻塞IO从管道读取并写入管道&#xff0c;将所有数据保存在内存中。如果内存使用率过高&#xff0c;可能很难记录投诉。
修改读取器或写入器以使用非阻塞IO并缓冲输出或输入。