我必须为文件夹中的每个文件执行一项很长的任务(转换图像格式)。我实现了使用pv
来编写持续时间的估计(sleep
此处用于模拟处理时间):
pv -B 1 =(find . -iwholename '*.png') | xargs -l sh -c 'sleep 0.1'
我在想可能有一个内部缓冲区可能会搞乱估计,因为文件列表本身不是很大(几十KB)并且可能有内部缓冲区,比如 in pv
,所以我将缓冲区限制为 1 个字节和-B 1
。我想知道这是否会导致性能问题(因为磁盘每次读取只能读取至少 512 字节,并丢弃 511 字节),但我不知道它是否可能因为=()
使用而驻留在内存中。我觉得-B 1
这是一个糟糕的解决方案。
但更重要的是,存在着与他人价值观不同的奇怪行为-B
。例如 :
pv =(yes | head -n 100) -B 1 | xargs -l sh -c 'sleep 1'
将按预期工作(尽管开始时很奇怪17%
并且仅在几秒钟后才开始渲染),但是
pv =(yes | head -n 100) -B 10 | xargs -l sh -c 'sleep 1'
100%
即使我认为需要 100 秒来处理,也会立即打印,以 的间隔更新5%
,因为打印了 200 个字节,x100 个字符y
和\n
.为什么 ?
笔记:=()
需要zsh
。我试过了<()
,进度条不起作用。也许pv
无法估计 fifo 大小,但它可以通过文件来估计?
答案1
要转换大量文件的图像格式,您可以计算pv
转换的文件数。这并不完美,因为有些文件比其他文件花费的时间更长,但它可以提供一个合理的估计。
首先计算文件总数,类似于以下命令(我今年六月的照片),
$ find 2022/06 \( -name '*.jpg' -or -name '*.png' \)|wc -l
55
然后创建一个命令行,可以利用pv -l -s55
计数行数。如果您的转换过程不产生任何输出,您可以添加一条 echo 语句(feh
显示图片但不会向调用终端窗口产生输出,因此我让 echo 仅打印换行符)。
$ find 2022/06 -type f -exec bash -c "feh -r -g 1000x1000 --zoom max {} & sleep .5; pkill feh ;sleep .5;echo ''" \; | pv -l -s55 > /dev/null
22,0 0:00:23 [ 978m/s] [==============> ] 40% ETA 0:00:34
或者如果您想看到输出滚动,请不要重定向输出,
$ find 2022/06 -type f -exec bash -c "feh -r -g 1000x1000 --zoom max {} & sleep .5; pkill feh ;sleep .5;echo ''" \; | pv -l -s55
0,00 0:00:01 [0,00 /s] [> ] 0% ETA 0:00:00
1,00 0:00:02 [1,01 /s] [> ] 1% ETA 0:01:48
2,00 0:00:03 [ 984m/s] [> ] 3% ETA 0:01:19
3,00 0:00:04 [ 978m/s] [> ] 5% ETA 0:01:09
4,00 0:00:05 [ 983m/s] [=> ] 7% ETA 0:01:03
5,00 0:00:06 [ 984m/s] [==> ] 9% ETA 0:01:00
6,00 0:00:07 [1,08 /s] [==> ] 10% ETA 0:00:57
7,00 0:00:08 [ 980m/s] [===> ] 12% ETA 0:00:54
8,00 0:00:09 [ 980m/s] [====> ] 14% ETA 0:00:52
9,00 0:00:10 [ 979m/s] [=====> ] 16% ETA 0:00:51
10,0 0:00:11 [ 983m/s] [=====> ] 18% ETA 0:00:49
11,0 0:00:12 [1,08 /s] [======> ] 20% ETA 0:00:48
12,0 0:00:13 [ 982m/s] [======> ] 21% ETA 0:00:46
13,0 0:00:14 [ 982m/s] [=======> ] 23% ETA 0:00:45
14,0 0:00:15 [ 981m/s] [========> ] 25% ETA 0:00:43
15,0 0:00:16 [ 986m/s] [=========> ] 27% ETA 0:00:42
16,0 0:00:17 [1,08 /s] [==========> ] 29% ETA 0:00:41
17,0 0:00:18 [ 983m/s] [==========> ] 30% ETA 0:00:40
18,0 0:00:19 [ 984m/s] [===========> ] 32% ETA 0:00:39
19,0 0:00:20 [ 982m/s] [===========> ] 34% ETA 0:00:37
20,0 0:00:21 [ 981m/s] [============> ] 36% ETA 0:00:36
21,0 0:00:22 [1,08 /s] [=============> ] 38% ETA 0:00:35
22,0 0:00:23 [ 985m/s] [==============> ] 40% ETA 0:00:34
23,0 0:00:24 [ 983m/s] [==============> ] 41% ETA 0:00:33
24,0 0:00:25 [ 981m/s] [===============> ] 43% ETA 0:00:32
25,0 0:00:26 [ 986m/s] [================> ] 45% ETA 0:00:31
26,0 0:00:27 [ 985m/s] [================> ] 47% ETA 0:00:30
27,0 0:00:28 [1,08 /s] [=================> ] 49% ETA 0:00:29
28,0 0:00:29 [ 983m/s] [==================> ] 50% ETA 0:00:27
29,0 0:00:30 [ 983m/s] [==================> ] 52% ETA 0:00:26
30,0 0:00:31 [ 983m/s] [===================> ] 54% ETA 0:00:25
31,0 0:00:32 [ 979m/s] [====================> ] 56% ETA 0:00:24
32,0 0:00:33 [1,08 /s] [=====================> ] 58% ETA 0:00:23
33,0 0:00:34 [ 982m/s] [=====================> ] 60% ETA 0:00:22
34,0 0:00:35 [ 981m/s] [======================> ] 61% ETA 0:00:21
35,0 0:00:36 [ 980m/s] [======================> ] 63% ETA 0:00:20
36,0 0:00:37 [ 983m/s] [=======================> ] 65% ETA 0:00:19
37,0 0:00:38 [1,08 /s] [========================> ] 67% ETA 0:00:18
38,0 0:00:39 [ 984m/s] [=========================> ] 69% ETA 0:00:17
39,0 0:00:40 [ 983m/s] [=========================> ] 70% ETA 0:00:16
40,0 0:00:41 [ 978m/s] [==========================> ] 72% ETA 0:00:15
41,0 0:00:42 [ 979m/s] [===========================> ] 74% ETA 0:00:14
42,0 0:00:43 [1,08 /s] [===========================> ] 76% ETA 0:00:13
43,0 0:00:44 [ 981m/s] [============================> ] 78% ETA 0:00:12
44,0 0:00:45 [ 981m/s] [=============================> ] 80% ETA 0:00:11
45,0 0:00:46 [ 985m/s] [=============================> ] 81% ETA 0:00:10
46,0 0:00:47 [ 983m/s] [==============================> ] 83% ETA 0:00:09
47,0 0:00:48 [1,08 /s] [===============================> ] 85% ETA 0:00:08
48,0 0:00:49 [ 983m/s] [================================> ] 87% ETA 0:00:07
49,0 0:00:50 [ 981m/s] [================================> ] 89% ETA 0:00:06
50,0 0:00:51 [ 986m/s] [=================================> ] 90% ETA 0:00:05
51,0 0:00:52 [ 981m/s] [=================================> ] 92% ETA 0:00:04
52,0 0:00:53 [1,08 /s] [==================================> ] 94% ETA 0:00:03
53,0 0:00:54 [ 982m/s] [===================================> ] 96% ETA 0:00:02
54,0 0:00:55 [ 984m/s] [====================================> ] 98% ETA 0:00:01
55,0 0:00:55 [ 982m/s] [====================================>] 100%