grep：内存耗尽-在大型数据集上运行时出错

Question

我正在尝试清理包含大量数据的电子邮件列表。

当我尝试这个时：

pv "Email-Raw.txt" | grep -vf <(sed 's/^/^/; s/$/$/' Segment00.txt) > RESULT-1.txt

我明白了grep: memory exhausted

我该如何解决这个问题？请帮忙。

Answer 1

因为在这种情况下，我想匹配整行的精确匹配，所以我通过修改命令来解决这个问题 -pv "Email-Raw.txt" | grep -vxFf Segment00.txt) > RESULT-1.txt

注意：如果您想要部分匹配每行的文本，这可能不起作用。