处理非常大量的网络流量（500GB+）的最佳方法是什么？
具体来说，我希望能够过滤符合各种有效负载和协议标准的数据包（例如，所有到端口 1111 的 TCP 数据包，有效负载中包含字符串“hello”）。这很难做到，因为我看到的大多数工具都会将整个文件加载到内存中。我可以用 Python 编写一些脚本，但我能想到的最佳角度是循环遍历整个文件，进行我想要执行的每一次搜索，而这在这种规模下会花费很长时间。
答案1
解析 pcap 并根据您的要求对其进行索引。有许多大型自由格式搜索系统（例如 Xapian、Solr、ElasticSearch 等）可以提供您想要搜索的所有有趣信息。