我正在使用 scrapyd 1.2 并行运行几个爬虫。每个进程在抓取过程中都会显著增加缓冲区，如图所示。这个值是多少？我该如何减少占用空间？
答案1
Linux 将使用可用内存进行各种缓存，其中大部分是与文件相关的缓存。slabtop命令查看详细信息。
how can I reduce the footprint?
你不需要。如果需要，这些将被快速自动地驱逐。
此外，这还不是一个问题。4 GB 系统上的 1 GB 和零钱是一大块未使用的 RAM。
如何减少因 scrapy 导致的“RAM 缓存 + 缓冲区”大小