从 Google 搜索中获取多个页面

从 Google 搜索中获取多个页面

我正在编写一个 bash 脚本来从 Google 搜索中获取一些数据。我使用lynx它进行查询并将结果重定向到文件中以供稍后解析。问题是我得到的只是一页,我如何才能lynx获得下一页/页数?


我使用 grep 和 cut 将 URL 隔离为“www.google.com/search?q=.....”类型,但当我尝试将其重新发送到 lynx 时,它不会打开下一页,只是显示链接而不打开它,有什么建议吗?谢谢

答案1

我猜你需要浏览页面底部的所有链接,搜索结果不会浓缩到一页。

您需要单独解析并下载每个结果。

相关内容