我正在编写一个 bash 脚本来从 Google 搜索中获取一些数据。我使用lynx
它进行查询并将结果重定向到文件中以供稍后解析。问题是我得到的只是一页,我如何才能lynx
获得下一页/页数?
我使用 grep 和 cut 将 URL 隔离为“www.google.com/search?q=.....”类型,但当我尝试将其重新发送到 lynx 时,它不会打开下一页,只是显示链接而不打开它,有什么建议吗?谢谢
答案1
我猜你需要浏览页面底部的所有链接,搜索结果不会浓缩到一页。
您需要单独解析并下载每个结果。