如何判断多个网站是否包含某个关键字

Question

我有一个包含 9k 个网址和几个关键词的列表。

我想知道网页是否包含该词。理想情况下，使用一些搜索运算符进行自动谷歌搜索效果会很好，例如，如果您搜索

"keyword" site:"https://www.example.com"

结果会令人满意（因为它将返回“未找到”或者一堆找到关键词的 url)，但由于我有很多网页，因此自动搜索所有 9k 个网页违反了他们的条款和条件。

实现这一目标的常规方法是什么？

我并不是在寻找一种欺骗谷歌的方法，只是为了查找与谷歌完全无关的任何其他可能性。