我正在使用 Microsoft Search Server 2010 Express 来抓取网站并为网站用户提供搜索功能。在网站的 html 中,我们有各种通过 css 类隐藏的元素。例如:
<p class="hidden">Go to <a href="#mainNav" title="main menu">main menu</a></p>
此类文字旨在为视障人士提供额外帮助,在搜索结果中并无意义。
我应如何配置搜索服务器,以使其不在结果的命中上下文中包含这样的文本?
答案1
在同事的帮助下,我解决了这个问题。解决方案是创建一个检测用户代理的 ASP.NET 控件。如果是搜索爬虫,则不会呈现输出。