我们有一个专用的开发服务器，它只在公共网络上运行测试 PHP 应用程序。
我们为网站设置了基于会话的身份验证。
我们的问题是 robots.txt 的访问日志中记录了大量 404。
因此，我们想在 lighttpd 上阻止/忽略这些请求以节省一些带宽。
我们如何在 lighttpd/1.4.31 中实现这一点？
如何在 lighttpd 中阻止请求 robots.txt 的 URL？
我们有一个专用的开发服务器，它只在公共网络上运行测试 PHP 应用程序。
我们为网站设置了基于会话的身份验证。
我们的问题是 robots.txt 的访问日志中记录了大量 404。
因此，我们想在 lighttpd 上阻止/忽略这些请求以节省一些带宽。
我们如何在 lighttpd/1.4.31 中实现这一点？