<div dir="ltr"><div>On 13 February 2015 at 10:09, Nick Schermer <<a href="mailto:nick@xfce.org">nick@xfce.org</a>> wrote:<br>><br>> Yes, server capacity. CGI scripts are not very fast and search engines tend to send a lot of requests (many deep links it will follow).<br>> That said, the bug database provides a search engine as well.<br>><br>> Nick<br><br></div><div>You can change the Googlebot crawl rate<br><br><a href="https://support.google.com/webmasters/answer/48620?hl=en">https://support.google.com/webmasters/answer/48620?hl=en</a><br><br>And there is crawl-delay in robots.txt for some other agents<br><br><a href="http://stackoverflow.com/questions/17377835/robots-txt-what-is-the-proper-format-for-a-crawl-delay-for-multiple-user-agent">http://stackoverflow.com/questions/17377835/robots-txt-what-is-the-proper-format-for-a-crawl-delay-for-multiple-user-agent</a><br><a href="http://en.wikipedia.org/wiki/Robots_exclusion_standard#Crawl-delay_directive">http://en.wikipedia.org/wiki/Robots_exclusion_standard#Crawl-delay_directive</a><br><br>> I use Google to search for Xfce-related issues, just like everyone else.<br><br></div><div>Indeed. It would help users if the bugtracker content were indexed by the search engines.<br></div></div>