У меня есть собственный маленький файловый сервер: http://178.173.19.2:1987 - я держу на нем файлы (документы, драйвера, софт, кряки и т.п.) для личного пользования. Это нужно, чтобы я мог быть уверенным в том, что нужные мне файлы будут доступны с любого компа, у которого есть доступ в интернет, а также при необходимости закидывать к себе любые файлы и давать людям прямые ссылки на них без всяких удалено -обменников. Но т.к. те же кряки - вещь не совсем легальная, сайт мой регулярно попадает в черный список. Как следствие, браузеры (Firefox, Chrome) начинают орать о том, что сайт злой-плохой и все такое. Я уже устал отправлять отчеты в Google, поэтому решил спросить - не знает ли кто как запретить Гуглу шариться по моему серверу? Понимаю, форум не совсем правильно выбрал, но не знаю куда еще написать о таком.

Да никак не запретишь, ибо, все запреты это полная туфта, лапша на уши.
Поставьте то, примените это.... Сколько у меня было сайтов, он лезет всегда первым, независимо от качества кода или, вообще, от его наличия.
Гугл и создан специально для того, чтобы везде совать свой нос, и запретить это вряд ли удастся, ибо, это будет уже не Гугл, а другая сущность.