Со страницы http://webmaster.yandex.ru/ отправляю заявку на регистрацию, выдает "Адрес XXX не был внесен в базу Яндекса, так как он запрещен к индексации в файле robots.txt, или при обращении к robots.txt сервер вернул ошибку 5xx."

Что делать?

наверное, поменять содержимое robots.txt или показать его здесь, чтобы было понятно про что идёт речь.

Все, разобрался :-)

Надо было написать

User-Agent: *
Disallow: /cgi-bin/