Если вы используете виртуальный robots.txt генерируемый WordPress и вам нужно добавить какую либо директиву. Сделать это очень просто используя хук robots_txt. Рассмотрим это на примере директивы host.
По скольку в SEO для мета тега description рекомендуется использовать уникальное описание для каждой страницы сайта, то для этих целей мы и напишем свою функцию. Данная функция будет проверять, является ли данная страница сайта одиночной, есть ли у нее отрывок он же «excerpt». Далее отфильтруем ее и обрежем до 160 символов. Если же страница не одиночная выведем описание.