Прямо від Google:
Метатеги - чудовий спосіб для веб-майстрів надати пошуковим системам інформацію про свої сайти. Мета-теги можуть використовуватися для надання інформації всіляким клієнтам, і кожна система обробляє лише ті мета-теги, які вони розуміють, і ігнорує решту.
Якщо ви хочете повністю заблокувати всі пошукові системи:
Чому?
Можливо, це дещо приватна URL-адреса на вашому сайті, але не захищена таким чином, щоб пошуковий бот не міг її побачити. Як якщо сторінка вимагає входу, щоб побачити її, це все одно заблоковано пошуковим ботом. Але якщо це лише заплутана URL-адреса, хто знає, як пошукові боти об’їжджають, тож ви можете запобігти індексації.
Результати пошуку - ще один поширений. Дивно, що результат пошуку може бути результатом пошуку, можливо. Теми WordPress, як правило, включають таке:
Я можу це трохи змінити і сказати ботам, привіт, ви можете перейти за посиланнями тут, щоб допомогти продовжити індексацію сайту, але не індексуйте цю сторінку спеціально.
Інші
Пошукові системи, як правило, використовують тег опису для текстового вмісту поруч із :
Перегляньте сторінку Google, щоб дізнатись про інші специфічні для Google функції, як-от можливість зупинки специфічного для користувача інтерфейсу Google, наприклад, „поле пошуку за посиланням на сайт“.