Přímo z Googlu:
Meta tagy jsou skvělý způsob, jak mohou webmasteři poskytovat vyhledávačům informace o svých stránkách. Meta tagy lze použít k poskytování informací všem druhům klientů a každý systém zpracovává pouze metaznačky, kterým rozumí, a zbytek ignoruje.
Pokud chcete úplně zablokovat všechny vyhledávače:
Proč?
Možná je to na vašem webu trochu soukromá adresa URL, ale není chráněna takovým způsobem, aby ji vyhledávací robot nemohl vidět. Stejně jako když stránka vyžaduje přihlášení, aby ji viděla, je i tak zablokována vyhledávacím robotem. Ale pokud je to jen popletená adresa URL, kdo ví, jak se vyhledávací roboti obcházejí, můžete indexování zabránit.
Výsledky vyhledávání jsou další běžné. Možná je divné, že výsledky hledání jsou výsledky vyhledávání. Témata WordPress mají tendenci zahrnovat toto:
Možná to trochu pozměním a řeknu robotům, hej, můžete zde sledovat odkazy, které vám pomohou pokračovat v indexování webu, ale tuto stránku neindexujte konkrétně.
Ostatní
Vyhledávače mají tendenci používat popisovou značku pro textový obsah vedle :
Na stránce Google najdete další, které jsou specifické pro Google, například možnost zastavit věci v uživatelském rozhraní specifickém pro Google, například jejich „vyhledávací pole s odkazem na web“.