Fichier Robots.txt File

Pour créer votre robots.txt comme un modèle, réglez d’abord la valeur enableRobotsTXT sur true dans votre fichier de configuration. Par défaut, cette option génère un robots.txt avec le contenu suivant, qui indique aux moteurs de recherche qu’ils sont autorisés à tout crawler :

User-agent: *

Ordre de Recherche du Modèle Robots.txt

L’ordre de recherche pour le modèle robots.txt est le suivant :

• /layouts/robots.txt
• /themes/<THEME>/layout/robots.txt

Exemple de Modèle Robots.txt

Voic un exemple de layout robots.txt :

User-agent: *

{{range .Data.Pages}}
Disallow: {{.RelPermalink}}
{{end}}

Ce modèle désactive toutes les pages du site en créant une entrée Disallow pour chaque page.