X-Robots-Tag
![X-Robots-Tag](/wp-content/uploads/2023/09/glossario_digitale_AS_477667396.jpg)
X-Robots-Tag: L’intestazione X-Robots-Tag viene utilizzata nei file robots.txt per fornire istruzioni specifiche agli spider dei motori di ricerca. Ad esempio, è possibile utilizzare questa intestazione per impedire l’indicizzazione di determinate pagine o per specificare se i motori di ricerca dovrebbero seguire i link presenti su una pagina.