Неограниченная подкаталог в robots.txt

Question

Хорошо, в настоящее время мы ограничиваем каталог /Assets / от индексации в нашем файле robots.txt. В каталоге /Assets / есть один каталог, который я хочу проиндексировать (/Assets / product_labels /). Есть ли способ разрешить этот один каталог, кроме перемещения в другой каталог?

Answer 1

Вы можете поставить явное Disallow для всех файлов и папок, которые являются «братьями и сестрами», в папку, которую вы хотите оставить открытой.

Disallow: /Assets/Dir1
Disallow: /Assets/Dir2
Disallow: /Assets/DirN
Disallow: /Assets/File1
Disallow: /Assets/File1
Disallow: /Assets/FileN

Просто оставьте /Assets/product_labels вне - чтобы разрешить это.

Создание этого списка может быть автоматизировано, но помните, что это нужно делать для каждого нового каталога или файла, который вы храните в разделе « Assets которые вы хотите запретить.

Конечно, если вы хорошо product_labels из Assets это будет чище.

Answer 2

Msgstr "В настоящее время это немного неудобно, так как нет поля" Разрешить ". Самый простой способ - поместить все файлы, которые нужно запретить, в отдельную директорию, например "stuff", и оставить один файл на уровне выше этой директории: »-> Цитируется по адресу: www.robotstxt.org