Например, я хочу скачать dir3 этого http://example.com/dir1/dir2/dir3. Robot.txt существует на http://example.com/dir1/
Это работает для,
wget -e robots=off .... http://example.com/dir1/
Но не работает для,
wget -e robots=off .... http://example.com/dir1/dir2/dir3
Можно ли скачать подкаталог, когда robots = off?
Спасибо!