Можно ли использовать регулярные выражения в URL при просмотре?

Question

Мне известно о Google Dorks, который использует продвинутых операторов для поиска ключевых слов в Интернете, и Google Dorks, в любом случае, не является Regex.

Из любопытства я попытался вставить подстановочные знаки в URL-адреса, в основном для изображений на разных сайтах, которые не сработали. Большинство из них показывали различные коды ошибок HTTP, за исключением 2-3, которые перенаправлялись на какую-то другую страницу сайта.

Некоторые примеры, которые не сработали:

• Поиск PDF-файлов. Получил 404 : Page Not Found

• Поиск картинок. Получил 500 : Internal Server Error

• Поиск всех HTML-страниц на сайте. Просто ошибка страницы

• Youtube конвертирует символы в безопасные шестнадцатеричные символы.

Пример, который работал (не знаю, как):

• https://superuser.com/questions/tagged/windows*

• https://superuser.com/questions/tagged/lin*

См. Раздел с Question Tagged в правой части страницы, чтобы увидеть все поиски по слову lin*

Я прошу прощения, если вопрос содержит слишком много деталей, но я считаю целесообразным привести несколько примеров. Итак, здесь я заканчиваю свой вопрос:

1. Можно ли каким-либо образом использовать регулярные выражения в URL во время просмотра?

2. Если да, то каковы правила или методы их использования?

3. Кроме того, раздел «Использование» на странице Википедии для регулярных выражений цитирует это:

   Хотя регулярные выражения могут быть полезны для поисковых систем Интернета, их обработка по всей базе данных может потребовать чрезмерных ресурсов компьютера в зависимости от сложности и конструкции регулярного выражения. Хотя во многих случаях системные администраторы могут выполнять запросы на основе регулярных выражений внутри страны, большинство поисковых систем не предлагают поддержку регулярных выражений для широкой публики. Известные исключения: Google Code Search, Exalead. Поиск кода Google был закрыт с января 2012 года. [39] Он использовал индекс триграмм для ускорения запросов. [40]

   Итак, похоже, что мы можем выполнять поиск Regex в поисковых системах, но не на веб-страницах?

Answer 1

Как правило, нет. (Также подстановочные знаки и регулярные выражения не одно и то же.)

Каждый веб-сайт сам решает, как следует интерпретировать путь и запрос. Пути могут соответствовать реальным файлам или могут отображаться на абстрактные ресурсы, такие как "вопросы" или "сообщения". (Например, SuperUser на самом деле не имеет папки с questions заполненной пронумерованными подпапками - путь просто указывает, какой ответ генерировать.)

Это также означает, что каждый веб-сайт решает, будет ли он поддерживать символы подстановки (или регулярные выражения, или любой другой метод фильтрации) или нет. Обычно добавление этой функции требует дополнительного программирования на веб-сайте.

Как вы обнаружили, Super User реализовал подстановочные знаки для просмотра тегов - полезно найти все вопросы, связанные с Windows (и, вероятно, было проще реализовать их, чем иерархические теги).

Но, например, идентификаторы видео YouTube являются полностью случайными, поэтому нет никакого смысла пытаться перечислить все видео, идентификаторы которых начинаются с RgK... или любого другого префикса. Так что YouTube не реализовал это.

"Простые" веб-серверы, которые просто обслуживают обычные файлы .html, могут реализовать эту функцию, поскольку они часто уже имеют автоматические списки каталогов. Однако многие владельцы веб-сайтов этого не хотят - у них могут быть "незарегистрированные" страницы, которые, например, известны только нескольким людям.

(Существует аналогичная функция в Apache httpd, которая позволяет получить полный список каталогов, даже если присутствует файл index.html. Но он должен быть отключен по умолчанию, потому что многие люди полагаются на index.html как надежный способ отключить эти списки.)