Есть сайт, с которого я должен получить информацию. Этот сайт транслирует видеофайл, опирающийся на платформу Akamai. Я попробовал все, что я знаю, чтобы собрать информацию (реальный URL видео), пока страница загружается, но я всегда получаю одинаковые (бесполезные) результаты.
Тем не менее, если я открою сайт в TOR - ну, все немного по-другому. В то время как в обычном просмотре я получить заголовки которых запрос URLs, как http://ushds2-vh.akamaihd.net/ useful_link_part_, в TOR я могу получить реальный URL в потоковом видео, которое состоит из HTTP://real_site.com/ + полезно_link_part_., просто через встроенные средства отладки. Короче говоря, просмотр одной и той же страницы в разных браузерах приводит к несколько разным заголовкам.
Так как же это работает? Почему я не могу перехватить эти "специальные" заголовки через "обычный" просмотр? Каким образом работает TOR?
* Среди инструментов, которые я пробовал, есть Fiddler, инструменты отладки браузеров, MS Network Monitor, Wireshark.Я также попытался переключить IP, DNS, пользовательские агенты, настройки HTTP (S), но безуспешно.
РЕДАКТИРОВАТЬ: Может быть, я не объяснил ситуацию ясно. Короче говоря, через Firebug (расширение Firefox) мне удалось получить несколько ссылок, которые указывают на видеофайлы (различного качества), например http://foo.com/relinker/relinkerServlet.htm?cont=video_hash. Эти ссылки, при обычном анализе, запрашивают соответствующую ссылку видео Akamai, например, http://ushds2-vh.akamaihd.net/some_stuff, и затем начинается потоковая передача. Но этого не происходит в TOR. Фактически при разборе этой ссылки (foo ...) запрашивается реальный URL файла (который находится на сайте спутника, а не на Akamai), и снова начинается потоковая передача, но на этот раз с самого реального URL. Важно сказать, что весь этот процесс происходит автоматически. Теперь реальный вопрос: почему это поведение? Как TOR удается получить эту ссылку вместо ссылки Akamai? Может ли это быть из-за прокси?
Более того, я обнаружил, что есть сайт UnderGet, который позволяет достичь того же результата более или менее, он получает реальный URL-адрес видео, начиная с первой ссылки (foo). В описании говорится, что « UnderGet позволяет загружать файлы, которые в противном случае заблокированы брандмауэром или другим инструментом на вашей работе, в школе или стране ».
1 ответ
Давным-давно я обедал с Даниэлем Левином, одним из основателей Akamai, и мы немного поговорили о технологиях Akamai. В то время он использовал динамически распределенный контент, где части контента могли или могли находиться на нескольких аппаратных средствах. Интерфейсные серверы получат запрос и затем решат, какие серверы в этот момент будут доставлять контент получателю с наименьшим снижением производительности. Этот контент может быть собран с нескольких серверов. Существовало какое-то странное дурачество с сетевыми протоколами, заставляющее всех думать, что контент исходит из одного источника.
Меня не удивляет, что у вас возникают проблемы с точным определением источника, потому что IIRC, источник, является уникальным виртуальным источником, созданным для вас, зрителя, в данный момент времени.
Возможно, это изменилось за 15 лет (это было, конечно, до 11 сентября), но в сущности, Акамай отклоняет правила.