В настоящее время я использую httpfs2 для монтирования прямых веб-ссылок в файловой системе. Например, архив rar, который необходимо распаковать, но у меня недостаточно места на моем VPS, чтобы загрузить И затем распаковать весь файл (в 2 раза больше места). Однако скорость чтения очень низкая с httpfs2, когда я пытаюсь загрузить файл с помощью wget, я получаю скорость как минимум 10 МБ / с, когда я пытаюсь скопировать смонтированный архив httpfs2, я получаю скорость всего 600 КБ / с в полночь Commander. Что я могу сделать, чтобы достичь почти той же скорости, которую позволяет соединение?
1 ответ
1
Вы не можете иметь такую же производительность с httpfs2 , из-за HTTP-издержек. Для 10 МБ файла у вас есть ~ 100 запросов, каждый из которых запрашивает ~ 100 КБ данных (источник: wireshark), а задержка снижает производительность. Возможно, вы могли бы настроить FUSE для получения больших кусков, но это, вероятно, будет занимать больше памяти.
Другой вариант - начать запрашивать следующий фрагмент до завершения текущей передачи фрагмента или загрузить несколько фрагментов одновременно, но некоторые серверы этого не позволяют.
Возможно, гораздо более простым решением будет использование конвейера, например:
$ curl http://server/file.tar.gz | tar xzv