Моя цель состоит в том, чтобы использовать функции btrfs для объединения нескольких файлов по 3 ГБ в один файл по 9 ГБ без создания значительных операций ввода-вывода и использования дополнительного дискового пространства. Если это работает для этого набора данных, я планирую реализовать это в моем конвейере и легко сэкономить терабайт дискового пространства.
Мои предыдущие попытки:
Обычно я cat эти файлы размером 3 ГБ в один файл, производя много операций ввода-вывода. На btrfs я попытался выполнить двойное удаление этих файлов, чтобы сэкономить место на диске. Это работает только для первой части большего файла, эффективно экономя 3 ГБ из 9 ГБ (что приятно).
Лучшим методом с тем же результатом будет использование cp --reflink=always в первом файле, а затем добавление остальных. Это будет существенно быстрее и пропустит трудоемкий этап дедупликации, но я все еще создаю 6 ГБ ввода-вывода и дополнительное дисковое пространство.
Сейчас я ищу способ использовать функции btrfs для объединения этих файлов, как будто они соединены друг с другом, но ссылаются на оригинальный экстент в b-дереве. (если мое понимание btrfs верно)
Спасибо за внимание