Статистика

Участников проекта 105
Опубликовано статей 78
Отчет по карме. Топ 20

Новости блога

1 29.11.2013  Сегодня самым активным участникам newblog'а был выплачен доход с sape.
7 02.11.2012  Ура! Свешилось, нашему сайту дали тИЦ 10. Спасибо всем кто принимает участие в развитии нашего блога.
8 21.08.2012  Интеграция с sape.ru. Теперь каждый автор статей на newblog автоматически зарабатывает на рекламе.
Все новости

Топ 5 категорий

Программирование 46
Операционные системы 9
Базы данных 4
Туризм 2
Заметки 2

Последние 5 заметок (90)

gullyar - Закладки gullyar
gullyar - Ваша первая закладка
osadchaya - Закладки osadchaya
Ira0231188 - Закладки Ira0231188
Ira0231188 - Закладки Ira0231188

Ссылки

www.freedev.asia

Сравнение архиваторов (gzip vs zip vs bzip2 vs p7zip vs lzip vs xz)

17.04.2012 22:10 | Просмотров: 2449 | Доход: 114.26 руб. | Комментариев: 4
[Операционные системы] 
Рейтинг: 5/2

Приходится часто сжимать mysql sql дампы размером окло 15гб. Ранее всегда использовал для этих целей gzip если нужна скорость или bzip2 если нужна степень сжатия. Решил провести небольшой тест среди известных мне архиваторов. Сразу забегу вперед и скажу что в следующей статье я намерен сравнить скорость развертывания mysql дампа из архива и без. Это может быть полезно если скорость развертывания дампа упирается в производительность жесткого диска, но при этом несколько ядер сервера простаивают.
 
Исходные данные: файл 402мб (dump mysql), процессор Intel(R) Core(TM)2 Duo CPU T7500 @ 2.20GHz. Операционная система linux, дистрибутив -Debian.

Результат моих измерений приведен в таблице:

 
Архиватор
время сжатия, c
время распаковки, c занимает ядер алгоритм результат, мб
gzip
33 22 1 Зива-Лемеля 146
zip
27 23 1 Зива-Лемеля 146
bzip2
151 35 1 BWT, MTF, Барроуза-Уиллера 127
p7zip
246 28 все LZMA 74
lzip
492 27 1 LZMA 71
xz 456 28 1 LZMA 71
 

Подвожу итог:

Если скорость не критична, то лучше всего на сервере использовать p7zip, т.к. степень сжатия просто поражает! А если скорость сжатия очень важна то я бы остановился на bzip\gzip. Так как zip хоть и показал отличные результаты, но он не входит в стандартный набор любого linux дистрибутива. Посже отредактирую статью и добавлю для сравнения таблицу с тестами на 8ми ядерном сервере и дампом в 15гб.


© GM
| Комментировать статью |
  • Аноним 0 (20.04.2012 00:05)
    хм... а что если использовать lzip/xz на сервере? они не используют многопоточность, а одно ядро не так уж и жалко. Т.е. разменять процессорное время на место на жёском диске или трафик для передачи бекапа по сети ;)
    | Ответить |
    • GM +2587 (20.04.2012 09:09)
      Процессорное время может очень затянуться, если сжимать очень большие файлы.. во всем нужен баланс. Пока для меня золотая середина это всетаки gzip\bzip.
      | Ответить |
  • Аноним 0 (18.08.2012 11:04)
    bzip2 рулит! ))
    | Ответить |
  • Аноним 0 (04.01.2013 10:27)
    А виндовые архиваторы, например winrar?
    | Ответить |