медленная работа nBackup на виртуальном сервере

Администирование клиентской и серверной части InterBase, Firebird, Yaffil. Настройка файла конфигурации и т.п.

Модераторы: kdv, Alexey Kovyazin

Ответить
Olegek
Сообщения: 15
Зарегистрирован: 16 ноя 2011, 18:53

медленная работа nBackup на виртуальном сервере

Сообщение Olegek » 24 апр 2012, 13:58

Планируем запустить Firebird на виртуальной инфраструктуре, но столкнулись со следующей проблемой:
процесс nBackup при бэкапе базы идет очень медленно на виртуальной машине. Системные счетчики показали, что на физическом сервере скорость чтения с диска (где лежит БД) при обычном копировании файла приблизительно равна скорости чтения при nBackup.

На виртуальной машине скорость чтения(счетчик Disk Read Bytes/sec) при копировании прыгает 4000-7000, а при nBackup идет на уровне 1000 и график достаточно ровный. Можно сделать вывод что есть какое-то ограничение которое влияет на nBackup и не дает читать данные быстрее 1000 Bytes/sec.
Пробовал на ОС Windows 2003 32бит, 2008 64бит; Firebird 2.1.4, 2.5; файловая система NTFS; Зармер кластера на жестком диске пробовал 16 и 64 кб (размер страницы БД 16кб) - все то же самое, результат тот же.
Диски быстрые, память и процессор свободные, коннектов к БД нет. Сама БД работает норм - сравнивал построение отчетов на старом и новом серверах, на новом быстрее строятся. Бэкап утилитой gbak отработал на 20 мин быстрее.

Время построения бэкапов на старом физическом сервере и на новом виртуальном без коннектов к БД:
бэкап 0 уровня (файл бэкапа около 70 Гб) - 40мин (на старом); 2.5 часа (на новом)
бэакп 1 уровня (файл бэкапа около 100 Мб) - 15мин (на старом); 2.5 часа (на новом)
Как написанно в мануале по nBackup, что скорость напрямую зависит от железа, но обычное копирование идет в 2-3 раза быстрее...

Параметры боевой БД, которую планируем виртуализировать:
База: 70 Гб
Firebird 2.1.4 Classic Server
Windows 2003 Server
~50 active users

В чем может быть проблема? Подскажите пожалуйста!
Спасибо!

dimitr
Разработчик Firebird
Сообщения: 888
Зарегистрирован: 26 окт 2004, 16:20

Re: медленная работа nBackup на виртуальном сервере

Сообщение dimitr » 24 апр 2012, 19:05

разницу во времени nbackup-а бекапа между опциями -d on / -d off не смотрели?

Olegek
Сообщения: 15
Зарегистрирован: 16 ноя 2011, 18:53

Re: медленная работа nBackup на виртуальном сервере

Сообщение Olegek » 24 апр 2012, 20:01

Запустил с -D OFF, вижу по графику 4000 Disk Read Bytes/sec
с -D ON на уровне 1000
Думаю, что -D OFF и есть правильное решение проблемы. :P

kdv
Forum Admin
Сообщения: 6595
Зарегистрирован: 25 окт 2004, 18:07

Re: медленная работа nBackup на виртуальном сервере

Сообщение kdv » 24 апр 2012, 22:24

Системные счетчики показали, что на физическом сервере скорость чтения с диска (где лежит БД) при обычном копировании файла приблизительно равна скорости чтения при nBackup.
что сразу исключает Firebird и nbackup из подозреваемых.
Как написанно в мануале по nBackup, что скорость напрямую зависит от железа
это да, но в виртуалке работа с диском обычно в 1.5/2 раза медленнее, чем на физическом железе.

Кроме того, вы меряете скорость чтения, но похоже, что все упирается в скорость записи. Конфигурируйте свой raid (физический), на котором работает виртуалка.
4-7 мегабайт в секунду для копирования файла - это смешно.
Тестировать можете простым копированием любого файла гиг на 10. Когда добьетесь нормальной скорости - переключайтесь на nbackup.
но обычное копирование идет в 2-3 раза быстрее...
как-то не стыкуется с первой цитатой. Все равно, ну 8 мегабайт в секунду вместо 4-х. Это кошмар. Любой ОДИН десктопный sata-диск работает в 10 раз быстрее.

Olegek
Сообщения: 15
Зарегистрирован: 16 ноя 2011, 18:53

Re: медленная работа nBackup на виртуальном сервере

Сообщение Olegek » 25 апр 2012, 14:49

как-то не стыкуется с первой цитатой. Все равно, ну 8 мегабайт в секунду вместо 4-х. Это кошмар. Любой ОДИН десктопный sata-диск работает в 10 раз быстрее.
По поводу замеров - это на графике отображены какие-то непонятные величины.
На графике показывает ~4000, когда на самом деле это ~40мб/сек, если отобразить счетчик в текстовом режиме. Извиняюсь, доверился цифрам на шкале графика :?

По поводу 2-3 раза, файл копируется ~40 мин, а бэкап шел 2.5 часа.
С опцией -D OFF все стало на свои места, бэкап сделался за 35 минут

kdv
Forum Admin
Сообщения: 6595
Зарегистрирован: 25 окт 2004, 18:07

Re: медленная работа nBackup на виртуальном сервере

Сообщение kdv » 25 апр 2012, 18:26

давайте просто посчитаем
70 гиг это 70000мб. 40 минут это 2400 секунд.
Значит скорость копирования 24 мегабайта в секунду. Что у вас там - ноутбук, извините? :)
у меня на десктопной машине с одного sata на другой файл 45 гиг копируется 7 минут, со скоростью 95мб в секунду. Если я его начну на тот же диск копировать - скорость упадет до 45 мб в секунду. Но этот диск стоит 1400 рублей.

p.s. а скан 70 гиг за 2.5 часа, это усредненно 7 мегабайт в секунду. Впрочем, для сервера что 7, что 25 мб в секунду - все равно никуда не годится.

kdv
Forum Admin
Сообщения: 6595
Зарегистрирован: 25 окт 2004, 18:07

Re: медленная работа nBackup на виртуальном сервере

Сообщение kdv » 25 апр 2012, 19:12

что-то у меня все время вылетает из головы, что у вас виртуалка. Но скорость диска я бы все же попытался как-то поднять.

Olegek
Сообщения: 15
Зарегистрирован: 16 ноя 2011, 18:53

Re: медленная работа nBackup на виртуальном сервере

Сообщение Olegek » 14 май 2012, 18:33

Проблему с медленной скоростью копирования решили с помощью перехода на Windosw 2008 R2 (раньше была Win2003).
Но, теперь другая проблема:
При обычном копировании скорость порядка 300 Мб/сек, время копирования БД 70 Гб = 4 мин
При выполнении nbachup -D ON скорость порядка 10Мб/Сек
При выполнении nbachup -D OFF скорость порядка 70-80Мб/Сек, время выполнения = 15 мин
Т.е. далеко до 300 при обычном копировании...
Можно как-то разогнать nbachup?

kdv
Forum Admin
Сообщения: 6595
Зарегистрирован: 25 окт 2004, 18:07

Re: медленная работа nBackup на виртуальном сервере

Сообщение kdv » 14 май 2012, 20:56

давайте на sql.ru продолжим.
http://www.sql.ru/forum/actualthread.aspx?tid=940885

Ответить