Статья RAID для чайников

Модератор: kdv

Andrew Sagulin
Сообщения: 53
Зарегистрирован: 11 мар 2005, 15:44

Сообщение Andrew Sagulin » 25 авг 2006, 11:25

Пусть меня запинают, пусть, но я всё равно спрошу. :oops: :)
Не будем говорить о быстродействии - поставим во главу угла надёжность. Если сравнить в этом отношении (чисто теоретически) RAID10 и RAID5, то, насколько я понимаю, первый должен быть надёжнее. В RAID10 в случае отказа, например, двух винчестеров из двух разных зеркальных пар, данные не потеряются, в случае же RAID5 - это верная смерть. Опять же, в случае замены винчестера, для регенерации информации на новом винчестере в RAID5 надо прочитать информацию со всех винчестеров массива, в RAID10 - только с одного, что, в общем-то, должно выполняться быстрее, а значит время пребывания в нерезервированном состоянии меньше.
Вы не думайте, статью я внимательно читал :), и пример с убитым RAID10 видел, но так ли показателен этот пример? В интернете довелось читать о случаях, когда во время восстановления инфомации на новом диске массива RAID5, умирал ещё один и...
Есть ли какая-нибудь статистика по сравнению отказов этих двух, скажем так, основных типов массивов? Насколько теория вяжется с практикой?

WildSery
Заслуженный разработчик
Сообщения: 1738
Зарегистрирован: 05 июн 2006, 16:19

Сообщение WildSery » 25 авг 2006, 12:19

Andrew Sagulin писал(а):В RAID10 в случае отказа, например, двух винчестеров из двух разных зеркальных пар, данные не потеряются
Оба-на. Ты ничего не путаешь? Это в случае отказа двух из одной пары не потеряются. А в случае разных пар - однозначный труп. У тебя получатся два битых RAID0 - невосстановим ни один, ни другой, ИМХО. Может, конечно, спецы на стенде со спецсофтом что-то и смогут...

kdv
Forum Admin
Сообщения: 6595
Зарегистрирован: 25 окт 2004, 18:07

Сообщение kdv » 25 авг 2006, 12:52

В RAID10 в случае отказа, например, двух винчестеров из двух разных зеркальных пар, данные не потеряются
бывает, что raid10 умирает и при издыхании только одного диска.
тут уже приводили классическое утверждение, что с увеличением числа компонент надежность падает.
raid 1+0 на мой взгляд надежен только в случае двух дисков - это личное мнение - потому что если мы делаем 4 диска, то raid0 сам по себе опасен. Конечно, для 4-х дисков есть 2 комбинации когда raid 10 умирает, и 2 когда остается жив. Для raid 5 иначе - при трех дисках допускается умирание одного, при четырех - двух, и т.д. По идее, raid 5 из 4-х дисков более отказоустойчив в случае падения двух дисков, чем raid10.
Я просто не знаю как себя поведет raid10 при отказе двух дисков "по диагонали". по-моему, кирдык ему настанет.

Andrew Sagulin
Сообщения: 53
Зарегистрирован: 11 мар 2005, 15:44

Сообщение Andrew Sagulin » 25 авг 2006, 13:08

WildSery писал(а):Оба-на. Ты ничего не путаешь?
Возможно, у меня путаница в терминологии. Под зеркальной парой я понимаю два винчестера с идентичной информацией, например, 6 винчестеров:

A-A
B-B
С-С

Если откажут по одному из пар A и B, то потери информации, по идее, быть не должно. Но, как правильно заметил Дмитрий, не факт, что контроллер эту ситуацию отработает нормально, хотя должен. :wink:

Andrew Sagulin
Сообщения: 53
Зарегистрирован: 11 мар 2005, 15:44

Сообщение Andrew Sagulin » 25 авг 2006, 13:44

kdv писал(а):Для raid 5 иначе - при трех дисках допускается умирание одного, при четырех - двух, и т.д.
Стоп-стоп-стоп, с этого места поподробнее, пожалуйста, а то мои теоретические познания начинают буксовать. RAID 5 я понимаю примерно так:

Код: Выделить всё

HDD1: B1 B5 B9 ...
HDD2: B2 B6 S3 ...
HDD3: B3 S2 B7 ...
HDD4: S1 B4 B8 ...
Где Bx - это блоки данных, а Sx - это контрольная сумма соответствующего столбца. Допустим, у нас выходит из строя HDD1. Блоки B1, B5 и т.д. мы восстанавливаем путём xor: B1 = S1 xor B2 xor B3, B5 = S2 xor B6 xor B4. Если дохнет второй винчестер, то где взять данные для восстановления?
Или я совсем-совсем не прав?

Ivan_Pisarevsky
Заслуженный разработчик
Сообщения: 644
Зарегистрирован: 15 фев 2005, 11:34

Сообщение Ivan_Pisarevsky » 25 авг 2006, 14:55

kdv писал(а):
В RAID10 в случае отказа, например, двух винчестеров из двух разных зеркальных пар, данные не потеряются
бывает, что raid10 умирает и при издыхании только одного диска.
тут уже приводили классическое утверждение, что с увеличением числа компонент надежность падает.
raid 1+0 на мой взгляд надежен только в случае двух дисков - это личное мнение - потому что если мы делаем 4 диска, то raid0 сам по себе опасен. Конечно, для 4-х дисков есть 2 комбинации когда raid 10 умирает, и 2 когда остается жив. Для raid 5 иначе - при трех дисках допускается умирание одного, при четырех - двух, и т.д. По идее, raid 5 из 4-х дисков более отказоустойчив в случае падения двух дисков, чем raid10.
Я просто не знаю как себя поведет raid10 при отказе двух дисков "по диагонали". по-моему, кирдык ему настанет.
ВСЕ СМЕШАЛОСЬ В ДОМЕ ОБЛОНСКИХ (С) :shock:

>бывает, что raid10 умирает и при издыхании только одного диска.
Не бывает. Только если из-за глюков диска вдруг сносит башню рэйд контроллеру, вот тогда, да, жопа-с.

>Для raid 5 иначе - при трех дисках допускается умирание одного, при четырех - двух, и т.д
Нет, это не так. Рэйд 5 гарантирует целостность данных на случай отказа СТРОГО ОДНОГО накопителя.

>WildSery
>Оба-на. Ты ничего не путаешь?
Это ты путаешь рэйд 10, применяемый ныне повсеместно, это когда в биосе рэйда сначала собирается n зеркал, потом полученные зеркала спанятся в единый массив 10. И рэйд 0+1, где наоборот, например он присутсвовал в старых рэйд контроллерах майлекс (ныне перекуплен ЛСИ). В настоящее время 0+1 почти не встречается в полноценных аппаратных писиай рэйдах.

>Andrew Sagulin
>В интернете довелось читать о случаях, когда во время восстановления инфомации на новом диске массива RAID5, умирал ещё один и...
Для этого обычно прменяют хотспаре диск(и), в случае выпадения одного диска в оффлайн, контроллер сразу начинает ребилд на хотспаре диск, чем минимизируется время работы массива в дегредит ражиме, соответственно снижается вероятность отказа массива на случай отказа второго накопителя. Для параноиков придуман рэйд 6, гарантирующий работу массива на случай отказа 2-х накопителей, встречается в достаточно бюджетных САТА контроллерах Арека(16 портовый аппарат всего порядка 1 килобакса), а также во внешних массивах, где дисков по определеню больше десятка.

kdv
Forum Admin
Сообщения: 6595
Зарегистрирован: 25 окт 2004, 18:07

Сообщение kdv » 25 авг 2006, 15:34

Не бывает.
бывает. если бы "не бывает", то нам бы убитые на таких raid базы не приносили.
Нет, это не так. Рэйд 5 гарантирует целостность данных на случай отказа СТРОГО ОДНОГО накопителя.
даже если в массиве 5 дисков?
Это ты путаешь рэйд 10, применяемый ныне повсеместно, это когда в биосе рэйда сначала собирается n зеркал, потом полученные зеркала спанятся в единый массив 10.
сейчас чехарда в обозначениях. то что раньше именовалось raid 1, нынче именуется как raid 1+0 (типа, "разделение чтения"), и даже raid 10.

Ivan_Pisarevsky
Заслуженный разработчик
Сообщения: 644
Зарегистрирован: 15 фев 2005, 11:34

Сообщение Ivan_Pisarevsky » 28 авг 2006, 10:14

>бывает. если бы "не бывает", то нам бы убитые на таких raid базы не приносили.
Не забываем, что массив это не только диски, но и контроллер, соединительные кабели, микросхемы памяти кэша, батарейки, упраляющая программа контроллера(фирмварь) и т.п.
Отказ массива может наступить не только из-за отказа диска(дисков). :wink:
Отказ накопителя может повлечь за собой неправильную работу управляющей микропрограммы контроллера, в итоге данные на других дисках начинают портиться не из-за отказа самих дисков, а из-за управляющей программы, ее ведь тоже живые люди-программиты пишут, это я и имел в виду под фразой "сносит башню рэйд контроллеру". Если поискать, то в интернете можно найти кучу жалоб на контроллеры промис, а также многие софтовые/полусофтовые реализации раэйдов именно в этом контексте, что медленная смерть одного диска приводит к неконсистентности всего массива.

>даже если в массиве 5 дисков?
Да, именно так. Рэйд 5 гарантирует целостность данных на случай отказа СТРОГО ОДНОГО накопителя.

>то что раньше именовалось raid 1
Да вроде зеркало, оно и в африке зеркало.

alexeevd
Сообщения: 1
Зарегистрирован: 11 окт 2006, 15:20

Сообщение alexeevd » 11 окт 2006, 15:35

сейчас чехарда в обозначениях. то что раньше именовалось raid 1, нынче именуется как raid 1+0 (типа, "разделение чтения"), и даже raid 10.
И статья эту чехарду никак не уменьшает, поскольку из нее можно сделать вывод о том, что RAID 0+1 и 10 это одно и тоже. Сдается мне, что такой формальный статистический параметр как Mean Time to Data Lost не должен ухудшаться для RAID 10 при увеличении количества дисков в массиве при прочих равных. Или влияние количества дисков не должно быть так существенно как в RAID 5/0+1

kdv
Forum Admin
Сообщения: 6595
Зарегистрирован: 25 окт 2004, 18:07

Сообщение kdv » 09 янв 2007, 16:17

полез тут посмотреть нынешние достижения в отношении контроллеров raid для sata II, и обнаружил интересную фигню.
В прямо скажем заказной статье для чайников про Promise Fastrack TX4310
http://www.pcw.co.uk/personal-computer- ... aid?page=3

я обнаружил, что rebuild time для raid 1 из двух 300-гиговых дисков составил аж 2 часа. А для raid 5 из трех таких дисков - и вовсе 2 часа 40 минут. Чему они там в статье радовались, что при этом процессор не загружен - не знаю.
Полез на сайт производителя, доку почитать. А там что-то вообще тишина на тему rebuild time, даже ориентировочно. А говорят, что это время как раз может сильно от контроллера зависеть...

Врут, или как? Я понимаю, что скопировать 300 гиг даже физически, мимо компа - это не 5 и не 10 минут, собственно. Но сам по себе такой rebuild time удручает.
Радует только то, что если взять не 300-гиговые, а 80-гиговые sata II диски, по ~52-55 баксов, то этот самый rebuild time будет уже не 2 часа, а примерно 15-20 минут. Так?

Dimitry Sibiryakov
Заслуженный разработчик
Сообщения: 1436
Зарегистрирован: 15 сен 2005, 09:05

Сообщение Dimitry Sibiryakov » 10 янв 2007, 07:35

В-общем-то все так и есть. У нас как раз этот контроллер ЕМНИП и ребилд действительно идет часы (на 250 гигах). Правда, если ребилдится оно из винды, массив остается доступным для обычных операций, а из биоса я ребилдить не пробовал.

kdv
Forum Admin
Сообщения: 6595
Зарегистрирован: 25 окт 2004, 18:07

Сообщение kdv » 11 мар 2007, 13:44

интересные ссылки на информацию о надежности дисков:

http://offline.computerra.ru/2007/676/308875/

http://labs.google.com/papers/disk_failures.pdf
http://www.usenix.org/events/fast07/tec ... oeder_html

во второй статье один из выводов:
"надежность дорогих винчестеров с "серьезными" интерфейсами SCSI и FC примерно такая же, как у массовых SATA-дисков;"

Кстати, я не зря замечал, что производители не случайно пишут надежность SCSI и SATA с разной степенью множителя 10^. Как миниум по данным производителей SCSI в 10 раз надежнее чем SATA, а в технических документах цифры подаются так, чтобы казалось, что в 100 раз.

То есть, можно спокойно собирать raid из sata, и не париться. Особенно если выбрать широко распространенную модель, т.е. с большими шансами найти замену в случае чего.

kdv
Forum Admin
Сообщения: 6595
Зарегистрирован: 25 окт 2004, 18:07

Сообщение kdv » 13 ноя 2007, 12:29

еще статья с описанием уровней raid:
http://timcompany.ru/article4.html

и еще одна ссылка, спасибо Сергею Тулаеву
http://www.textbanner.ru/1552/RAID

WildSery
Заслуженный разработчик
Сообщения: 1738
Зарегистрирован: 05 июн 2006, 16:19

Сообщение WildSery » 13 ноя 2007, 16:48

Некоторые замечания к статье "Тим":

"JBOD - его значения надежности, производительности и стоимости совпадают с соответствующими показателями единичного жесткого диска".
Это не так. Надёжность падает с увеличением числа дисков в JBOD. Хотя ремонт такого проще, чем страйпа, всё равно информация будет потеряна.

Тема RAID 0+1 не раскрыта.

kdv
Forum Admin
Сообщения: 6595
Зарегистрирован: 25 окт 2004, 18:07

Сообщение kdv » 13 ноя 2007, 18:30

Тема RAID 0+1 не раскрыта.
во второй ссылке - раскрыта.

т.е. грубо говоря, для raid 10 контроллер должен уметь делать сначала пары дисков в raid1, а уж затем их объединять в stripe, а не наоборот (блоки stripe позволять зеркалировать).

Кроме того, во второй ссылке в тестировании, как мне кажется, ясно показывается что в тестируемых контроллерах raid5 реализован программно. Что означает полную ж. Если для файл-сервера это еще годится, то для сервера БД - нет. Т.е. контроллер должен уметь считать КС для raid5 сам, аппаратно.

WildSery
Заслуженный разработчик
Сообщения: 1738
Зарегистрирован: 05 июн 2006, 16:19

Сообщение WildSery » 13 ноя 2007, 19:15

Я только к первой строке коммент писал. Пока постил, ты уже второй линк добавил.

Во второй статье никак не упоминается RAID 6.

kdv
Forum Admin
Сообщения: 6595
Зарегистрирован: 25 окт 2004, 18:07

Сообщение kdv » 14 ноя 2007, 02:37

так и контроллеры там старые, и статья 2005 года :)

kdv
Forum Admin
Сообщения: 6595
Зарегистрирован: 25 окт 2004, 18:07

Сообщение kdv » 16 янв 2008, 23:49

Константин Беляев подкинул еще одну статью с объяснениями про raid 5 и 6 и тестами разных контроллеров
http://www.thg.ru/storage/20060110/index.html

статья - январь 2006 года.

правда, be cafeful - в статье есть спорные и странные утверждения:

1.
"Но вся надёжность оказывается под угрозой, стоит только выйти из строя одному накопителю. Повреждённый массив RAID 5 теряет данные, если "вылетает" хотя бы один накопитель."

не знаю, что они имели в виду, но raid 5 при сбое одного диска не теряет данные. Понятно что для нормального функционирования при сбое диска нужно добавить новый.

2.
"Поскольку массив RAID 5 по чтению данных не слишком отличается от RAID 0, он увеличивает скорость чтения из-за чередования (одновременно читаются блоки с разных приводов). Но с записью дела обстоят совершенно по-иному.."

тесты, которые я видел, говорят об обратном - raid 5 практически не увеличивает скорость чтения данных.

WildSery
Заслуженный разработчик
Сообщения: 1738
Зарегистрирован: 05 июн 2006, 16:19

Сообщение WildSery » 17 янв 2008, 11:35

kdv писал(а):тесты, которые я видел, говорят об обратном - raid 5 практически не увеличивает скорость чтения данных.
На скольких дисках был тест?
На 6 дисках RAID 5 потоковое чтение (Ultra320 SCSI) мы замеряли - около 230 - 250 Мб/сек. Я бы не сказал, что "вообще никакого".

ЗЫ: Статью ещё не читал.

kdv
Forum Admin
Сообщения: 6595
Зарегистрирован: 25 окт 2004, 18:07

Сообщение kdv » 17 янв 2008, 14:44

тогда или вру или статьи старые.

Ответить