Статья RAID для чайников
Модератор: kdv
-
- Сообщения: 53
- Зарегистрирован: 11 мар 2005, 15:44
Пусть меня запинают, пусть, но я всё равно спрошу.
Не будем говорить о быстродействии - поставим во главу угла надёжность. Если сравнить в этом отношении (чисто теоретически) RAID10 и RAID5, то, насколько я понимаю, первый должен быть надёжнее. В RAID10 в случае отказа, например, двух винчестеров из двух разных зеркальных пар, данные не потеряются, в случае же RAID5 - это верная смерть. Опять же, в случае замены винчестера, для регенерации информации на новом винчестере в RAID5 надо прочитать информацию со всех винчестеров массива, в RAID10 - только с одного, что, в общем-то, должно выполняться быстрее, а значит время пребывания в нерезервированном состоянии меньше.
Вы не думайте, статью я внимательно читал , и пример с убитым RAID10 видел, но так ли показателен этот пример? В интернете довелось читать о случаях, когда во время восстановления инфомации на новом диске массива RAID5, умирал ещё один и...
Есть ли какая-нибудь статистика по сравнению отказов этих двух, скажем так, основных типов массивов? Насколько теория вяжется с практикой?
Не будем говорить о быстродействии - поставим во главу угла надёжность. Если сравнить в этом отношении (чисто теоретически) RAID10 и RAID5, то, насколько я понимаю, первый должен быть надёжнее. В RAID10 в случае отказа, например, двух винчестеров из двух разных зеркальных пар, данные не потеряются, в случае же RAID5 - это верная смерть. Опять же, в случае замены винчестера, для регенерации информации на новом винчестере в RAID5 надо прочитать информацию со всех винчестеров массива, в RAID10 - только с одного, что, в общем-то, должно выполняться быстрее, а значит время пребывания в нерезервированном состоянии меньше.
Вы не думайте, статью я внимательно читал , и пример с убитым RAID10 видел, но так ли показателен этот пример? В интернете довелось читать о случаях, когда во время восстановления инфомации на новом диске массива RAID5, умирал ещё один и...
Есть ли какая-нибудь статистика по сравнению отказов этих двух, скажем так, основных типов массивов? Насколько теория вяжется с практикой?
Оба-на. Ты ничего не путаешь? Это в случае отказа двух из одной пары не потеряются. А в случае разных пар - однозначный труп. У тебя получатся два битых RAID0 - невосстановим ни один, ни другой, ИМХО. Может, конечно, спецы на стенде со спецсофтом что-то и смогут...Andrew Sagulin писал(а):В RAID10 в случае отказа, например, двух винчестеров из двух разных зеркальных пар, данные не потеряются
бывает, что raid10 умирает и при издыхании только одного диска.В RAID10 в случае отказа, например, двух винчестеров из двух разных зеркальных пар, данные не потеряются
тут уже приводили классическое утверждение, что с увеличением числа компонент надежность падает.
raid 1+0 на мой взгляд надежен только в случае двух дисков - это личное мнение - потому что если мы делаем 4 диска, то raid0 сам по себе опасен. Конечно, для 4-х дисков есть 2 комбинации когда raid 10 умирает, и 2 когда остается жив. Для raid 5 иначе - при трех дисках допускается умирание одного, при четырех - двух, и т.д. По идее, raid 5 из 4-х дисков более отказоустойчив в случае падения двух дисков, чем raid10.
Я просто не знаю как себя поведет raid10 при отказе двух дисков "по диагонали". по-моему, кирдык ему настанет.
-
- Сообщения: 53
- Зарегистрирован: 11 мар 2005, 15:44
Возможно, у меня путаница в терминологии. Под зеркальной парой я понимаю два винчестера с идентичной информацией, например, 6 винчестеров:WildSery писал(а):Оба-на. Ты ничего не путаешь?
A-A
B-B
С-С
Если откажут по одному из пар A и B, то потери информации, по идее, быть не должно. Но, как правильно заметил Дмитрий, не факт, что контроллер эту ситуацию отработает нормально, хотя должен.
-
- Сообщения: 53
- Зарегистрирован: 11 мар 2005, 15:44
Стоп-стоп-стоп, с этого места поподробнее, пожалуйста, а то мои теоретические познания начинают буксовать. RAID 5 я понимаю примерно так:kdv писал(а):Для raid 5 иначе - при трех дисках допускается умирание одного, при четырех - двух, и т.д.
Код: Выделить всё
HDD1: B1 B5 B9 ...
HDD2: B2 B6 S3 ...
HDD3: B3 S2 B7 ...
HDD4: S1 B4 B8 ...
Или я совсем-совсем не прав?
-
- Заслуженный разработчик
- Сообщения: 644
- Зарегистрирован: 15 фев 2005, 11:34
ВСЕ СМЕШАЛОСЬ В ДОМЕ ОБЛОНСКИХ (С)kdv писал(а):бывает, что raid10 умирает и при издыхании только одного диска.В RAID10 в случае отказа, например, двух винчестеров из двух разных зеркальных пар, данные не потеряются
тут уже приводили классическое утверждение, что с увеличением числа компонент надежность падает.
raid 1+0 на мой взгляд надежен только в случае двух дисков - это личное мнение - потому что если мы делаем 4 диска, то raid0 сам по себе опасен. Конечно, для 4-х дисков есть 2 комбинации когда raid 10 умирает, и 2 когда остается жив. Для raid 5 иначе - при трех дисках допускается умирание одного, при четырех - двух, и т.д. По идее, raid 5 из 4-х дисков более отказоустойчив в случае падения двух дисков, чем raid10.
Я просто не знаю как себя поведет raid10 при отказе двух дисков "по диагонали". по-моему, кирдык ему настанет.
>бывает, что raid10 умирает и при издыхании только одного диска.
Не бывает. Только если из-за глюков диска вдруг сносит башню рэйд контроллеру, вот тогда, да, жопа-с.
>Для raid 5 иначе - при трех дисках допускается умирание одного, при четырех - двух, и т.д
Нет, это не так. Рэйд 5 гарантирует целостность данных на случай отказа СТРОГО ОДНОГО накопителя.
>WildSery
>Оба-на. Ты ничего не путаешь?
Это ты путаешь рэйд 10, применяемый ныне повсеместно, это когда в биосе рэйда сначала собирается n зеркал, потом полученные зеркала спанятся в единый массив 10. И рэйд 0+1, где наоборот, например он присутсвовал в старых рэйд контроллерах майлекс (ныне перекуплен ЛСИ). В настоящее время 0+1 почти не встречается в полноценных аппаратных писиай рэйдах.
>Andrew Sagulin
>В интернете довелось читать о случаях, когда во время восстановления инфомации на новом диске массива RAID5, умирал ещё один и...
Для этого обычно прменяют хотспаре диск(и), в случае выпадения одного диска в оффлайн, контроллер сразу начинает ребилд на хотспаре диск, чем минимизируется время работы массива в дегредит ражиме, соответственно снижается вероятность отказа массива на случай отказа второго накопителя. Для параноиков придуман рэйд 6, гарантирующий работу массива на случай отказа 2-х накопителей, встречается в достаточно бюджетных САТА контроллерах Арека(16 портовый аппарат всего порядка 1 килобакса), а также во внешних массивах, где дисков по определеню больше десятка.
бывает. если бы "не бывает", то нам бы убитые на таких raid базы не приносили.Не бывает.
даже если в массиве 5 дисков?Нет, это не так. Рэйд 5 гарантирует целостность данных на случай отказа СТРОГО ОДНОГО накопителя.
сейчас чехарда в обозначениях. то что раньше именовалось raid 1, нынче именуется как raid 1+0 (типа, "разделение чтения"), и даже raid 10.Это ты путаешь рэйд 10, применяемый ныне повсеместно, это когда в биосе рэйда сначала собирается n зеркал, потом полученные зеркала спанятся в единый массив 10.
-
- Заслуженный разработчик
- Сообщения: 644
- Зарегистрирован: 15 фев 2005, 11:34
>бывает. если бы "не бывает", то нам бы убитые на таких raid базы не приносили.
Не забываем, что массив это не только диски, но и контроллер, соединительные кабели, микросхемы памяти кэша, батарейки, упраляющая программа контроллера(фирмварь) и т.п.
Отказ массива может наступить не только из-за отказа диска(дисков).
Отказ накопителя может повлечь за собой неправильную работу управляющей микропрограммы контроллера, в итоге данные на других дисках начинают портиться не из-за отказа самих дисков, а из-за управляющей программы, ее ведь тоже живые люди-программиты пишут, это я и имел в виду под фразой "сносит башню рэйд контроллеру". Если поискать, то в интернете можно найти кучу жалоб на контроллеры промис, а также многие софтовые/полусофтовые реализации раэйдов именно в этом контексте, что медленная смерть одного диска приводит к неконсистентности всего массива.
>даже если в массиве 5 дисков?
Да, именно так. Рэйд 5 гарантирует целостность данных на случай отказа СТРОГО ОДНОГО накопителя.
>то что раньше именовалось raid 1
Да вроде зеркало, оно и в африке зеркало.
Не забываем, что массив это не только диски, но и контроллер, соединительные кабели, микросхемы памяти кэша, батарейки, упраляющая программа контроллера(фирмварь) и т.п.
Отказ массива может наступить не только из-за отказа диска(дисков).
Отказ накопителя может повлечь за собой неправильную работу управляющей микропрограммы контроллера, в итоге данные на других дисках начинают портиться не из-за отказа самих дисков, а из-за управляющей программы, ее ведь тоже живые люди-программиты пишут, это я и имел в виду под фразой "сносит башню рэйд контроллеру". Если поискать, то в интернете можно найти кучу жалоб на контроллеры промис, а также многие софтовые/полусофтовые реализации раэйдов именно в этом контексте, что медленная смерть одного диска приводит к неконсистентности всего массива.
>даже если в массиве 5 дисков?
Да, именно так. Рэйд 5 гарантирует целостность данных на случай отказа СТРОГО ОДНОГО накопителя.
>то что раньше именовалось raid 1
Да вроде зеркало, оно и в африке зеркало.
И статья эту чехарду никак не уменьшает, поскольку из нее можно сделать вывод о том, что RAID 0+1 и 10 это одно и тоже. Сдается мне, что такой формальный статистический параметр как Mean Time to Data Lost не должен ухудшаться для RAID 10 при увеличении количества дисков в массиве при прочих равных. Или влияние количества дисков не должно быть так существенно как в RAID 5/0+1сейчас чехарда в обозначениях. то что раньше именовалось raid 1, нынче именуется как raid 1+0 (типа, "разделение чтения"), и даже raid 10.
полез тут посмотреть нынешние достижения в отношении контроллеров raid для sata II, и обнаружил интересную фигню.
В прямо скажем заказной статье для чайников про Promise Fastrack TX4310
http://www.pcw.co.uk/personal-computer- ... aid?page=3
я обнаружил, что rebuild time для raid 1 из двух 300-гиговых дисков составил аж 2 часа. А для raid 5 из трех таких дисков - и вовсе 2 часа 40 минут. Чему они там в статье радовались, что при этом процессор не загружен - не знаю.
Полез на сайт производителя, доку почитать. А там что-то вообще тишина на тему rebuild time, даже ориентировочно. А говорят, что это время как раз может сильно от контроллера зависеть...
Врут, или как? Я понимаю, что скопировать 300 гиг даже физически, мимо компа - это не 5 и не 10 минут, собственно. Но сам по себе такой rebuild time удручает.
Радует только то, что если взять не 300-гиговые, а 80-гиговые sata II диски, по ~52-55 баксов, то этот самый rebuild time будет уже не 2 часа, а примерно 15-20 минут. Так?
В прямо скажем заказной статье для чайников про Promise Fastrack TX4310
http://www.pcw.co.uk/personal-computer- ... aid?page=3
я обнаружил, что rebuild time для raid 1 из двух 300-гиговых дисков составил аж 2 часа. А для raid 5 из трех таких дисков - и вовсе 2 часа 40 минут. Чему они там в статье радовались, что при этом процессор не загружен - не знаю.
Полез на сайт производителя, доку почитать. А там что-то вообще тишина на тему rebuild time, даже ориентировочно. А говорят, что это время как раз может сильно от контроллера зависеть...
Врут, или как? Я понимаю, что скопировать 300 гиг даже физически, мимо компа - это не 5 и не 10 минут, собственно. Но сам по себе такой rebuild time удручает.
Радует только то, что если взять не 300-гиговые, а 80-гиговые sata II диски, по ~52-55 баксов, то этот самый rebuild time будет уже не 2 часа, а примерно 15-20 минут. Так?
-
- Заслуженный разработчик
- Сообщения: 1436
- Зарегистрирован: 15 сен 2005, 09:05
интересные ссылки на информацию о надежности дисков:
http://offline.computerra.ru/2007/676/308875/
http://labs.google.com/papers/disk_failures.pdf
http://www.usenix.org/events/fast07/tec ... oeder_html
во второй статье один из выводов:
"надежность дорогих винчестеров с "серьезными" интерфейсами SCSI и FC примерно такая же, как у массовых SATA-дисков;"
Кстати, я не зря замечал, что производители не случайно пишут надежность SCSI и SATA с разной степенью множителя 10^. Как миниум по данным производителей SCSI в 10 раз надежнее чем SATA, а в технических документах цифры подаются так, чтобы казалось, что в 100 раз.
То есть, можно спокойно собирать raid из sata, и не париться. Особенно если выбрать широко распространенную модель, т.е. с большими шансами найти замену в случае чего.
http://offline.computerra.ru/2007/676/308875/
http://labs.google.com/papers/disk_failures.pdf
http://www.usenix.org/events/fast07/tec ... oeder_html
во второй статье один из выводов:
"надежность дорогих винчестеров с "серьезными" интерфейсами SCSI и FC примерно такая же, как у массовых SATA-дисков;"
Кстати, я не зря замечал, что производители не случайно пишут надежность SCSI и SATA с разной степенью множителя 10^. Как миниум по данным производителей SCSI в 10 раз надежнее чем SATA, а в технических документах цифры подаются так, чтобы казалось, что в 100 раз.
То есть, можно спокойно собирать raid из sata, и не париться. Особенно если выбрать широко распространенную модель, т.е. с большими шансами найти замену в случае чего.
еще статья с описанием уровней raid:
http://timcompany.ru/article4.html
и еще одна ссылка, спасибо Сергею Тулаеву
http://www.textbanner.ru/1552/RAID
http://timcompany.ru/article4.html
и еще одна ссылка, спасибо Сергею Тулаеву
http://www.textbanner.ru/1552/RAID
Некоторые замечания к статье "Тим":
"JBOD - его значения надежности, производительности и стоимости совпадают с соответствующими показателями единичного жесткого диска".
Это не так. Надёжность падает с увеличением числа дисков в JBOD. Хотя ремонт такого проще, чем страйпа, всё равно информация будет потеряна.
Тема RAID 0+1 не раскрыта.
"JBOD - его значения надежности, производительности и стоимости совпадают с соответствующими показателями единичного жесткого диска".
Это не так. Надёжность падает с увеличением числа дисков в JBOD. Хотя ремонт такого проще, чем страйпа, всё равно информация будет потеряна.
Тема RAID 0+1 не раскрыта.
во второй ссылке - раскрыта.Тема RAID 0+1 не раскрыта.
т.е. грубо говоря, для raid 10 контроллер должен уметь делать сначала пары дисков в raid1, а уж затем их объединять в stripe, а не наоборот (блоки stripe позволять зеркалировать).
Кроме того, во второй ссылке в тестировании, как мне кажется, ясно показывается что в тестируемых контроллерах raid5 реализован программно. Что означает полную ж. Если для файл-сервера это еще годится, то для сервера БД - нет. Т.е. контроллер должен уметь считать КС для raid5 сам, аппаратно.
Константин Беляев подкинул еще одну статью с объяснениями про raid 5 и 6 и тестами разных контроллеров
http://www.thg.ru/storage/20060110/index.html
статья - январь 2006 года.
правда, be cafeful - в статье есть спорные и странные утверждения:
1.
"Но вся надёжность оказывается под угрозой, стоит только выйти из строя одному накопителю. Повреждённый массив RAID 5 теряет данные, если "вылетает" хотя бы один накопитель."
не знаю, что они имели в виду, но raid 5 при сбое одного диска не теряет данные. Понятно что для нормального функционирования при сбое диска нужно добавить новый.
2.
"Поскольку массив RAID 5 по чтению данных не слишком отличается от RAID 0, он увеличивает скорость чтения из-за чередования (одновременно читаются блоки с разных приводов). Но с записью дела обстоят совершенно по-иному.."
тесты, которые я видел, говорят об обратном - raid 5 практически не увеличивает скорость чтения данных.
http://www.thg.ru/storage/20060110/index.html
статья - январь 2006 года.
правда, be cafeful - в статье есть спорные и странные утверждения:
1.
"Но вся надёжность оказывается под угрозой, стоит только выйти из строя одному накопителю. Повреждённый массив RAID 5 теряет данные, если "вылетает" хотя бы один накопитель."
не знаю, что они имели в виду, но raid 5 при сбое одного диска не теряет данные. Понятно что для нормального функционирования при сбое диска нужно добавить новый.
2.
"Поскольку массив RAID 5 по чтению данных не слишком отличается от RAID 0, он увеличивает скорость чтения из-за чередования (одновременно читаются блоки с разных приводов). Но с записью дела обстоят совершенно по-иному.."
тесты, которые я видел, говорят об обратном - raid 5 практически не увеличивает скорость чтения данных.