Моторесурс HDD и пласты залегания информации о нем
Пределы механической надежности жестких дисков можно попытаться практически изучить уже сегодня, предположив, что качество изготовления компонентов как минимум в перспективе не снизится, а новые технологии не повторят судьбу 3D и прочих рыночных фейлов. Однако спрашивать об этом производителей это как выяснять вкус меда у пчел и тонкости борьбы с коррупцией у госслужащих. Поэтому мы пойдем другой дорогой и попробуем провести что-то вроде OSINT — Open Source Intelligence, т.е. разведку проблемы по открытым источникам.
Из более-менее солидных внешне публикаций по данному вопросу можно выделить три с кусочком. Это обобщённые отчеты из Carnegie Mellon University и Google. Также навстречу нашей идее, по удачному стечению обстоятельств, движется политика публичности сетевого оператора хранения данных Backblaze.com. Компания по состоянию на 2019 год располагает почти 125 тысячами жестких дисков с пробегом почти 105 млн. диско-часов и любезно публикует статистику по надежности. Важно и то, что Backblaze.com использует в своих системах, по сути, потребительские накопители (они ощутимо дешевле), которым не положено работать круглосуточно и круглонедельно — тем интереснее статистика для изучения.
Некогда компания задалась вопросом о том, а как вообще подходить к вопросу понятия надежности жестких дисков. К 2013 году была опубликована более-менее предметная статистика по этому поводу. Если коротко, то компания отчиталась, что за 4-летний пробег основного парка из тогда еще 25 000 накопителей из строя вышло 22% дисков. 78% при этом успешно продолжали крутиться. Хорошо это или плохо? Ответ на этот вопрос займет некоторое время.
146%?
Начнем с того, что по мнению Backblaze.com 100% показатель отказов это далеко не самый плохой из возможных показателей. Считают они вот как: если сферический поставщик жестких дисков в вакууме поставит вам сотню абсолютно надежных в течение полугода накопителей, а затем они хором разово и одновременно крякнут, а вам надо чтобы они работали, то придется в течение года заменить каждый дважды. Т.е. заменить надо будет 200 дисков в год и тогда ежегодный показатель отказов составит 200%. А если каждый такой условный диск проработает всего час, то по году показатель отказов составит 876000%. «Однако!» — как говаривал К. Воробьянинов, помахав рукой преподавателям статистики.
Шторм и штиль в ванне
Инженеры по надежности в своей работе используют ванноподобную кривую для иллюстрации ожидаемых уровней отказов. Считается, что отказы проистекают из трех основных факторов:
- производственных дефектов, в результате которых имеет место явление, которое известно как «детские болезни» — в этом случае количество дефектов снижается;
- случайных неисправностей — величина более-менее постоянная;
- износа — количество отказов растет по понятным (кому?) причинам.
Собранные на графике «уровень отказов/время» эти факторы образуют три участка, формирующие нечто, напоминающее ванну. Отсюда и название.
В свою очередь Backblaze.com подтверждает эту теорию цифрами, сообщая, что на 4-х летнем отрезке времени первые полтора года годовой показатель отказов колеблется в районе 5%, потом снижается на некоторое время и потом, в районе 3-летней отметки, достаточно серьезно начинает расти. Вывод — 3 года является некоей условной точкой, когда начинает сказываться износ. С износом не все однозначно, но пока мы этого не касаемся.
Рассмотрим график от Backblaze.com.
Бытовуха
Мы помним, что хлопцы крутят бытовые диски круглосуточно и попытаемся перевести все это в более понятные временные отрезки. Учитывая, что большинство офисно-домашних ПК работают в среднем часов по 8 в сутки, то практический срок начала существенного влияния износа на надежность для них можно условно отодвинуть к 9 годам. Почему условно? Потому как при домашне-офисной работе диски включаются-выключаются, имеют внешние воздействия в виде непостоянной температуры и т.п. Но показатель в 26000 часов работы, как некоего порога условной надежности — вполне статистически достоверный ориентир. Важно так же понять, что в данном случае к 4-му году рабочими в режиме 24/7 подошли почти 80% потребительских дисков, которые изначально в таком режиме производителем использовать и не предполагалось — для дата-центров предлагаются несколько иные решения по несколько иным же ценам. Именно поэтому мы и имеем возможность изучить статистику смелых, взявших на себя риски вложиться в бизнес на непредназначенных для этого изначально «железках».
Крякнут все?
В какой-то момент времени ожидаемо откажут все 100% накопителей, но когда это произойдет — ответить сложно и прямой статистики найти не получится, т.к. никто в сфере хранения данных в здравом уме и трезвой памяти не будет рисковать клиентскими данными ради ачивок, хотя там все и избыточно, и даже «тихим ошибкам» проскочить не суждено (Тихие — в смысле, что данные в теории могут быть записаны с ошибкой, но вскроется это только со временем. В дата-центрах это почти нереально по причине постоянных сверок контрольных сумм и коррекции ошибок, а вот в SOHO полно накопителей, которые числятся нормальными, а по факту могут быть очень не очень. Самый смак, когда на такие пишут бэкапы, которые заведомо не поднимутся, но вылезет боком это только в самый важный момент, что только добавит угара факту обнаружения).
Интересно также, что показать статистику по полным ресурсным испытаниям вплоть до полного выхода серии накопителей из строя компания не может и по объективным причинам — накопители устаревают морально быстрее. Так уже в 2015 году однотерабайтных жестких дисков в основном парке Backblaze.com не осталось, начался отказ и от 2-терабйтников. При этом для последних от тогда еще HGST оглашен кумулятивный показатель отказов в 1,55% в среднем на пятилетнем пробеге!
С 3-терабайтниками картина похожая, но к концу 2015-го из эксплуатации были выведены диски Seagate и приведенная статистика сильно намекает, что в модели ST3000DM001 были некоторые нюансы дизайна, материалов или сборки, т.к. кумулятивный показатель отказа по модели составил 28,3% за 2 года при максимальном количестве в парке в 4074 единицы. Увидеть бы разбор ситуации производителем. При этом HGST на большем количестве имел показатель отказов в 0,8%.
К концу 2015 года три четверти парка компании составили уже накопители на 4 TБ. Т.е. обновление парка шло достаточно быстро, пока предлагаемые рынку объемы накопителей росли.
В мире животных
Отвлекаясь немного в сторону, чтобы проиллюстрировать незримую связь бездушной техники с живой природой, отметим, что после аварии на ЧАЭС, которую героически ликвидировало население той страны под локальным руководством УС-605, где за отдельные оперативно-инженерные решения отмечены почти невиданные ранее случаи награждения одновременно внеочередными званиями и орденами (военные оценят значимость такого факта: чтобы одновременно и орден и звание) в Чернобыльской зоне де-факто сформировался природный заповедник. Изначально считалось, что живая природа, в частности фауна, на территории зоны отчуждения понесла невосполнимые утраты, но по наблюдениям через 10–15 лет оказалось, что в зоне, ввиду ее обособленности, фауна как раз наоборот — разрослась вплоть до наличия краснокнижных животных. В дальнейшем исследования показали, что хоть животные и живут в радиационно загрязнённой среде, тем не менее чувствуют себя вполне неплохо — размножаются и расширяют ареалы. Внешне складывалось впечатление, что радиация никак на них не влияет, но анализы показывали обратное. В то же время растиражированные образы ужасных чудовищ по лесам не бегали и сталкеров не кусали. Разгадка оказалась достаточно Дарвиновской — за свой естественный жизненный цикл дикие животные не успевали столкнуться с отдаленными последствиями воздействия радиации (хищная правда в том, что редкое животное в дикой природе доживает до старости и умирает по естественным причинам ввиду влияния фактора пищевых цепочек), а физически неполноценные не проходят естественный отбор в детстве. Поэтому стороннему наблюдателю кажется, что все хорошо, но на самом деле это не совсем так. Та же картина в нашем дата-центре – ввиду роста предлагаемых объемов накопителей поколения достаточно интенсивно меняются даже до наступления факторов заключительного сегмента ванноподобной кривой. Кстати, сама ванноподобная кривая, как видно из нашего отвлечения, неплохо ложится и на дикую природу с некоторым оговорками. Но вернемся к проблеме.
Мыши плакали, кололись, но продолжали есть кактус?
Поломки тоже были вполне реальной причиной вывода накопителей из эксплуатации. Антилидером рейтинга поломок оказалась опять же Seagate, но и самих дисков от них в абсолютных цифрах больше.
Мыши плакали, кололись, но продолжали есть кактус? Взаимоисключающие параграфы детектед? И да и нет. В Backblaze.com сообщают, что, несмотря на указанную статистику, уже в сегменте 4 ТБ накопителей уровень отказов оказался очень неплохим в среднем по больнице и выглядел так:
Продукты Seagate оказались предпочтительней по двум причинам:
- Они были дешевле. И на этом, в общем-то, можно ставить точку. Цена — главный критерий рынка. Но мы продолжим.
- Статистически достоверно было установлено, что SMART-показатели хорошо предсказывали выход устройств Seagate из строя. В общем-то, второе, возможно, даже важнее первого, т.к. предсказуемость поломок является большим плюсом в вопросе надежности в целом.
Напомним, что S.M.A.R.T. это относительно стандартизированная внутренняя система самодиагностики накопителей. Относительно, т.к. разные диски фиксируют неодинаковый набор типовых показателей в рамках этой самодиагностики, а отдельные пункты так вообще являются ноу-хау производителя, но основной их перечень более-менее стабилен и понятен. Читается разным ПО, например CrystalDiskInfo. Понимая суть этих показателей можно примерно оценить состояние накопителя. Это касается как HDD, так и SDD с учетом специфики устройства обоих.
Типичный возврат показателей S.M.A.R.T. самодиагностики программой по ссылке выглядит так, для тех, кто не в курсе.
Тут стоит заметить, что именно подразумевается под поломкой жесткого диска. Backblaze.com классифицирует эти события так:
- Накопитель не раскручивается либо не подключается к ОС.
- Накопитель не синхронизируется с RAID или отваливается от него.
- SMART намекает на проблемы.
О последнем детальнее. Показателей много, но важными назначили пять:
- SMART 5 — Reallocated_Sector_Count.
- SMART 187 — Reported_Uncorrectable_Errors.
- SMART 188 — Command_Timeout.
- SMART 197 — Current_Pending_Sector_Count.
- SMART 198 — Offline_Uncorrectable.
Например, как только 187 показатель — неисправимые ошибки — сдвигается с 0, компания планирует накопитель к замене. Так же сообщается, что пока данный показатель равен 0 накопители выходят из строя крайне редко. Статистика на иллюстрации, про 280% отказов описано выше.
Т.е. прогнозируемость отказа — чуть ли не ключевое преимущество в сфере работы с данными, что, в общем-то и понятно. Мы же с вами помним, что нечто аналогичное можно проследить и в среде твердотельных накопителей, правда там отказы происходят немного внезапнее и безвозвратнее. Ну и пока дороже в финансовом плане, чем в случае жестких дисков.
Небольшое отступление для внимательных
В вышеприведенном типичном SMART-отчете вроде не видно никаких указанных мною 187,188,197,198. На самом деле видно, но в графе ID эти идентификаторы представлены в hex т.е. шестнадцатеричной системе исчисления, где помимо цифр 0, 1, 2, 3, 4, 5, 6, 7, 8, 9 используются еще и латинские буквы A, B, C, D, E, F. Т.е. для перевода цифр надо помнить, что в hex A это 10, B это 11; C это 12; D это 13; E это 14 и F это 15 в десятичном понимании, именуемом dec. Можно не париться, а поискать hex2dec конвертер или наоборот и из горы онлайн-ссылок выбрать любую. Так мы узнаем, что наш 187 показатель это шестнадцатеричное BB.
В моем типичном примере этот показатель уже отличен от 0 и равен 1, что говорит о том, что диск, в общем-то, уже не колокольчик и надо подумывать о замене всего-то на 9000 часах. Но это ноутбук и соответствующая эксплуатация — так что такое можно увидеть и на 1 часе после падения со стола. С другой стороны, в таком виде он открутит еще тысяч 20 часов и не закашляет. Не увидь я эти данные, а многие могут их не увидеть вообще никогда, то и не забивал бы себе голову. Это и есть одна из форм той самой тихой ошибки, о которой выше. Их может быть много, но с ними можно и не столкнуться. Доверять критические данные без резервного хранения таким дискам, конечно, не стоит, но по факту это делают миллионы людей ежедневно, так что иногда мониторить SMART все же имеет смысл.
He2 (т.к. просто Неlium был выше)
Но двинемся по статистике дальше. 4 ТБ накопители в целом оказались существенно надежнее 3 ТБ предшественников даже в рамках одного производителя. Так «трешки» от Seagate в первый год показывали 9,3% годовых отказов, а четверки — всего 2,6%.
Однако объемы растут и скоро и этот парк уйдет в прошлое целиком, т.к. на марше у нас 8-ки, 10-ки и даже 12-ки! Однако здесь не все так однозначно. Дело в том, что в этом сегменте уже идет внедрение новых технологий в массовое производство. Мы помним, что воздух, состоящий в основном из азота и в потоке которого парят головки над блинами жестких дисков, сильно плотный для современных решений и физически является препятствием росту объемов и скоростей. Поэтому в новых моделях используют менее плотных гелий, т.к. газовая среда в гермоблоке необходима — в вакууме механика жесткого диска по традиционной модели работать не будет, головки в прямом смысле слова нуждаются в газовой среде. Такие себе экранопланы.
Вокруг гелия идут дискуссии. Некоторые считают, что обеспечить абсолютную герметичность внутри и исключить утечку гелия в массовых изделиях не удастся, что неминуемо приведет к отказам т.к. внутренняя механика таких накопителей заточена под менее плотную, чем воздух, среду. Теоретически это заявление, в общем-то, обосновано, но все будет зависеть от конкретных производственных возможностей по реальной герметизации массовых товарных накопителей, т.е. заявку эту можно подтвердить или опровергнуть только временем, а пока у нас есть статистика для изучения.
И эта статистика говорит, что текущие 8-терабайтники на воздухе не особо и отличаются показателем отказов от вариантов на гелии. Более того 8/10/12-терабайтники на гелии в целом показывают неплохую массовую статистику. Серия из 16800 штук на 12 ТБ от Seagate на более чем полутора миллионах диско-часов имеет годовой показатель отказа чуть более 1%. Да и вообще большие диски получились пока статистически очень неплохими.
Средняя температура по больнице
Самое время посмотреть общую статистику от Backblaze.com. Это конечно не рынок в целом, но почти 107 000 накопителей, круглосуточно работающих под нагрузкой, дают основания делать хотя бы приблизительные и статистически вроде бы относительно натягиваемые на бытового или SOHO-пользователя выводы.
По актуальным моделям картина выглядит так:
Как видим для 45 млн. диско-дней годовой показатель отказов для 4-терабайтного Seagate составил менее 3%, т.е. при выборке из почти 35000 накопителей, которые постоянно нагружены работой, в год из строя выйдет менее 3 единиц. Примечательно, что средний пробег по этим цифрам составил примерно 3,5 года.
Промежуточные итоги
Важными выводами, которые делают из своей статистики Backblaze.com являются следующие:
- Для современных жестких дисков потребительского класса, нагруженных круглосуточно, порог роста числа отказов по износу приходится на 4 года.
- Выход из строя таких дисков — явление неплохо прогнозируемое по SMART.
- 1+2 для случая массива RAID дают хорошие гарантии того, что данные, хранящиеся таким образом на потребительских накопителях, делают это вполне надёжно при адекватном мониторинге ситуации.
Главным следствием из изложенного, вероятно, является тот факт, что в реальном SOHO с похожими нагрузками накопители встретятся нечасто, но там будут иные нюансы. Конечно, кто-то может сделать аналог домашнего дата-центра из старого сервера HP и подкинуть туда архив p2p-файлообмена, но даже в таком случае достичь нагрузок, аналогичных тем, что испытывают носители в Backblaze.com, можно будет далеко не всегда и уж точно не постоянно. В связи с этим срок полезной работы жесткого диска в домашне-офисных условиях вероятнее всего окажется больше, нежели описанные 4 года, особенно учитывая, что это только порог увеличения отказов по износу, а не момент, когда все диски выйдут из строя. Т.е. в реальности году к 5–6, если экстраполировать, где-то половина стартовавших одновременно накопителей будет жива. Но проводить эксперимент по долголетию с клиентскими данными на борту, как мы помним, никто не будет, и по показаниям SMART отклонившиеся от генеральной линии партии накопители будут заменены новыми, но к тому времени уже аппаратно иными участниками соревнований.
Some Like It Hot
К аналогичным выводам пришли ученые из Carnegie Mellon University. В частности, они отмечают, что в периоде после 5 лет эксплуатации необходимость замены носителей в крупных инсталляциях возрастает.
А вот ребята из Google установили, что влияние факторов температуры и нагрузки на выход дисков из строя несколько преувеличены и статистически заметны только для возрастных накопителей — т.е. после 5 лет, что несколько неожиданно и для них самих, т.к. ожидалось обратное.
Данные в части температурного режима выглядят так — максимальные проблемы у горячих дисков на 3 году работы. А мы пока заметим, что пик пришелся на более, чем 45 градусов.
Они же сообщают, что особой разницы в случае анализа потребительских и корпоративно-профессиональных накопителей не наблюдают. Последнее, в общем-то, ожидаемо на фоне вышеизложенного. Тем не менее, для 5-летних дисков показатель выхода из строя для выборки с большой нагрузкой и маленькой отличается вдвое — около 4 и 2 %, что в абсолютном выражении не катастрофично. Для новых дисков эти показатели соответственно находятся на уровнях 10 и 4 % с некоторым разбросом, т.е. можно предположить, что под нагрузкой лучше и раньше проявляются производственно-инженерные дефекты и проблемы комплектующих.
По вопросам отсутствия корреляции показателей температуры и отказов Backblaze.com в целом солидарны с предыдущим докладчиком, опираясь на статистику по 34 000 накопителям. Наличие такой связи проявляется лишь на отдельных конкретных моделях, например, Seagate ST31500541AS. Для него диаграмма выглядит так:
Для большинства же моделей жестких дисков такой связи не прослеживается. Детальнее цифры можно посмотреть по ссылке.
Например, по выборке Hitachi HDS722020ALA330 картина следующая и она, вероятно, обусловлена даже не столько конструктивными моментам, а конкретными условиями производства самой модели. Правда стоит отметить, что в случае с дата-центром особо нагреваться дискам никто не дает. Температурный режим и вентиляция там несравнимо получше, чем в типовом напольном мидлтауере с горой пыли внутри. Запомним этот момент, он нам еще пригодится.
