почему-то я подозревал, что вы знакомы с bu33erом

Виртуально, к сожалению. Впрочем, в реале один раз наблюдал, но без прямого контакта первого рода :-)

Как это все перешли на диски, ленточная библиотеки никто не отменял (когда надо хранить много и _долго_).

Ленточные библиотеки - очень специфическая вещь, а этот робот работал в телестудии - там такие объемы просто не нужны :-) Кстати, не очень представляю, а куда вообще сейчас эти ленточные библиотеки используются - то есть, где не особо нужна скорость, но нужно хранить буквально петабайты данных...

в любом месте, где надо много и долго хранить, с гарантией прочтения.
Кстати, видеостудии вполне возможно и сейчас ими пользьзуются - им же отснятые материалы иногда надо хранить долго.
На винтах - это вполне может быть дороже (с учетом поддержания сохранности данных).

На винтах долго и надёжно хранить неудобно, да - нужно контролировать сохранность, создавать резервные копии, и вообще суетиться - просто "на полку положить" не получится.
С другой стороны - петабайтную роботизированную библиотеку я представляю разве что у каких-нибудь гигантов типа CNN, у студий помельче - ну, может быть и есть "большой стеллаж с ленточками", "писюк" с базой "где какая лента лежит", и студент, умеющий при необходимости за полчаса находить нужную ленточку :-) Опять же, вопрос в том, что хранить, с каким качеством, сколько хранить, а главное - зачем вообще что-то сколь-либо долго хранить, новостей и так каждый день много новых :-)

Причем создавать резервные копии куда? Не на другие же винты, рекурсию получим :)

Не факт, что студент будет дешевле, кстати.
http://www.youtube.com/watch?v=hEWe8G0k51Y - вот типа таких стоят несколько тысяч всего, судя пл Google shopping. Десятки-сотни TB правда "всего".
Цены на более навороченные сразу найти не удалось (плюс там обычно сильно договорная цена, насколько я знаю).

К сожалению (или к счастью) практического опыта работы с таким нет..

> Причем создавать резервные копии куда? Не на другие же винты, рекурсию получим :)

Именно что на винты, куда ж ещё? RAID, конечно, добавляет надёжности, но "рассыпать" RAID вполне реально при не таком уж редком стечении обстоятельств. А если (в дополнение к RAID, а то и безо всяких RAID'ов) делать две-три независимые копии на жёстких дисках, лежащие физически в разных местах (лучше вообще в разных зданиях) - случайно убить обе копии будет сложно, а новая копия отрастёт быстро, ибо жёсткий диск быстрее ленточки. Главное - регулярный контроль целостности и оперативное копирование.

> http://www.youtube.com/watch?v=hEWe8G0k51Y

Уй, какая няша :-) Но вопроса тут два. Сначала - объём/цена: сотню терабайт ведь можно набрать и в виде пятидесяти десктопных двухтерабайтных дисков. Ну, пусть даже сотни дисков - для автоматизированных резервных копий. Места "хранилище" на 100 дисках займёт больше, жрать тоже будет немало, и будет регулярно просить заменить умерший диск на новый, зато скорость доступа выше, и технология как бы привычней. А потом, когда объем уже слишком большой для дискового массива - необходимая оперативность: если это "архив, который обычно не нужен" - так и студента не надо, достаточно стеллажа с ленточками, нужную ленточку кто-нибудь из штатных сотрудников найти сможет. Вот если архив нужен настолько часто, что студент задолбается по полкам лазить - тогда да, tape library с роботами, уже без вариантов...

Это я все понимаю. Но:
1) стоимость и размер железки, в которую можно воткнуть эти 100 винтов? Даже двух - чтобы в случае чего все не рассыпалось (ленточки то независимые).
2) счета за электроэнергию (которая весьма не бесплатная :( )
3) UPS под это дело опять же не дешевый (учитывая мощность).
4) Все может случиться как у Гугля: http://oldmann.livejournal.com/206042.html :)

ну и да, упирается в вопрос, насколько часто надо доступ. Если нужен мгновенный - то да, без винтов обойтись сложно. А вот если минут достаточно - tape library вполне справится, имхо.

1. Ну, мы же можем вбить в обычный десктопный писюк (с мощным БП и дополнительными PCI/SATA карточками) штук десять винтов? Дальше ставим рядком эти десять десктопов, вяжем их гигабитной сеткой, и долго трахаемся с софтом для всего этого. Зато - бюджетненько, и можно сделать удовлетворительно надёжно.
2,3. Ну, телестудия сама по себе электричества немало жрёт.
4. Это проблема, да. Почему я и предлагаю максимально разносить копии: гарантии это не даст (убить копию на винте можно куда быстрей и надёжней, чем на ленточке), но вероятность снизит. При этом, что интересно, студент-то окажется ещё и надёжней: "сильный программный глюк" в случае робота спокойно угробит информацию (роботу пофиг, ему сказали - он делает), а в случае студента - просто не произойдёт (хотя не исключён "человеческий фактор" или вообще саботаж).

> А вот если минут достаточно - tape library вполне справится, имхо.

А если достаточно получаса - то и студент справится. А за пару часов как-нибудь и без студента доберутся до нужной полки, была бы база. То есть, если не считать реально крупных компаний, мне логичным кажется переход от дискового массива к обычным полкам с лентами и студенту, и только потом - к роботизированной библиотеке...

1) Иинтересна стоимость такого решения, с учетом нахождения умельца, который это сделает и будет поддерживать. И долго трахаемся с софтом заодно :) И что делать, если умелец уволится.
2.3) я про разницу в потреблении массива винтов и библиотеки ленточек. И сколько это будет в деньгах - это же тоже стоит учитывать при выборе.

Студенты тут тоже хотят много денег, робот вполне может оказаться дешевле в перспективе.
Но тут уже считать надо на б/м конкретных цифрах, а не сферического студента работающего с не менее сферическими лентами :)

1. Очень хочется верить, что это существует в готовом, коммерчески доступном, виде. Поскольку если и правда "нанять линуксоида, пусть сделает и софт напишет", то результат "рванёт" обязательно, вопрос только во времени. В конце концов - ленточные массивы на петабайты продаются, а дисковых что - нет готовых, только самому собирать? Задачка-то принципиально несложная, всяко проще робота с ленточками.

2,3) Ну так да. Просто на фоне потребления всего остального оборудования эти несколько киловатт можно и не заметить - подумаешь, три-четыре электрочайника. Вот когда счёт на десятки киловатт пойдёт - тогда да, пора задумываться.

1) Я понял идея в том, чтобы "собрать на коленке, из говна и палок на обычном железе", а не "купить спецжелезку за спецденьги". В готовом виде то, что я видел - стоит мягко говоря солидно тоже.

2,3) Я про то, что если библиотека стоит X1 денег, в месяц потребляет электричества на Y1 денег, а дисковый массив стоит X2, лепестричества хочет на Y2 - то если X1+Y2*время жизни < Y1 +Y2*время жизни, то стоит взять библиотеку (даже если X1 >> X2).

1. Ну, скажем, "собрать на коленке, софт купить или скачать". В том смысле, что софт там конечно не сложный, но далеко не из тех, что "за выходные под пиво" пишется.
С другой стороны - это ж всё равно придётся интегрировать в существующую систему, под это дело можно и свой софт написать. Если не ставить особо высоких требований к надёжности, а так - "чтобы вылет диска как правило не приводил к гибели информации" - вполне реально :-)

2,3) ну так Х1 надо заплатить сейчас, а Y1*t платится постепенно. А дальше уже надо считать, делать поправку на политику компании и методы распределения денег...

> вбить в обычный десктопный писюк (с мощным БП и дополнительными PCI/SATA карточками) штук десять винтов

А почему не NAS на дохрена винтов? Или, если так уж хочется самосбора, корпус вроде SuperMicro CSE-846E1-R900B (с 24 корзинами для винтов, а есть и на больше)?

Бекапы, например. За последние 5-10 лет :-)
У нас пока бекапы за полгода и библиотека - на 48 ленточек по 2Тб.

Ленточные библиотеки - ночной кошмар админов, все еще живы и пока никуда уходить не спешат.

Для данных роботизированные библиотеки продолжают быть крайне популярными. Вон, великий квантум, забив в свое время на винты, лентами торгует активно. Какой-нибудь шеститысячный скалар умеет больше 5 тысяч лент в библиотеке - почти 16 петабайт.
Понятно, что для видео кассеты уже не актуальны, но есть ведь такие же роботы и для дисков.

И ленты, кстати, пока никуда не денутся, потому что обеспечивают долговременное и легко отчуждаемое хранение. По совокупности этих качеств их вряд ли кому-нибудь удастся сделать в ближайшее время.

Присоединюсь к предыдущим ораторам. 10 терабайт на NAS будут стоить от $6К до $12К, за те же деньги можно купить библиотеку на порядок больше. И кассеты можно вынимать и отправлять в хранилище по мере заполняемости, так что теоретически хранить можно все.

IBM Tape Library 3584 (anaconda)


http://oldmann.livejournal.com/206042.html

Я бы себе такой дома поставил.;)

А вообще конечно жаль, что щас все минимизировано и минималистично. Мне вот часто бобинников не хватает - на них можно было часам смотреть слушая музыку, а сейчас что? На ipod смотреть желания нету.;)

До сих пор вовсю пользуются бакапы на пленку, которя хранится в подобных роботизированных библиотеках. Что-то подсказывает мне, что плотность упаковки данных у пленки пока что еще максимальна. А вот и пруф нашелся http://www.membrana.ru/particle/3637

На один маленький ленточный картридж можно зафигачить 5 терабайт данных http://www.allbackup.ru/article_info.php?articles_id=64. Он легкий и не боится ударов, аналогичный SSD стоит как крыло от самолета.

Впечатляет.

Но сравнивать имеет смысл с HDD - SSD очень быстрые, но довольно небольшого объёма, то есть ни разу не похожи на "ленточку". HDD ближе: объем больше чем у SSD, скорость (обычно) ниже.

А почём картриджи, интересно? Что-то я пошлялся по сайту, и у меня не сложилось впечатления, что оно дешевле HDD, даже если считать только картриджи. Я понимаю - надёжность, малое энергопотребление - но это уже особые, "не домашние", требования...

Ну смотрите, ленточные картриджи LTO-4 объемом полтора терабайта (без сжатия) - http://www.allbackup.ru/index.php?cPath=193 - стоят 1163 рубля. Жесткие диски на полтора терабайта стоят почти 2 тысячи на маркете. Но экономия не везде - в целом дисковые и ленточные мегабайты примерно одинаково стоят. А преимущества, да, они не домашние: долговечность, надежность (не только картриджа, но и привода). А вот с энергопотреблением как раз спорно - современные профессиональные дисковые системы хранения потребляют ненамного больше - неиспользуемые диски находятся в сайлент мод и кушают как домашние часы. А при операциях запись/чтение энергия нужна и ленте и дискам.

И еще при бэкапе нужно всегда исходить из задач. Иногда проще делать резервное копирование на DVD-диски. Они совсем не надежны и гарантированно хранят данные меньше полугода. Но если вам больше пары месяцев и 10-20 Гб и не надо, то зачем вам HDD/SSD/LTO и прочая хрень? Вам проще выбросить диск через месяц и купить новый.

В общем-то ясно, что всё "от задач". "Бэкапы ценного" я тупо храню на двух HDD (они под рукой, а одновременно вряд ли упадут), и иногда уношу на работу - пусть там тоже будет копия, хотя бы старая. От DVD, кстати, отказался: даже те же 20Гб, если их писать достаточно часто - это много лишних "движений руками", а надёжность не такая уж высокая, несколько копий на разных HDD и проще, и надёжней. А со всем остальным (архив фотографий, музыки, фильмов) - блюду баланс простоты и потребности в сохранности: если погибнет коллекция фильмов - то на 99% и фиг с ней, понадобится - заново выкачаю, если музыка - будет обидно, если фото - ещё более обидно :-) Поэтому фильмы не бэкапятся, музыка и фото - бэкапятся "на соседний винт"...

Поэтому "ленточки" для меня - скорее любопытство, "как оно там, может и в самом деле пригодится" :-)

Они мигрировали эволюционировали в новое поколение - "складские роботы".
СхЭма:
*: большой брат центральный мозг
*: "операционный зал" со стеллажами и разметкой "тараканьих тропок"
*: кучка "интеллектуальных" подвижных платформ, привязанных к "мозгу" всякими вай-фаями, которые бегают по этому ландшафту
*: каждая платформа оснащена интеллектуальным манипулятором на белковой основе (класса Homo vulgaris sapiens) с планшеткой.

всё это добро решает задачи оперативного "хЭндлинга унд шЫппинга".

кстати (чтобы два раза не вставать).
Тут подумалось:
*: нормальная диета человека ~2..3 Ккал в сутки ~= 2..3.5 wH
*: аккум лаптопа ~73 wH на ~3 часа работы уровня "поковыряться в ворде"

...это один из немногочисленных штрихов к вопросу о будуЮщем доминировании "кремниевого" интеллекта ,-)
сюдым же, эскизно, вопросы охлаждения и регенерации

> нормальная диета человека ~2..3 Ккал в сутки ~= 2..3.5 wH

Три нолика пропущено (2000-3000 ккал/сут), а в остальном всё верно.
Напомню - человек в покое грется, выделяя в виде тепла примерно 100Вт. Выделить за сутки тепла на пару киловатт-часов, а энергии сожрать всего на пару ватт-часов - нефиговый вечный двигатель получился бы :-)