Аналитическая обработка корпоративных данных.

увы. я даже отдаленно не могу себе представить набор умений. Ну, это нормально, очень для меня таинственная область

Ничего загадочного. На первом уровне это банальная отчетность. Есть некие учетные системы: бухгалтерские, билиниговые, операционные и т.д. и есть необходимость свести данные ими порождаемые в приятные глазу таблички, графики или ведомости. Здесь развитие заканчивается идеей так называемых "хранилищ данных". Дескать прежде чем рисовать отчет надо бы собрать необходимые для него данные в одном месте - серевере, базе данных. Соответствующие умения: вынуть данные из одной системы, доставить по назначению, загрузить в другую систему, сбацать в том или ином инструменте требуемый внешний вид. Ничего такого.

На втором витке развития появляется мысль, что если уж данные все здесь, то может их пошерстить как-то, может чего интересного отыщется? Ну и шерстят. Например, садят не побоюсь этого слова, аналитика, который делает к данным разные заковыристые запросы при помощи специальных языков или опять же визуальных интструментов, думает над полученным результатом, снова запрашивает, а потом вдуг как закричит - эврика! :) А чтобы отклик на запросы был в пределах приятных аналитику 5 секунд, то данные надо бы уложить в специальном формате - OLAP называется. Еще лучше если шерстить будет не человек (человекам мы не очень верим), а машина, т.е. программа. Это дело называется Data Mining, требует какой-никакой прикладной математики, иногда нехилого железа и является фактически абсолютной вершиной для абсолютного большинсва корпоративных аналитических систем. Вендоры, собрав в коробку необходимый для вышеописанного инструментарий, ничтоже сумняшеся именуют это "Business Intelligence", а какже, и продают за бешеные деньги. Рай для всех причастных, однако.

Мня же из рая изгнали. Вот лежит допустим терабайт данных в хранилище. Хорошо но плохо. Потому что цифирьки лежат в разрезе, допусим, трех параметров (x,y,z), как, собственно, первоначально в учете родились, а моему умнику надо, чтобы в разрезе трех иных парметров,скажем - (p,r,s). Опаньки. Надо, значит, программно их преобразовать. Подать некому алгоритму на вход один терабайт и получить другой. Сразу проблемы. Молотить будет долго, может и месяц колбасить, а надо быстро - за час. Если че в исходном терабайте слегка поменялось, может совсем чуть-чуть, так и выходной терабайт надо не весь пересчитывать, а тоже только чуть. Алгоритм преобразования - это не простенькая формула, а нагромождение чего угодно, от сложной математики, до изощренной эмпирики. Выходные результаты должны быть объяснимы и устойчивы ко всяким глупостям во входных. Корректировки алгоритма, даже принципиальные, не должны приводить к переписыванию заново всей системы. И вообще должно быть понятно, что этом долбаном ящике происходит и почему и т.п. и т.д.

Вот только тут и начинаются настоящие трудности и настоящие открытия и вообщем-то настоящая аналитика. Ведь чловеческий мозг получает на вход всего ничего - посредственного качества набор пикселей, а выходе: все все все. Ну и да - только начинается, заканчивается вообще черт знает (я не знаю) где.

Спасибо. Я даже думаю, что что-то понял.