Взгляд сверху на анализ данных
Жизнь человеческого общества, бизнеса, науки, управления давно, как минимум 10 тысяч лет назад, потребовала системно анализировать информацию. Сегодня это стало рутиной. Всё множество вычислительных задач можно представить в виде поля с осями X и Y, которые, по сути, есть логарифмические шкалы. По оси X мы будем откладывать размер данных задач, которые слева направо быстро уплотняются от мегабайтов к гигабайтов и далее, с каждой ячейкой в 1024 раз. По оси Y растёт время, необходимое одному стандартному процессору, для решения одной задачи. Если задача проста и её можно решить за один день в обычной электронной таблице, на персональном компьютере, то, в принятых координатах её график будет линейный. График вычисления числа π методом Монте-Карло, не похож на вектор под 45 градусов, потому что при вычисление каждого следующего знака после запятой, потребность в ресурсах растёт по экспоненте, а данные растут линейно. Обратный случай. Астрономы, фотографируя небо, с каждого кадра получают терабайты данных, но некоторые задачи их обработки довольно просты. Например, просто посчитать количество звёзд на одном снимке можно за несколько часов, даже без оптимизации. Однако этот график сильно сглажен... В реальности количество звёзд на каждом участке снимка неодинаково. Например в районе Млечного пути их плотность сильно больше, а в некоторых их почти нет. Расход потребных ресурсов, соответственно разный и график скорее будет похож на пилу (здесь для красоты сглажен). То же будет и с усредненным графиком всего поля задач. Вывод Так как потребность в ресурсах у разных задач в один и тот же момент разная, у процессора, сервера, вычислительного кластера, почти всегда есть возможность, обслуживать больше задач, чем их суммарная ресурсоёмкость. Это объясняет, почему на одном персональном компьютере могут крутиться несколько программ, почти не мешая друг другу. Почему на одном сервере часто крутятся десятки сайтов и как на кластере из 30 машин, могут запускать свои скрипты сотни людей одновременно.