Является ли этот способ использования сводной таблицы Excel 2007 для BI масштабируемым?

Question

Фон:

• Нам необходимо объединить данные о продажах по всей стране, чтобы сделать анализ

• Наше подключение к Интернету / ИТ-экспертиза / ИТ-инвестиции не достаточно сильны, поэтому полное решение BI не подлежит сомнению

• Я попробовал несколько решений SaaS BI (GoodData, ZohoReports), и, хотя они хороши, они, кажется, не полностью поддерживают то, что нам нужно

• Мы смотрим на рекорд по 2 миллионам за каждые 2 месяца

Мой нынешний подход

• Наши (10) сайтов в настоящее время собирают данные из всех своих филиалов и объединяют их в 1 файл Excel с помощью сводной таблицы и встраивают исходные данные.

• В штаб-квартире я буду просить 10 сайтов периодически отправлять эти файлы Excel

• Мы импортируем эти Excel на наш сервер MSSQL

• Будет основной файл Excel, который также будет иметь ту же сводную таблицу (как и из файла Excel сайта), а источником данных является сервер MSSQL.

Подробнее

• Для тестирования я сейчас использую MSSQL 2008 Express на своем ноутбуке

• До сих пор я импортировал наши транзакции за последние 2 месяца, и в MSSQL есть 2 миллиона + строка в 1 таблице (мы просто используем 1 таблицу, соответствующую нашей общей структуре сводной таблицы). Размер БД ~ 600 МБ

• В главном файле Excel, если не включать исходные данные, он составляет всего <10 МБ. Включение исходных данных увеличит размер до 60 МБ (поэтому я предположил, что Office 2007 автоматически архивирует данные?)

• Я пытаюсь использовать Pivot (поля перетаскивания), и производительность пока в порядке (характеристики моего ноутбука: C2D T7200, 3 ГБ ОЗУ, Windows XP)

Итак, мой вопрос:

• Если мы рассмотрим транзакцию за весь год (примерно 15 миллионов строк в MSSQL 2008 Express, размером 3,6 ГБ), есть ли проблема с этими 15 миллионами строк в 1 таблице в SQL Express?

• Есть ли какие-либо проблемы с производительностью в сводной таблице в то время? Можно ли все еще встраивать исходные данные? (Я google-ed, но не нашел максимальный размер исходных данных, которые Excel 2007 может встраивать)

• Любые другие предложения о том, как мы можем лучше сделать это? Учитывая, что мы не можем позволить себе полное решение BI, какой легкий / бюджетный / SaaS BI вы можете порекомендовать?

Спасибо

Answer 1

Для SQLServer Express 2008 существует ограничение в 4 ГБ (включая файлы журналов), поэтому, похоже, что изначально вы будете очень близко к пределу и довольно быстро превысите его. Если это всего лишь одна таблица, возможно, вы бы рассмотрели SQLite (или, возможно, MySQL).

По моему опыту работы с Pivot-таблицами (и Excel в целом), он работает хорошо до определенного момента, тогда производительность значительно снижается.

Вообще, я думаю, что ваш подход - тот, который я бы выбрал. Вместо того, чтобы пытаться сводить всю таблицу, я бы попытался предварительно суммировать данные обратно в базу данных через представление, даже если бы мне нужно было иметь две отдельные таблицы с двумя разными представлениями для обобщенных данных (например, возможно, одно, которое суммирует до ежедневный или ежечасный, и другой, который суммирует уровень в другом ключевом измерении - возможно, по заказу или по логину или как угодно) Это должно сохранить большую часть рабочей силы обратно в базу данных и сделает электронную таблицу легче.

Удачи!