Сокращение объема данных, извлекаемых в запросе внешнего источника данных Excel?

Question

Я использую Excel Power Query (Get & Transform) для извлечения данных из внешней базы данных. После того, как я детализирую и отфильтрую таблицы до того, что мне действительно нужно, это будет примерно сто тысяч записей и, возможно, полдюжины полей для каждой. Общий объем данных (т. Е. Если вы сохраните книгу после загрузки данных) составляет порядка 30 МБ.

Однако, если я посмотрю на величину пропускной способности сети, используемой для фактической загрузки, она будет как минимум на порядок больше, что сильно сказывается на сети и (что более важно!) берет навсегда. Я пришел к выводу, что он загружает какой-то больший блок (запись? Таблица?) чем я хочу, но я не могу понять, есть ли способ ограничить это тем, что я хочу.

Answer 1

PQ имеет внутреннюю неясную логику, которую они называют "сворачиванием запросов", которая пытается передать как можно больше логики на ваш исходный сервер. Степень этого зависит от типа вашей базы данных (например, она обычно отправляет больше для SQL Server, меньше для ODBC) и вашего дизайна запроса.

Вы, вероятно, не можете легко изменить тип вашей базы данных, поэтому вы можете попробовать продвинуть шаги фильтра как можно дальше вверх по списку шагов. Как только он делает шаг, который не может отправить в базу данных (например, разделить столбец), остальные шаги будут выполнены на вашем компьютере Excel.

Также попробуйте опцию Быстрая загрузка в вашем запросе и настройку Конфиденциальность / Быстрое объединение / Игнорировать уровни конфиденциальности ... в вашей книге, если они уместны.