Power Query: простая работа с данными В MS Excel встречаются термины, начинающиеся со слова Power. Например, Power Query, Power Pivot, Power BI и т. п. Что это и каким образом эти понятия связаны между собой, какую пользу они приносят пользователю табличного редактора? Power Query – это бесплатная надстройка для продуктов «Майкрософт», которая значительно облегчает работу с данными: сбор, подготовку, преобразование. Ее не нужно скачивать и как-то специально настраивать. Интерфейс PQ интуитивно понятен, разобраться в нём не составит труда. Чтобы понять, на что способна эта надстройка, и получить базовые навыки работы в ней, выполните следующую практическую работу. 1. Выписать в тетрадь возможности Power Query. 2. Подключить к данным в Power Query. 3. Выполнить предварительную настройку Power Query 4. Редактор запросов Power Query 5. Преобразование данных в Power Query 6. Строка формул и расширенный редактор 7. Типы данных Power Query 8. Импорт данных из Power Query 9. Изучить использование Power Query в продуктах и службах «Майкрософт» 1. Возможности Power Query В 2013 году в Microsoft была создана специальная группа разработчиков с целью выпуска бесплатной надстройки для Excel. Разработка получила несколько названий: Power Query, Data Explorer, Get&Transform. Данная надстройка служит для выполнения множества повседневных задач: Загрузка данных в таблицу Excel Экспортировать данные можно из почти 40 сторонних форматов: SQL, Oracle, MS Access, Teradata, целый ряд корпоративных систем ERP (SAP, Microsoft Dynamics, 1C и др.), а также источники из интернета (почти все сайты, сервисы Facebook и Google Analytics). Сбор информации из файлов всех основных типов данных Среди поддерживаемых типов — XLSX, TXT, CSV, JSON, HTML, XML. При этом возможно групповое извлечение данных сразу из нескольких файлов, находящихся в одной папке. Доступна автоматическая загрузка информации из всех листов Excel. Очищение полученных данных от лишних элементов Надстройка удаляет в частности пустые столбцы и строки, лишние пробелы, непечатаемые символы, различную служебную информацию, а также повторяющиеся значения в ячейках. Приведение данных к нужному виду С помощью PQ можно менять регистр на правильный, приводить цифры к числовому формату, заполнять пробелы, исправлять заголовки таблиц, разделять текстовые фрагменты на столбцы и склеивать их снова в единый текст, выполнять некоторые другие полезные операции. Приведение таблицы к нужному виду Среди возможных операций над таблицами — фильтрация, сортировка и смена порядка столбцов, транспонирование значений, генерация итогов, трансформация кросс-таблиц в обычный плоский формат и обратно. Подстановка значений из одной таблицы в другую Эта операция выполняется по совпадению одного или нескольких параметров. Таким образом, она является полной заменой встроенной в Excel функции ВПР (VLOOKUP) и ее аналогов. Надстройка представлена в двух вариантах: как отдельный модуль, доступный для скачивания с официального сайта Microsoft (для Excel 2010-13), и как сервисная функция в составе редактора (для Excel 2016). В первом варианте установка PQ добавляет в таблицу новую вкладку. Во втором же случае весь функционал надстройки уже имеется в табличном редакторе по умолчанию — он доступен как группа Get & Transform (Получить и преобразовать) во вкладке Data (Данные). Оба варианта имеют абсолютно одинаковые возможности. Power Query обладает отличительной особенностью: все совершенные операции сохраняются как запрос из совокупности шагов, представленный на внутреннем языке программирования M. Каждый шаг может редактироваться и повторяться неограниченное число раз. При этом происходит обновление запроса. Многие пользователи считают эту надстройку самой полезной в Excel. С ее помощью значительно облегчается выполнение многих рутинных задач. В прежние времена для автоматизации действий писались сложные макросы, теперь же это легко выполняется в PQ. К тому же этот инструмент абсолютно бесплатен, что делает его лидером среди возможных конкурентов. Сегодня он должен иметься в арсенале каждого пользователя Excel, обладающего навыками работы выше среднего. 2. Подключение к данным в Power Query Как упоминалось ранее, подключаться могут данные из большого количества различных источников. Это и другие Excel-таблицы, и базы данных популярных форматов, и данные из OData, и даже документы PDF. Также доступна загрузка информации из Power BI с последующим написанием запроса с нуля. Как получить полный список источников, с которыми может работать Power Query? Excel позволяет увидеть в разделе «Получить данные» («Создать запрос»), находящемся во вкладке «Данные». подключение к данным в Power Query Разберем этот процесс на примере переноса значений из обычной таблицы «ПРИМЕР». Сперва необходимо выделить таблицу и перейти в меню «Из таблицы». В разных версиях редактора это делается по-разному: Excel 2010-13 — через вкладку «Power Query». Excel 2016 и выше — через меню Данные. подключение к данным в Power Query Откроется окно, в котором нужно поставить галочку «Таблица с заголовками». После этого произойдет преобразование обычной таблицы в «умную». Останется перейти во вкладку «Главная» и нажать «Закрыть и загрузить». подключение к данным в Power Query Далее для данного файла полезно посмотреть запросы Power Query. Списки их доступны во вкладке «Данные» в разделе «Запросы и подключения». 3. Предварительная настройка Power Query Редактор запросов в Excel открывается следующим образом: Вкладка «Данные» — раздел «Получить и преобразовать данные» — пункт «Получить данные» — «Запустить редактор запросов» Далее в открывшемся окне выполняются следующие действия: «Файл» — «Параметры и настройки» — «Параметры запроса» — «Редактор Power Query». Здесь напротив пункта «Отобразить редактор запросов» должна быть поставлена галочка. Теперь необходимо перейти в пункт «Конфиденциальность» и включить опцию «Всегда игнорировать уровни конфиденциальности». После нажатия на кнопку ОК нужно перезапустить редактор. 4. Редактор запросов Power Query Открыть редактор также можно путем двойного клика по имени запроса на вкладке «Запросы и подключения». Рассмотрим интерфейс более подробно. редактор запросов Power Query Редактор запросов состоит из следующих функциональных блоков: Лента для вкладок «Главная», «Преобразование», «Добавить столбец» и «Просмотр». Список созданных запросов (может быть свернут). Строка для ввода формул. Имя открытого запроса. История выполненных операций над запросом и данными (доступны редактирование шагов, изменение их последовательности выполнения, добавление новых или удаление существующих шагов). Область предварительного просмотра, позволяющая просматривать в реальном времени результат изменений на каждом шаге. Меню операций с данными (может быть открыто кликом правой клавишей мыши). Контекстное меню каждого шага (в случае выбора этого шага правой клавишей мыши). 5. Преобразование данных в Power Query Полезно подробнее изучить, каким образом преобразовывать данные посредством Power Query. Пример, рассмотренный ниже, наглядно продемонстрирует достаточно простую работу с надстройкой. Итак, имеется таблица расходов, разбитых по месяцам, а также разделенных на две категории. Общеизвестно, что такое форматирование данных не позволит построить сводную таблицу. Для приведения значений к нужной структуре используем функционал PQ. Последовательность действий будет следующей: Выделение всей таблицы либо одной ячейки. Выбор пункта «Из таблицы» (или « Из таблицы/диапазона») во вкладке «Данные». Активация опции «Таблица с заголовками» в открывшемся окне. Выделение столбцов с месяцами (например, май и июнь) путем одновременного нажатия Ctrl и левой клавиши мыши по соответствующим названиям столбцов внутри редактора запросов. Преобразование таблицы (меню «Преобразование» — «Заполнить» — «Вниз») с заполнением пустых строк значениями верхних ячеек. преобразование данных в Power Query Все действия, выполняемые с использованием надстройки, автоматически фиксируются. Они отображены в правой части рабочего пространства («Параметры запроса» — «Примененные шаги»). Как уже упоминалось, шаги запроса доступны для редактирования. Для этого необходимо выбрать конкретное действие указателем мыши и изменить это действие. Изменение сразу же отобразится в панели предварительного просмотра. Перемещение или добавление шагов также осуществляется мышью. Все операции с данными PQ выполняет пошагово. То есть, каждое следующее действие опирается на результаты предыдущего. Это нужно учитывать, добавляя новые шаги или изменяя последовательность их выполнения. То есть, следует всегда проверять корректность всех следующих шагов путем клика по самому нижнему. Помимо рассмотренных простейших операций, надстройка может выполнять и более сложные, среди которых фильтрация, замена и группировка значений, заполнение пустых ячеек, удаление дубликатов. Поддерживаются расширенная работа с текстом и числами, выполнение простых вычислений, различные виды трансформации таблиц, объединение данных и многое другое. 6. Строка формул и расширенный редактор В работе с графическим редактором рано или поздно возникают ситуации, когда штатными средствами грамотно преобразовать данные не представляется возможным. Это требует особой конфигурации программы с применением параметров, не поддерживаемых графическим интерфейсом. Для таких случаев существуют специальные формулы Power Query, являющиеся частью встроенного языка M. Подсистема позволяет выполнять скрипты преобразований в фоновом режиме. Язык преобразования данных M обрабатывает каждое событие, происходящее внутри запроса. Однако для использования расширенного функционала PQ лучше использовать соответственно расширенный редактор. Он предоставляет полный доступ к скрипту запроса для последующей модификации. Другими словами, если функции пользовательского интерфейса не обеспечивают требуемую точность, следует воспользоваться расширенным редактором и инструментами языка M для гибкой настройки функций и преобразований. При этом глубоко разбираться в коде необязательно. Большая часть операций выполняется мышью по пунктам меню. Для ввода формул используется соответствующая строка, которая по умолчанию скрыта. Для ее включения необходимо перейти во вкладку «Просмотр» и активировать пункт «Строка формул». строка формул и расширенный редактор Ознакомиться с доступными формулами можно в этом же блоке, нажав на кнопку «Расширенный редактор». Откроется окно, в котором отобразится полный текст запроса. Типы данных Power Query Типы данных — это неотъемлемая составляющая любого запроса PQ. Поэтому их обязательно нужно определять. Как правило, типы данных задаются после всех выполненных преобразований. Делается это одним из трех способов: через вкладку «Главная», далее «Тип данных» («Преобразование»), далее «Определить тип данных»; через клик указателем мыши по значку типа данных в названии столбца; через вкладку «Преобразование», далее «Дата», далее «Выполнить анализ». Проверку правильности задания типов данных нужно проводить перед каждым сохранением запроса. При этом рекомендуется вручную удалять автоматически добавляемый шаг «Измененный тип». Импорт данных из Power Query Что делать с данными после преобразования в Power Query? Как добавить их в другие программы? Разберем несколько доступных вариантов импорта данных. Для начала следует определить подходящие способы в процессе сохранения запроса («Главная» — «Закрыть и загрузить в…»). В сохраненном запросе параметры импорта задаются на вкладке «Запросы и подключения» путем клика правой клавишей мыши по названию запроса и выбора «Загрузить в…». В редакторе Excel предлагается импортировать преобразованные данные одним из нескольких способов: Выгрузка на лист Сперва задаем способ представления данных, затем переходим во вкладку «Таблица», далее вставляем данные на лист. При этом автоматически создается смарт-таблица. Сводная таблица (диаграмма) Здесь после определения способа представления нужно перейти в «Отчет сводной таблицы» («Сводная таблица»). Импорт данных будет выполнен в соответствующем виде. Только подключение Для сохранения запроса следует выбрать пункт «Только создать подключение». Добавление данных в модель данных Активация пункта «Добавить эти данные в модель данных» приводит к добавлению выбранных данных в модель Power Pivot. Использование Power Query в продуктах и службах «Майкрософт» Различные продукты от Microsoft могут так или иначе поддерживать Power Query. Таблица, приведенная ниже, демонстрирует наличие либо отсутствие этой настройки в конкретном ПО. Продукт Mengine1 Power Query Desktop2 Power Query Online3 Потоки данных 4 Excel для Windows + + — — Excel для Mac + — — — Power BI + + + + Power Apps + — + + Power Automate + — + — Сервер отчетности Power BI + + — — Облачная платформа Azure + — + + Сервисы интеграции SQL Server + — — — Сервисы аналитики SQL Server + + — — Продукт Dynamics 365 Customer Insights Mengine1 Power Query Desktop2 Power Query Online3 Потоки данных 4 + — + + Mengine Используется язык M для базового механизма выполнения запросов. Power Query Desktop Интерфейс PQ используется в классических приложениях. Power Query Online Интерфейс PQ используется в веб-приложениях. Dataflows PQ представлен в качестве облачного сервиса, не зависящего от конкретного продукта. Результаты преобразований данных используются другими приложениями. Итак, Power Query обладает внушительным арсеналом средств для автоматизации рутинных действий, связанных с обработкой данных из различных источников. У каждого опытного пользователя MS Excel эта надстройка должна быть подключена, изучить ее возможности под силу практически каждому.
