Советы по повышению эффективности BigQuery для массового экспорта данных из Search Console

Понедельник, 5 июня 2023 г.

Search Console массовый экспорт данных — это мощный способ передать данные о поисковой эффективности вашего сайта в BigQuery для расширения возможностей хранения, анализа и отчетности. Например, после экспорта данных вы можете выполнять группировку запросов и URL-адресов, проводить анализ низкочастотных поисковых запросов и объединять поисковые данные с другими источниками. Вы также можете хранить данные столько времени, сколько вам необходимо.

При использовании массового экспорта данных важно принимать обоснованные решения при управлении затратами на обработку и хранение данных. Экспорт данных из Search Console не требует дополнительных затрат; однако обязательно ознакомьтесь с ценообразованием BigQuery чтобы понять, за что именно с вас будет взиматься плата. В этой статье мы обсудим советы, которые помогут вам использовать новые данные без значительных затрат.

Если вы еще не настроили массовый экспорт данных, ознакомьтесь с пошаговым руководством
в справочном центре Search Console. Обзор данных, доступных через экспорт, см. в видео, встроенном здесь.

Создание оповещений о расходах и ограничений

При оценке затрат полезно подумать о том, сколько вы готовы потратить. Ответ на этот вопрос, скорее всего, будет различаться для хранения, анализа и мониторинга. Например, вы можете быть готовы заплатить определенную сумму за хранение всех данных, но меньшую — за создание платформы отчетности. Размышляя об этом, вы можете захотеть установить ежемесячный бюджет на инвестиции в поисковые данные.

Определившись с бюджетом, вы можете создать оповещение о бюджете Google Cloud
чтобы избежать сюрпризов в счете. Вы также можете настроить пороговые правила, которые будут отправлять уведомления по электронной почте при приближении к лимиту бюджета.

Для дополнительной защиты вы также можете ограничить количество оплачиваемых байтов
для запроса. Если вы это сделаете, количество байтов, которые прочитает запрос, оценивается до его выполнения. Если предполагаемое количество байтов превышает лимит, запрос завершается ошибкой без списания средств.

Не создавайте панели мониторинга непосредственно на необработанных данных

BigQuery работает быстро, и возникает искушение связать вашу панель мониторинга напрямую с экспортированными таблицами Search Console. Но для крупных сайтов этот набор данных очень велик (особенно с учетом запросов за все время). Если вы создадите панель мониторинга, которая пересчитывает сводную информацию при каждом просмотре, и поделитесь ею внутри компании, это быстро приведет к огромным затратам на запросы.

Чтобы избежать этих расходов, рассмотрите возможность предварительной агрегации данных из каждого ежедневного дампа и создания одной или нескольких сводных таблиц. В таком случае ваша панель мониторинга сможет запрашивать гораздо меньшую таблицу временных рядов, что снизит затраты на обработку.

Проверьте планирование запросов
функцию в BigQuery или рассмотрите BI Engine
если вам нужно более автоматизированное решение.

Оптимизация затрат на хранение данных

При запуске массового экспорта данных по умолчанию они хранятся в вашем наборе данных BigQuery вечно. Тем не менее, вы можете обновить время истечения срока действия разделов по умолчанию
чтобы разделы по датам автоматически удалялись через год, 16 месяцев или в течение любого другого желаемого периода.

Экспортированные данные могут быть очень ценными, но они могут занимать много места. Используйте свои знания бизнеса и храните их достаточно долго для глубокого анализа, но не дольше, чем это необходимо, чтобы они не стали бременем. Один из вариантов — хранить выборочную версию старых таблиц, сохраняя при этом всю таблицу за более свежие даты.

Оптимизация SQL-запросов

При отправке запросов к данным Search Console убедитесь, что ваши запросы оптимизированы для повышения производительности. Если вы новичок в BigQuery, ознакомьтесь с рекомендациями и примерами запросов
в справочном центре. Вам стоит попробовать три метода.

1. Ограничение сканирования входных данных

Прежде всего, избегайте использования SELECT *, это самый дорогой способ запроса данных, так как BigQuery выполняет полное сканирование каждого столбца в таблице. Применение предложения LIMIT делает нет влияния на объем прочитанных данных.

Поскольку экспортированные таблицы разбиты по датам, вы можете ограничить сканирование только интересующими вас днями, особенно при тестировании и экспериментировании с данными. Используйте предложение WHERE чтобы ограничить диапазон дат в таблице, разбитой по датам, это существенно сэкономит затраты на запросы. Например, вы можете просмотреть только последние 14 дней, используя следующее предложение:

Для каждого запроса рекомендуется как можно раньше внедрять известные фильтры, чтобы сократить объем сканирования входных данных. Например, если вы анализируете запросы, вам, вероятно, захочется отфильтровать
анонимизированные запросы строки. Анонимизированный запрос отображается в таблице как строка нулевой длины. Для этого вы можете добавить следующее:

2. Выборка данных

BigQuery предоставляет выборка таблиц
возможность, которая позволяет запрашивать случайные подмножества данных из больших таблиц BigQuery. Выборка возвращает различные записи, позволяя избежать затрат на сканирование и обработку всей таблицы, что особенно полезно при разработке запросов или когда не требуются точные результаты.

3. Используйте приближенные функции, когда точные результаты не обязательны

BigQuery поддерживает ряд приближенные агрегатные функции
которые обеспечивают приблизительные результаты и обходятся значительно дешевле в вычислениях по сравнению с их точными аналогами. Например, если вы ищете лучшие URL-адреса по показателям показов при определенном условии, вы можете использовать

Вместо

Ресурсы

Это лишь несколько советов, которые помогут вам начать управление затратами. Чтобы узнать больше, ознакомьтесь с
рекомендациями по оптимизации затрат для BigQuery.

И как всегда, если у вас возникли вопросы или проблемы, пожалуйста, обращайтесь к нам через
Google Search Central Community
или в Twitter.

Опубликовано Daniel Waisberg, специалист по поисковому продвижению, и Гаал Яхас (Gaal Yahas), инженер-программист.