Группировка поисковых запросов. Кластеризация запросов — правильная группировка ключевых слов семантического ядра Кластеризация ядра запросов

В небольшом SEO-отделе большого контентного проекта, где я работаю, решили увеличить штат. Набирать планировалось людей с небольшим опытом или совсем без опыта. По этой причине было решено создать некий гайд, который бы служил исчерпывающим руководством по написанию новых статей. Руководство получилось действительно подробным и полным, один из его важных блоков – это кластеризация запросов.

Зачем нужны сервисы кластеризации?

В один кластер должны быть объединены только такие запросы, которые имеют хорошие шансы выйти в топ-10 поисковых систем с общей релевантной страницей. То есть, если по двум запросам в выдаче все страницы сайтов разные и нет пересечений, то следует относить их к разным кластерам. Также и наоборот: если два запроса возможно продвинуть на одной статье, то не следует разносить их на разные кластеры, чтобы не писать лишнего – бюджет на контент не резиновый.

Общая схема составления ТЗ на написание SEO-статьи следующая:

1. Сбор семантики – статистика поисковых систем, базы семантики, внутренняя статистика проекта;
2. Кластеризация автоматическая – сервис или программа для кластеризации по подобию топов;
3. «Посткластеризация» ручная – обработка того что не удалось кластеризовать автоматически;
4. Приоритезация – определение важности полученных запросов в каждом кластере;
5. Оформление ТЗ для копирайтера – лемматизация, LSI и различные указания для написания статей, по статье на каждый кластер.

Вот именно для второго пункта нужно было выбрать самый подходящий сервис автоматической кластеризации. Для этой цели я провел сравнительный анализ самых известных, на мой взгляд, сервисов.

Способы кластеризации

Из способов, которые автоматизированы в каких-то известных сервисах или программах, можно выделить два:

• По подобию топов (по поисковой выдаче);
• По .

• Soft – когда все запросы кластера связаны хотя бы с одним общим (маркерным) запросом;
• Hard – когда каждый запрос связан со всеми запросами в своем кластере;

По рекомендациям создателей сервисов кластеризации для нашего случая был выбран вариант Soft с силой связи 4. Это важный момент, потому что для интернет-магазина, например, следовало бы выбирать другие опции.

Методика сравнения

Суть сравнения сервисов в следующем: выбрать идеально кластеризованный список запросов – эталонное ядро. Сравнить результаты кластеризации каждого сервиса с эталонным.

Важно было хорошо составить такое эталонное ядро. Поскольку у нас контентный проект и большая часть контента – это вопросы и ответы пользователей, то материала для сбора статистики по проекту предостаточно.

Было взято ядро на 2500+ ключевых фраз, которое отслеживается уже много месяцев. Из него выбраны только запросы вышедшие в топ-5 Яндекса. И из них взяты только те которые имеют релевантной страницу одного из широких разделов (категория вопроса, тема вопроса, категория документа, страница с формой «задать вопрос»), а не узкую страницу вопроса с ответами. Запросы были сгруппированы по релевантной странице. Оставлены только группы в которых более чем 4 запроса. В итоге получилось 292 запроса разбитых на 22 кластера.

Забегая вперед скажу, что сравнивались результаты кластеризации по Московской выдаче Яндекса и без геопривязки. Региональная московская выдача показала себя лучше, поэтому далее будем говорить про нее.

Сравнение сервисов

В поиске самых популярных сервисов очень помог доклад Александра Ожгибесова на BDD-2017, к тем, что у него было добавлено еще несколько сервисов, получился такой список:

1. Топвизор
2. Pixelplus
3. Serpstat
4. Rush Analytics
5. Just Magic
6. Key Collector
7. MindSerp
8. Semparser
9. KeyAssort
10. coolakov.ru

Первое на что проверялись полученные в результате кластеризации эталонного ядра по этим сервисам группы – это не делает ли сервис слишком широкие группы. А именно не попали ли запросы из разных групп эталонного ядра в один кластер по версии сервиса.

Но только такого сравнения не достаточно. Сервисы делятся на два подхода к некластеризованному остатку фраз:

• сделать для них общую группу «Некластеризованные»;
• сделать для каждой некластеризованной фразы группу из нее одной.

В сравнении я использовал оба этих параметра в виде соотношения – какой процент фраз от общего количества попал не в свою группу.

Результаты сравнения:

• Топвизор
  • разные группы эталона в одной по сервису – 4%
• Pixelplus
  • одна группа эталона в разных по сервису – 7%
• Serpstat
  • разные группы эталона в одной по сервису – 0%
• Rush Analytics (132 фразы, demo)
  • разные группы эталона в одной по сервису – 11%
  • одна группа эталона в разных по сервису – 8%
• Just Magic
  • разные группы эталона в одной по сервису – 0%
  • одна группа эталона в разных по сервису – 9%
• Key Collector
  • разные группы эталона в одной по сервису – 12%
  • одна группа эталона в разных по сервису – 16%
• MindSerp – не удалось получить демо, не выходят на связь
• Semparser
  • одна группа эталона в разных по сервису – 3%
• KeyAssort
  • разные группы эталона в одной по сервису – 1%
  • одна группа эталона в разных по сервису – 1%
• coolakov.ru
  • разные группы эталона в одной по сервису – 0%
  • одна группа эталона в разных по сервису – 18%

Итоги

В качестве оптимального решения для нашего проекта была выбрана программа KeyAssort – это именно программа, а не онлайн-сервис, лицензия покупается однократно, привязывается к железу.

Неплохие результаты показал популярный онлайн сервис Serpstat, но для нашего случая чуть хуже, а также значительно дороже. Если брать большие объемы запросов в месяц и использовать его только для кластеризации – он не рентабелен. Возможно, если использовать кластеризатор вместе с другими его инструментами, то он и окажется приемлемым по цене.

Самые худшие показатели у программы Key Collector, что все равно не отменяет необходимость ее иметь в своем арсенале для любого сеошника.

Очень удивил сервис MindSerp, через сайт которого я так и не смог получить никакой обратной связи по поводу демо. Если представители этого сервиса прочитают статью, может быть я добавлю в сравнение и его)

Теги: Добавить метки

Это группировка ключевых слов, которые идут просто списком, разделение их на кластеры (группы). Это то, что превращает тысячу ваших запросов в полноценную структуру, разбитую на категории, страницы, статьи и т.д. Без правильной разбивки вы будете тратить много денег и времени в "холостую", так как некоторые запросы не могут быть "посажены" на одну страницу. Либо наоборот, ключевые слова требуют, чтобы данные запросы были на одном URL.

При сборе семантического ядра (СЯ) я обычно делаю кластеризацию руками, с помощью , вот ссылки по теме:

Но все это легко и просто, когда у нас есть четкие группы запросов по разному логическому смыслу. Мы прекрасно знаем, что для запроса "Коляска для близнецов" и "Коляска для мальчика" должны существовать разные посадочные страницы.

Но бывают запросы, которые разделяются между собой не совсем явно и тяжело "по ощущениям" определить, какие запросы нужно сажать на одну страницу, а какие запросы раскидывать по разным посадочным URL.

Один из участников моего SEO марафона задал мне вопрос: "Петя, как быть с этими ключами: сажать все на одну страницу, создавать несколько, если да, то сколько?" А вот и сам отрывок из списка ключевых слов:

Одно только слово "java" использует в трех вариациях ("ява", "джава"), плюс ко всему этому народ ищет его для разных игр, устройств и т.д. Запросов там очень много и реально тяжело понять, как все-таки лучше поступить.

Как вы думаете, как правильно? Верно. Лучше всего подойдет анализ конкурентов, которые уже находятся в ТОПе по данным ключевым словам. Сегодня я расскажу вам, как можно сделать кластеризацию семантического ядра на основе данных у конкурентов.

Если у вас уже есть готовый список ключевых слов для кластеризации, вы можете сразу переходить к 4-му пункту.

1. Матрица запросов

Возьму еще другой пример: есть у меня один клиент с интернет-магазином электро- и светотехники. У магазина очень большое количество товаров (несколько десятков тысяч).

Конечно, у любого магазина есть товары, которые наиболее приоритетны для продажи. У этих товаров может быть высокая маржинальность, либо просто нужно избавиться от данного товара со склада. Так вот, пришло мне письмо, что-то вроде этого "Петя, вот список товаров, которые интересны нам". И там списком было перечислено:

• выключатели;
• светильники;
• лампы;
• прожекторы;
• удлинители;
• и еще несколько пунктов.

Я попросил составить так называемую "матрицу запросов". Так как владельцы магазина лучше меня знают свой ассортимент, мне нужно было собрать весь товар и основные характеристики/отличия у каждого товара.

Получилось что-то вроде этого:

При составлении матрицы, не забываем, что некоторые англоязычные бренды запрашиваются и на русском, это нужно учесть и их добавить.

Конечно, если у товара были еще и другие характеристики добавлялся столбец. Это могут быть "Цвет", "Материал" и т.д.

И такая работа была проделана для самых приоритетных товаров.

2. Перемножение запросов

Для перемножения запросов существуют много сервисов и программ. Я воспользовался этим генератором ключевых фраз http://key-cleaner.ru/KeyGenerator , вбиваем туда все наши запросы по столбцам:

Сервис перемножил всевозможные варианты со словом удлинитель. Важно: многие генераторы перемножают только подряд идущие столбцы, то есть 1 столбец со вторым, потом первые два с третьим и т.д. А этот перемножает все подряд из первого столбца с другими: первый со вторым, потом первый с третьим, четвертым; далее первый*второй*третий, первый*второй*четвертый и т.д. То есть мы получаем максимальное количество фраз с содержанием основного слова в первом столбце (это так называемый маркер).

Маркер - это основная фраза, от которого нужно генерировать ключ. Без маркера невозможно создать адекватный ключевой запрос. Нам не нужны фразы "иэк оптом", или "на катушке купить".

При перемножении важно, чтобы в каждом ключевом словосочетании был этот маркер. В нашем примере - это фраза "удлинитель". В итоге сгенерировалось в данном примере 1439 (!) уникальных ключевых фраз:

3. Очистка запросов от "мусора"

Теперь есть 2 варианта развития событий. Можно заняться кластеризацией всех этих запросов и насосоздавать огромное количество сгенерированных страниц под каждый кластер, если позволяет это сделать система вашего сайта. Конечно, у каждой страницы должны быть свои уникальные метатеги, h1 и т.д. Да и проблемно иногда подобные типы страниц засовывать в индекс.

У нас же подобной возможности в техническом плане не было, поэтому мы даже не рассматривали данный вариант. Нужно было в "полуручном" режиме создавать только самые необходимые новые посадочные страницы.

С каким типом частотности работать? Так как у нас список товаров + пересечений встречались не очень популярные (узконаправленные), я делал акцент на частотности с кавычками (без восклицательных знаков) - то есть в различных словоформах. Это ключевые фразы в разном падеже, числе, роде, склонении. Именно этот показатель позволяет более менее оценить трафик, который мы сможем получить из Яндекса в случае попадания в ТОП.

Снимаем в Key Collector частотности в кавычках у данных фраз (конечно, если у вас сезонный товар, то нужно снять частотности в "сезон"):

И удаляем все то, что равно нулю. Если у вас более популярная тематика и очень много слов с ненулевой частотностью, вы можете увеличить нижний порог до 5, или еще выше. У меня же ненулевых запросов из 1439 фраз осталось всего 43 по региону Москва и область.

Эти 43 фразы с данными частотностей я переношу в Excel:

4. Кластеризация запросов

Все это я делаю в Rush Analytics , вот алгоритм кластеризации в данном сервисе:

Под каждый запрос "выдергивается" из выдачи ТОП-10 URL по заданному региону. Далее по общим URL происходит кластеризация. Точность кластеризации можно задать самому (от 3-х до 8 общих url).

Допустим мы выставили точность 3. Система запоминает URL страниц, которые в ТОП-10 по первому запросу. Если по второму запросу из списка в ТОП-10 встречаются те же 3 URL, которые были у первого, то эти два запроса попадут у нас в 1 кластер. Количество общих URL зависит от заданной нами точности. И такая обработка происходит с каждым запросом. В итоге ключевые слова разбиваются на кластеры.

1. Заходим в RushAnalytics -> Кластеризация, создаем новый проект (при регистрации каждый получает 200 рублей на счет для тестирования, удобно):
   
2. Выбираем приоритетную поисковую систему для нас и регион:
   
   
3. Выбираете тип кластеризации. Я выбираю в данном случае "Wordstat". Метод "Ручные маркеры" мне не подходит, так как в запросах только один маркер "удлинитель". Если же вы загружаете сразу несколько разных типов товаров (пример, удлинитель, лампочка и т.д.), то тогда вам лучше выбрать тип "Wordstat + ручные маркеры" и указать маркеры (маркеры нужно будет отметить цифрой 1 во втором столбце, а не маркеры цифрой 0, частотность уйдет в третий столбец). Маркерами будут самые основные запросы, которые логически никак не связываются между собой (не может "посадиться" запрос "удлинитель" и "лампочка" на одну страницу). В моем случае я работаю поэтапно с каждым товаром и создавал отдельные кампании для удобства. Также выбираете точность кластеризации. Если пока не знаете какой метод выбрать, можно отметить все (на цену это не повлияет никак), а дальше уже после получения результата сможете выбрать тот вариант, который лучше всего откластеризовал ваши запросы. По опыту скажу, что самый подходящий во всех тематиках - это точность = 5. Если вы делаете кластеризацию для уже существующего сайта, я рекомендую вам вбить URL вашего сайта (если ваш сайт будет в ТОП-10 по запросу, то ваш URL выделится зеленым в полученным файле):
   
   
4. В следующем шаге загружаете файл в систему. Также можно настроить стоп-слова, у меня же файл был без них, поэтому данная функция не нужна в данном примере. Цена кластеризации - 50-30 копеек за 1 запрос (зависит от объема):
   
5. Нужно будет немного подождать пока сервис Rush Analytics выполнит свою работу. Заходите в завершенный проект. Уже там можете просмотреть кластеры исходя из точности кластеризации (жирным выделено начало нового кластера и его название):
   
6. Повторюсь, лучше всего использовать точность 5 для кластеризации. Он чаще всего подходит.
7. Также в соседней вкладке можно увидеть список некластеризованных слов:
   
   Вы спросите, почему они не кластеризовались? Скорей всего по данным запросам выдача не очень качественная и невозможно было в автоматическом режиме отнести данные запросы к какому-нибудь кластеру. Что с ними делать? Можно кластеризовать вручную и создать отдельные посадочные страницы по логике, если это возможно. Можно даже для одного запроса создать отдельный кластер и "посадить" его на отдельную страницу. Либо же можете расширить список слов и заново произвести кластеризацию в сервисе Rush Analytics.
8. Во вкладке "Лидеры тематики" можно увидеть ТОПовые домены по данным запросам:
   
   
9. Кстати, в некоторых запросах вы можете увидеть вот такие пальчики вверх, выделенные "зеленым":
   Это означает что по данным запросам, у вас уже есть посадочная страница для данного кластера в ТОП-10 и нужно работать над ней.
10. Все это дело можно скачать себе на компьютер в Excel и работать уже в данном документе. Я работаю с точностью 5, поэтому скачиваю этот файл:
    
    
11. В Excel документе та же самая информация. Серым выделено начало каждого кластера и его название (кликните по изображению, чтобы увеличить):
    
    
12. Помимо названия кластеров, здесь вы увидите их размеры, частотности, суммарные частотности, Top URL, релевантный URL и подсветки, что очень нужно при работе над посадочной страницей. Вот они:
    
    Обратите внимание, что бренд "Юниверсал" (через "Ю") тоже подсвечивается, а я даже не подозревал, что данный бренд можно прописывать итак. В подсветках также вы увидите синонимы и тематические фразы, которые крайне желательно использовать на посадочных страницах для достижения ТОПа.

Заключение

Что же дальше? Что нам даст эта кластеризация? Теперь под каждый кластер у нас на сайте должен быть отдельный, а главное релевантный url. Продвижение этих страниц полностью в наших руках и продвигаем дальше так, как умеем (оптимизация контента, внутренняя перелинковка, внешняя оптимизация, социальные факторы и т.д.).

Если же мы бы сделали неправильную кластеризацию, то очень много запросов тяжело было бы продвинуть. Это было бы "якорем", который сдерживал бы нас, несмотря на то, что мы тратили бы кучу денег на продвижение этих страниц.

Правильная кластеризация поможет вам прилично сэкономить и существенно облегчит попадение в заветный ТОП.

Что вы думаете по этому поводу? А как вы делаете кластеризацию запросов семантического ядра?

Предлагаем две бесплатные программы для Windows:

• Majento Кластеризатор, аналогичный нашему онлайн-сервису, с возможностью ручной группировки фраз
• кластеризатор ядра запросов на основе Excel-кластеризатора по леммам от Roman Igoshin

Majento Кластеризатор 1.4

Программа является копией нашего онлайн-сервиса, однако имеет дополнительный функционал в виде ручной группировки фраз, доступной после автоматической кластеризации поисковых запросов. Сбор данных для кластеризации берется из выдачи Яндекса и ведется с использованием лимитов Яндекс.XML . После кластеризации становится доступной функция ручной группировки запросов (перемещение запросов по группам, создание новых групп и удаление кластеров). Результаты кластериции запросов экспортируются в Excel-файл формата CSV.

В программе имеется возможность импорта данных выдачи ПС Яндекс из KeyCollector для группировки фраз без использования XML-лимитов (пример файла импорта приложен в архиве).

Основные возможности

• Кластеризация произвольного списка запросов
• Указание региона в Яндекс для сбора данных при кластеризации
• Группировка запросов методами Soft и Hard, "ручное" указание порога кластеризации фраз (от 1 до 10)
• Возможность произвольной группировки фраз
• Импорт данных выдачи ПС Яндекс из KeyCollector для группировки фраз без использования XML-лимитов
• Экспорт кластеризации в Excel (CSV)

Отличия от аналогов

• Низкие требования к ресурсам компьютера, малый расход оперативной памяти
• Кластеризация ядер любых объемов
• Портативный формат (работает без установки на ПК или прямо со сменного носителя)
• Бесплатное распространение

Помощь проекту

История версий

Версия 1.4 (build 33), 23.11.2017:

• добавлено отображение числа главных страниц по каждому запросу и по группе запросов в целом

Версия 1.3 (build 31), 27.09.2017:

• добавлена возможность просмотра наиболее часто встречающихся сайтов в конкретном кластере
• расширен список регионов Яндекс, добавлена возможность их редактирования в текстовом файле (regions.txt)
• исправлена ситуация, когда в поле списка запросов не загружалось более 2000 строк

Версия 1.2 (build 28), 29.08.2017:

• добавлена возможность указания региона в Яндекс для сбора данных при кластеризации
• добавлена возможность "ручного" указания порога кластеризации фраз (от 1 до 10)
• добавлена возможность импорта данных выдачи ПС Яндекс из KeyCollector для группировки фраз без использования XML-лимитов

Версия 1.1 (build 22), 10.08.2017:

• добавлена возможность ручной группировки фраз
• добавлена возможность экспорта кластеризованных групп в Excel (CSV)

Версия 1.0 (build 5), 07.06.2016:

• возможность кластеризации по запросам из списка
• возможность группировки запросов методами Soft и Hard

Минимальные системные требования:
- 500 МГц (рекомендуется: 1 ГГц или выше)
- 1 ГБ RAM (рекомендуется: 2 ГБ или выше)
- Microsoft Windows XP/2003/Vista/7-10
- выход в интернет

Кластеризатор по леммам

Исходя из статьи Романа Игошина (http://www.it-agency.ru/academy/excel-clusterer/), идея заключалась занести данные в таблицу, а потом уже вручную играться с параметрами, добиваясь нужного результата. Так что если идти по этому пути, то программа явно проигрывает с точки зрения удобства.

Возможно, правильней было бы улучшить изначальную идею - дописать и оптимизировать скрипты для экселя...
Поэтому полученный софт выкладывается "как есть". Если будут мысли, как докрутить до рабочего варианта - вэлкам.

Скачать кластеризатор по леммам: majento-clusterer.zip (7 Мб)

PS. Описание настроек см. в ридми + примеры включены.
PPS. Для небольшого списка запросов нужно уменьшить мин. вес до 1000000 (по логике, чем меньше запросов, тем меньше должен быть вес).

Ограничение: 5 раз в сутки для 1 IP-адреса. Для Вашего IP осталось 5 раз. Зарегистрируйтесь, чтобы снять ограничение...

Запросы для онлайн кластеризации (макс. 250) ↓

Привет, дорогие друзья! С наступившим Новым Годом вас, надеюсь, вы уже отошли от праздников и настроились на боевой лад. У меня для вас новогодний подарок сегодня — очень крутой практический пост. Пост не мой, но более чем достоин появиться на страницах этого блога.

Обзор составлен крутым чуваком по имени Дмитрий Мирошниченко. Дима живет в Волгограде, работает руководителем проектов в местной веб-студии, которая занимается развитием и продвижением собственных проектов. А еще Дима — кандидат наук, а это вам не хухры-мухры!

Всё что написано ниже является моей точкой зрения и основано на моём жизненном опыте. Я не претендую на истину в последней инстанции. Если вы видите какие-то процессы иначе и знаете, как можно решить поставленную задачу эффективнее, крайне желательно не сдерживать себя и написать об этом в комментарии.

Итак, задача: составить семантическое ядро для сайта. Что означает слово «семантическое»? Вот что нам сообщает Википедия. Сема́нтика (от др. -греч. σημαντικός - обозначающий) - раздел лингвистики (в частности, семиотики), изучающий смысловое значение единиц языка. То есть нам нужно выделить смысловые направления для структуры сайта.

Как обычно решается эта задача?

1. Парсим запросы (вордстат , различные базы, подсказки, сервисы типа спайвордс и семраш , открытые счётчики статистики и другие источники)
2. Отсеиваем мусор и проверяем частотность
3. Распределяем запросы на группы
4. На основе групп делаем структуру сайта и распределяем статьи

Первые два пункта успешно решаем с помощью кейколлектора . Тут особых мук выбора не возникает. Кейколлектор действительно удобный инструмент.

Третья задача самая интересная. Её решение мы и будем рассматривать.

Четвёртая задача решается достаточно тривиально, если третья была качественно реализована.

Исходные данные

Информационный сайт дачной тематики. Раздел «кустарники и деревья». Всего было собрано 562 ключа. Это тренировочный набор данных. Мне было важно сравнить результаты работы разных инструментов.

Для раздела информационного сайта были собраны запросы, убран мусор и расставлена частотность «!» по вордстату больше 30. Нужно их распределить по группам.

Распределять запросы можно вручную и автоматом. Вручную распределяем по смыслу. Тут всё понятно. Для автоматической кластеризации есть много способов. Более подробно рассмотрим для каждого инструмента.

Инструменты, облегчающие ручную кластеризацию запросов

Excel, LibreOffice, OpenOffice

Думаю, тут нет смысла подробно описывать, как работать с этими инструментами.

Достоинства

• высокая точность обработки — руками всё-таки обрабатываем
• универсальность — можно учитывать кучу параметров
• в случае с LibreOffice, OpenOffice — бесплатные

Недостатки

• в случае с Excel — платный
• низкая скорость работы — при работе с большими объёмами данных
• нужно делать бекапы

Google документы

Достоинства

• аналогично предыдущему пункту
• онлайн сервис — удобный доступ к документу
• не нужно делать бекапы
• бесплатный

Недостатки

• скорость работы всё также низкая

kg.ppc-panel.ru

Онлайн сервис. Загружаешь запросы, фильтруешь, выделяешь группы.

Работает быстро. Функционал достаточный (кроме сохранения проектов), хороший интерфейс.

Достоинства

• удобный интерфейс
• быстро работает
• наглядность
• не нужно регистрироваться
• бесплатный
• онлайн сервис

Недостатки

• нельзя сохранять проекты можно, только выгружать уже готовые
• вытекает из предыдущего — если сервис заглючит, то потеряются все наработки
• нельзя загружать частотности

Keyword Assistant — cоздание структуры будущего сайта

Ещё один онлайн сервис. Аналогичен предыдущему. Уже можно сохранять проекты.

Достоинства

• проекты сохраняются
• хороший и понятный интерфейс
• можно загружать частотности
• бесплатный
• онлайн сервис

Недостатки

• скорость работы повыше, чем при работе с excel, но всё равно сопоставимая
• для параноиков — непонятно где хранятся ваши данные

Инструменты для автоматической кластеризации запросов

Группировщик ключевых слов для PPC

Десктопная версия со странной логикой поведения. Подробности по ссылке выше (где скачать, можно найти там же).

Краткое описание работы алгоритма кластеризации:

У нас есть некий набор ключевых слов. Перед составлением индекса, скрипт нормализует все словоформы. На следующем этапе скрипт группировки определяет частоты для всего индекса документа и выстраивает рейтинг. Частоты считаются для каждого слова (после нормализации). Если у нас есть «отдых в тунисе» то скрипт считает частоты для «отдых» и «тунис».

На данном этапе – рейтинг слов выстраивается от наиболее частотных к менее частотным. Зачем это нужно? Чтобы создать основные группы. Скажем так, если слово «египет» встречается чаще чем слово «отель» то поисковый запрос (например, [недорогие отели египта]) включающий слово «отель» будет отнесен к группе «египет» а не наоборот.

Итак, мы сгруппировали слова, но довольно примитивно. Далее – нам нужна более точная группировка.

Более точная группировка означает, что внутри каждой группы скрипт создаст подгруппы и распределит слова между ними.
На данном этапе точно также будет выстраиваться рейтинг слов по частоте. При этом рейтинг будет создаваться только внутри группы, основное слово группы (оно же – название группы) не будет принимать участие в рейтинге. Кроме того, рейтинг слов в группе выстраивается по обратной частотности. Т.е. слово с наименьшей частотностью – первым создаст «свою» подгруппу.

Конечно, создать свои подгруппы могут только те слова, которые встречаются не менее N-раз (задается в настройках скрипта, но обычно это не менее 4-5).

Именно такой подход работает очень эффективно, когда основные группы создаются на основе рейтинга от наиболее частотных слов к наименее частотным, а подгруппы – от наименее частотных к наиболее частотным.

На выходе получаем сгруппированный список.

Достоинства

• пока бесплатный
• быстро работает

Недостатки

• десктопная версия
• как-то криво сохраняется проект
• как там удалить что-нибудь?
• крайне странная логика поведения, откуда в системе слова которых там не было? (видно на скрине)
• алгоритм не учитывает смысла слов, только общий корень — самый существенный недостаток
• заявлено огранивение в 1000 ключей
• нельзя загрузить частотность
• нужно делать бекапы

Rush Analytics

Онлайн сервис кластеризации запросов на основе выдачи ПС. Точнее кластеризация это только одна из возможностей сервиса. Более подробное описание доступно на сайте.

Кратко об алгоритме работы:

Кластеризация – это автоматическая разбивка ключевых слов на группы.
Как работает технология?
Вы загружаете список ключевых слов, выбираете тип кластеризации – система анализирует ранжирование поисковых систем и с помощью нашего алгоритма разбивает ключевые слова на группы, которые будут отлично ранжироваться в поисковых системах. На выходе Вы получаете ключевые слова разбитые на группы.

Можно выставить силу группировки. Выставляется видимо в попугаях. На выходе excel файлики с выбранной силой группировки. На первой вкладке кластеры. На второй всё, что осталось без кластеров.

Плата снимается только для сгруппированных запросов (максимальное количество).

Напомню, всего 562 запроса. Сколько запросов сгруппировалось для каждого варианта видно в таблице ниже.

Получаем максимальное число сгруппированных запросов 359. Неплохо для автомата. Сколько это стоило?

Получаем, что кластеризация 359 запросов обошлась в 552,5 рубля или чуть больше 1,5 рублей за зарос (хотя цифра группировки за запрос мне совершенно не интересна, но для общей картины пусть будет). Тут нужно уточнить, что кластером считается более двух запросов. Сколько групп получилось так и не придумал, как посчитать.

Теперь посмотрим что там по качеству.

Выберем тестовую группу по черешне. Вот список исходных запросов:

как правильно обрезать черешню валерий чкалов черешня черешня бычье сердце черешня дерево черешневый сад черешня ипуть обрезка молодой черешни обрезка черешни черешня сорта сорта черешни

Получилось два кластера для силы группировки 4 и 5:

Для силы группировки 3, кластер обрезки немного расширен:

Очевидно, что результат так себе.

Если бы я делал вручную, то кластер по сортам выглядел бы примерно так:

черешня бычье сердце черешня ипуть валерий чкалов черешня черешня сорта сорта черешни

Так что алгоритмы явно нужно допиливать.

Достоинства

• онлайн сервис
• все проекты сохраняются
• при регистрации выдают 3000 рублей на счёт (на момент публикации, по моему уже прикрыли такую халяву)
• худо бедно, но учитывается смысл (а не только общий корень) на основе выдачи поисковиков

Недостатки

• пока в стадии тестирования (на момент публикации уже вроде нет)
• платный
• дорого — хорошо если ядро 500 запросов, а если тысячи и сотни тысяч?
• всё равно нужно доделывать руками, полного автомата не получается

SEMparser — Структуризация семантики для SEO и контекста

Ещё один онлайн кластеризатор на основе выдачи поисковика.

Как работает (взято с сайта):

Как выглядит внутри:

После автоматической кластеризации появляется окно редактирования, где можно подправить ошибки.

Скачивается excel файлик. На первой вкладке запросы и группы с подробностями.

На второй вкладке только группы.

На третьей вкладке какой-то топ тематики.

Так же можно установить силу группировки. Потестил теже цифры: 3, 4 и 5.

Тут нужно уточнить, что кластер из одного запроса это тоже кластер. И он учитывается. Так что формально получается, что сгруппировалось 100% запросов. А вот сколько получилось групп с запросами 2 и более я тоже не придумал как посчитать.

Так же нужно учитывать, что ценообразование немного другое. Деньги снимаются за все запросы, которые есть в документе. Я купил 600 запросов, что обошлось мне в 288 рублей. Получаем стоимость одного запроса 0,48 копеек. После группировки у меня в системе осталось 38 запросов. В итоге группировка тестовой выборки ключей обошлась в примерно в 270 рублей. Что в два раза ниже, чем в предыдущем сервисе.

Посмотрим, что тут с качеством.

Для всех сил группировки получилось — 4 группы:

валерий чкалов черешня (1/170) валерий чкалов черешня (170) черешня ипуть (5/472) черешня ипуть (159) сорта черешни (134) черешня сорта (92) черешня дерево (44) черешневый сад (43) черешня бычье сердце (1/64) черешня бычье сердце (64) обрезка черешни (3/352) обрезка черешни (226) как правильно обрезать черешню (86) обрезка молодой черешни (40)

Тоже видим, что по смыслу не идеально. Нужно дорабатывать руками.

Достоинства

• онлайн сервис
• все проекты сохраняются
• 50 запросов для теста при регистрации
• худо бедно учитывает смысл
• дешевле, чем предыдущий вариант

Недостатки

• платный
• алгоритм работает не идеально, нужна ручная коррекция

Just Magic — автоматический подбор семантики для SEO и контекстной рекламы

Интересный сервис на мой взгляд. Дизайн сайта: привет консоль.

Что у них заявлено на сайте:

— Собирать семантику для существующих страниц сайта, сразу правильно привязывая запросы к ним.
— Расширять существующую структуру сайта.
— Предлагать тематическую семантику для новых страниц сайта на основании текущего СЯ.
— Создавать семантику для проектируемого сайта.
— И просто кластеризовать запросы. Включая тематическое разбиение.

Можно посмотреть доклад разработчика на ТопЭксперте:

Вот что мне ответили разработчики про то, как там всё устроено:

Мы решаем сугубо утилитарную задачу — определить какие запросы могут продвигаться на одной странице.

Отсюда и метод решения — мы собираем выдачу ПС по каждому запросу и кластеризацию проводим на ее основании.

Фактически, нам необходимо решить достаточно простую задачу — раскидать запросы по совпадению URL в выдаче, попутно позаботившись, чтобы в один кластер не попали принципиально разные типы запросов. Типы мы выделяем такие:
— Коммерческий/информационный.
— «На морду»/"на внутряк".
— Однословный/2+ словный.
— С маркерами типа контента/без них.

«Маркеры типа контента» — это слова запроса, которые ПС использует для выставления требований к контенту на продвигаемой странице. Например — («отзывы», «видео», «скачать», «фото»).

Поскольку задача определена и набор входных данных довольно прост, то и алгоритм не замысловат. В основном алгоритме системы машинное обучение не используется. Центроиды в текущем алгоритме мы де-факто используем (один из запросов является «центром» кластера, а остальные должны иметь определенную меру схожести с ним). Сейчас используется «жадный» алгоритм их (центров) выделения. Но в этом методе есть определенные недостатки, поэтому в следующей версии алгоритма, которая сейчас внедряется, мы в принципе откажемся от понятия запроса-центра кластера.

Машинное обучение мы тоже используем, но в другом месте — автоматическая генерация запросов-маркеров на основании данных Яндекс.Метрики.

Пока попробовать не удалось. Отправил запрос на тестовый доступ. Сказали у них обновление. Основной функционал стоимостью от 30 000 руб/месяц будет доступен в конце января. Для простых смертных с объёмами поменьше в феврале.

Если всё будет работать, как заявляют, то будет очень круто. Посмотрим.

Достоинства

• хорошие перспективы
• онлайн сервис

Недостатки

• пока нет версии для простых смертных, только месячная подписка
• попробовать так и не удалось
• как есть — дорого

SEO intellect — Сервис автоматизации SEO работ

Ещё один онлайн сервис по кластеризации. Заявленный функционал:

Сервис автоматизации SEO работ
● кластеризация запросов
● подбор посадочных страниц
● поиск конкурентов
● помощь в оптимизации контента
● заказ оптимизированных текстов

Мне так и не удалось его заставить работать. Нет никакой справки, никаких подсказок...

Достоинства

• онлайн

Недостатки

• так и понял как с ним работать
• платный

Coolakov.ru — Разбивка ключевых запросов

Описание на сайте:

Сервис позволяет автоматически группировать уже собранные запросы. Разбивка запросов на группы производится на основе схожести топ10 Яндекса.

Про особенности алгоритма ничего найти не удалось.

Для моих 562 запросов получилось 305 групп. В группе минимум один запрос. Посмотрим что там с нашей черешней:

Видно, что группы 73 и 189 можно было бы и объединить… Ну и в остальном тоже понятно. Кластеризация, мягко говоря, не идеальная.

Достоинства

• онлайн сервис
• бесплатный

Недостатки

• Как это скачать? Нет никаких кнопок, чтобы скачать. Можно только скопировать текст.
• Без регистрации можно работать только с 20-00 до 7-00 по Москве. Зарегистрироваться никак нельзя. Вообще.

s:toolz — профессиональный инструмент кластеризации запросов на основе поисковой выдачи

Очередной сервис кластеризации. Особенность в том, что работает не в автоматическом режиме. Это же его и недостаток.

Порядок работы

Заявленный функционал:

Сервис кластеризации запросов предназначен для быстрой автоматизированной группировки больших списков запросов (ключевых слов для продвижения) в кластеры, которые формируются исходя из выдачи поисковых систем и представлений поисковой системы Яндекс о потребности пользователя.

Запросы из одного кластера необходимо продвигать на 1 страницу.

Отправил бриф. Ответили через два дня. Оказывается, у них заявки в ручном режиме обрабатываются. Пишут, что так больше получают обратной связи. В будущем грозятся сделать всё в автомате.

Сама кластеризация, пишут, длилась меньше минуты. Цитата:

На просчет вашей заявки ушло меньше минуты. Самое большое, что приходилось на данный момент обрабатывать — 55к, расчет шел около 3 часов.

Что пишут про алгоритм работы:

Алгоритм группировки разработан свой. Данные — топ 10 яндекса по каждому запросу. Машинное обучение используем, но для другого функционала, который скоро будет представлен.
Есть проблемы с релевантными страницами в отчете. В индекс поисковика не всегда попадает то, что нужно, особенно, если над проектом еще не работал специалист.
В результате приходится дополнительно обрабатывать результат руками, при определенном кол-ве запросов это уже грустно. Задача в процессе решения.

Кластеризация моих 562 запросов обошлась мне в 309 рублей. Имеем 60 копеек за запрос. Скидок не давали. Да я и не просил.

Теперь посмотрим что там с качеством:

обрезка черешни как правильно обрезать черешню обрезка молодой черешни сорта черешни черешнЯ сорта черешнЯ дерево валерий чкалов черешнЯ черешнЯ бычье сердце черешневый сад черешнЯ ипуть

Снова сорта остались без кластеров.

Достоинства

• коммуникабельность тех поддержки, ответили на все вопросы
• онлайн сервис

Недостатки

• работает не в автоматическом режиме, человеческий фактор портит впечатление
• платный
• нужна ручная коррекция кластеров

Mc-Castle.ru — Кластеризатор СЯ

И ещё один сервис. Кластеризует тоже, видимо, по словоформе. Никаких поисковиков.

Результат работы:

Что с этим дальше делать я понять не смог. Как мне разбить по кластерам? Как посмотреть какие запросы попали в один кластер? Ну и если разбивка идёт на основе словоформ, то ни о каком объединении по смыслу речи не идёт.

Достоинства

• онлайн сервис
• бесплатный
• не нужно регистрироваться

Недостатки

• странный интерфейс
• алгоритм разбивки на основе словоформ

Key Collector

Почти всем известная программа, кто так или иначе сталкивался со сбором ключей.

Группировка это только маленькая часть того, что она умеет.

Запросы можно сгруппировать по составу фраз, по выдаче поисковиков и в комбинированном режиме. Группировка на основе поиска работает кода собраны данные для KEI. На сбор информации для группировки ушло несколько минут. Сама группировка длилась меньше минуты.

Лучшей группировки удалось добиться со следующими параметрами:

В первом случае сгруппировалось 381 фраза или 68% от общего числа. Во втором случае 403 или 72%, что очень хорошо.

Интересующие нас черешни по сортам (ипуть, бычье сердце...) тоже и не попали к сортам. Были выделены в отдельные группы. Что, в общем, и не удивительно.

Остальные запросы сгруппировалась более или менее. В итоге имеем 72% экономии времени (остальное доделывать руками).

Достоинства

• понятный интерфейс
• можно подбирать настройки группировки
• куча других возможностей по работе с ключами
• демократичная цена
• отличная тех поддержка

Недостатки

• десктопная версия
• нельзя редактировать получившиеся группы в программе — только в excel
• для работы нужны антигейт, прокси, аккаунты — с онлайн сервисами таких заморочек нет, они берут эти проблемы на себя
• нужна ручная коррекция кластеров

МегаЛемма — автоматизация составления семантического ядра и кампаний Яндекс.Директ

Десктопная программы для кластеризации.

Сложно просто взять и работать. Юзабилити хромает.

Жму нормализовать. Он мне выдаёт сообщение, что нужно сохранить проект. А автоматически нельзя сохранить проект? Зачем мне нажимать на кнопку, если это может сделать компьютер?

Не очевидно, что нажать, чтобы запустить процесс разбивки на группы. Оказывается это «частотный анализ».

Парсинг 562 запросов на стандартных настройках в 7 потоков и на 7 прокси занял примерно 10 минут. Ещё минут 5 заняла нормализация.

После нормализации снова непонятно как группировать нужные мне слова. Информацию нашёл на 27 странице руководства. И на том спасибо.

Ведь это же основной функционал программы. Разбивать слова на группы. Почему самая нужная информация находится так далеко? Ну и полезно было бы сделать что-то вроде quick start. Для контекста и для сайтов раздельно. Я понял, там есть различия в работе.

Доводить дело до конца по кластеризции своих запросов тут не захотелось. Основная проблема в расстановке акцентов в интерфейсе программы.

Чисто для кластеризации использовать смысла нет. Думаю, вся мощь программы должна проявиться при полной работе с ключами. Начиная с очистки запросов от мусора и создания стоп слов.

Достоинства

• есть полноценная демоверсия

Недостатки

• десктопная программа
• для работы нужны антигейт и прокси — с онлайн сервисами таких заморочек нет, они берут эти проблемы на себя
• объединяет на основе словоформ, то есть ни о каких смыслах говорить не приходится
• юзабилити нужно дорабатывать

«Семён-Ядрён» — формирование семантического ядра сайта на основе поисковых систем

Ещё один удалённый сервис. В последнее время много пиарится.

Опять же с сервисом нужно работать через посредников. То есть через людей. Никакой тебе автоматики.

Нужно сначала подать бриф, потом подождать пока с тобой свяжутся. Согласовываешь детали. Затем оплата.

За бесплатно делать группировку не захотели, но сделали скидку в 50%. В итоге группировка 562 запросов мне обошлась в 350 рублей (без скидки просили 700). Сгруппировать один запрос вышло 60 копеек (или 1,2 рубля без скидок)

Опять же проблемы с юзабилити на сайте. Кнопка «подать бриф» маленкая, белая и незаметная на белом же фоне. Не удержался, простите.

Как и на основе чего делают кластеризацию, говорить отказались. Известно, только, что на основе выдачи ПС.

Результат работы прислали через несколько часов. Помимо самих кластеров прислали ещё 100500 параметров и файлов. Хотя я не просил. В принципе полезная информация для анализа. Но логично было бы разделить: хочешь просто кластеризацию — одна цена, хочешь ещё ништяков — другая. Так как разным клиентам нужна разная информация.

Посмотрим, какие кластеры получились:

обрезка черешни как правильно обрезать черешню обрезка молодой черешни черешня ипуть сорта черешни черешня сорта черешня бычье сердце валерий чкалов черешня черешня дерево черешневый сад

Это уже гораздо лучше! Отдельные сорта попали-таки в кластер по сортам! Правда, Валерий Чкалов потерялся.

Достоинства

• быстро ответили
• готовы делать скидки
• онлайн сервис
• куча различной доп информации, вплоть до заданий копирайтерам (правда пишут, что задания всё же нужно допиливать индивидуально)

Недостатки

• есть посредник в виде человека
• по алгоритмам сплошная коммерческая тайна
• нужна ручная коррекция кластеров

Итоги

Сводную таблицу по функционалу и стоимости можно посмотреть ниже.

В итоге пока не имеем инструмента, который на полном автомате сгруппирует нужные запросы без ошибок.

Наилучшие результаты показали (судил по сортам черешни) Semparser.ru и Seo-case.com. По стоимости получаем 48 копеек против 1,2 рубля соответственно. Разница почти в три раза. Дополнительная стоимость у Seo-case, я так думаю, за счёт бонусной информации. На следующем месте стоит Кей-Коллектор (так как он почти наверняка есть у человека, который занимается запросами).

Самый основательный подход по кластеризации, на мой взгляд, у ребят из Just-magic.org. Так что как только появится возможность, обязательно потестирую.

Как бы то ни было, работа руками лучше, чем любым сервисом и с этим сложно поспорить. Немного дороже, но намного качественнее.

На этом мега обзор заканчивается, дорогие друзья! Я уверен, вам понравилось, поэтому прошу вас оставить свое мнение в комментариях, а если вам есть, что добавить, то тем более отписывайтесь.

До связи друзья!