Блеск и нищета контент-маркетинга (лонгридов)
В честь первого апреля хочу несерьёзно поговорить на серьёзную тему. О контент-маркетинге. Точнее об одной из его разновидностей — о лонгридах. Long read — это огромный по размеру текст, который в старые добрые времена называли портянкой. И за размещение портянок на сайте Яндекс грозился понижать сайты в своей выдаче.
На самом деле за время своего существования Яндекс много за что грозил понижать сайты в выдаче. Сегодня можно смело утверждать, что лучше всего оказывает влияние на ранжирование то, за что Яндекс сулил кары египетские. В частности, сегодня лонгриды ранжируются очень и очень хорошо. И новый алгоритм Яндекса Баден-Баден обходит их стороной. И да, ссылки тоже работают. То есть Минусинск отдельно, ранжирование с помощью ссылок — отдельно. Как мухи с котлетами. Но я отвлёкся.
Итак, сильная сторона лонгрида — привлечение большого количества трафика из поисковых систем по низкочастотным запросам. Эта сила является одновременно и слабостью — такой трафик очень плохо конвертируется в продажи. Тем более что лонгрид чаще всего носит либо образовательный, либо развлекательный характер. То есть не заточен на продажи от слова совсем. По сути является полной противоположностью landing page.
Откуда я это знаю? Да просто много лет назад я из одного своего лонгрида, успешного в плане привлечения трафика, делал лендинг. Чтобы выжать из трафика больше продаж. И писал о результатах в заметке Взрыв конверсии на Landing Page
Однако, интернет-маркетологи не лыком шиты и пытаются выжать максимум из трафика, приходящего на их лонгриды. И размещают для этого формы захвата номера телефона посетителя или онлайн-чатики для беседы со «специалистом». Одну из таких бесед я приведу ниже.
Итак, я из поисковой выдачи перешёл на лонгрид про привлечение трафика и начал читать статью. С очевидными советами: пишите больше, пишите чаще, мучайте wordstat. Через некоторое время мне стал надоедать виджет онлайн-чата с миловидной женской фотографией и надписью Валерия Consultant.
В 17:30 я не выдержал и написал в чат: Отстань. После этого в чате появился рыжебородый «Сергей». Через 12 минут общения ни о чём, он раскрывает мне, потенциальному клиенту, свою миссию дежурства в чате: он помогает читать.
То есть вместо того, чтобы написать свой лонгрид так, чтобы и ежику было понятно, интернет-маркетологи компании посадили за чат Валерию и Сергея. Так наверно дешевле.
За почти полчаса моего торчания на лонгриде Сергей так и не удосужился спросить чем я занимаюсь и не предложил мне ни одной из услуг своей компании. Более того, отправил меня читать миссию компании. И успел позаниматься своими делами. В 17:56 я решил подтолкнуть его в нужном направлении, прикинувшись владельцем компании, занимающейся доставкой грузов из Китая.
Дальше тоже ничего хорошего не произошло. На конкретный вопрос на сколько контент-маркетинг повысит мои продажи был получен такой ответ: за 80 тысяч рублей в месяц мы тебе попишем тексты. И увеличим объём работ по емайл-рассылке. Причём кто будет читать эту рассылку он даже не подумал. И кто мои клиенты он не спросил.
К концу часа моего пребывания на сайте консультант догадался спросить у меня e-mail. Ни имени, ни телефона он спросить так и не удосужился.
Выводы
Не знаю, какие могут быть 1 апреля выводы. Компания живёт и процветает. Оборот около 20млн рублей в год. Значит есть в Москве покупатели контент-маркетинга, готовые платить не пойми за что. То есть по сути содержать уйму копипастеров контент-менеджеров, аккаунт-менеджеров. Ну и бухгалтера с директором и учредителями.
Потом, что характерно, именно москвичи рыдают на весь рунет о жёстком, не прекращающимся ни на минуту с 2008-го года экономическом кризисе.
Совпадение? Не думаю. (ц)
Как Яндекс убивает малый бизнес
Признаюсь сразу, заголовок жёлтый. Но прошу обратить внимание — эта история не столько про Яндекс, сколько про малый бизнес и SEO. Так что расценивать этот пост как жалобы (кому?) на Яндекс — не верно. Итак, начнём историю.
Жил-был малый образовательный бизнес. Который имел сайт. По курсам околостроительной тематики. Сайту делала магическое SEO одна крупная петербургская компания. Которая оказывает комплексные IT-услуги. Как обеды в студенческих столовках. Яндекс уже начал к тому времени пугать оптимизаторов карами египетскими за SEO-ссылки, хотя до Минусинска дело ещё не дошло. Поэтому SEO-магия заключалась в следующем: ссылки на сайт не проставлялись, тексты написала жена владельца компании и их не меняли. Рекламой в Я.Директе и G.Adwords занималась тоже она.
Видимо велась какая-то магическая внутренняя оптимизация, но как это сделать на 7 основных страницах сайта и на множестве однотипных коротких новостей о старте очередной группы, которые регулярно выпадают из индекса, мне не ведомо.
Долго ли, коротко ли, но владелец бизнеса заподозрил, что деньги улетают в трубу — финансовый результат от SEO и поисковой рекламы был какой-то очень не очень. И в кулуарах одного из SEO-мероприятий он обратился ко мне с извечным русским вопросом: Что делать?
Поскольку я не занимаюсь оказанием комплексных услуг, то сделали мы следующее:
- Чётко и по возможности коротко ответили на вопрос чем мы лучше других курсов. В первую очередь самим себе. А потом и посетителям сайта. На сленге SEO-шников это называется поработали над коммерческими факторами. Хотя это поведенческие факторы ранжирования.
- Стали собирать и размещать на сайте социальные доказательства, подтверждающие посетителям что мы лучшие. Нет, не лайки, не шэры и не количество фолловеров группы Вконтакте.
- Оптимизировали поисковую рекламу и согласовали её с SEO-усилиями. То есть перестали распылять поведенческие факторы по разным страницам.
- Отказались от профессиональной системы управления сайтом, созданной в какой-то студии и поставили любительский WordPress, попутно выкинув из дизайна избыточные «красивости». Которые мешали посетителям сосредотачиваться на сути
Результаты изменений можно наблюдать на скриншоте выше из Яндекс. Метрики. Сначала изменили своё поведение посетители сайта, а потом на эти изменения отреагировал Яндекс. Поскольку я тексты не менял, ссылок не покупал, внутренней перелинковкой не занимался, то ты имеешь полное право подумать, что я подло воспользовался результатами труда крупной компании, плодотворно поработавшей до меня. Не буду пытаться тебя переубеждать. Просто потому, что всё что ты прочитал до этого момента присказка. А сказка впереди.
Как Яндекс ввергает бизнесы в кризис
Самое поучительное в этой истории началось через 2 года от начала нашего сотрудничества. Валютный кризис, который начался в декабре 2014 года мы не заметили. Вот график посещаемости сайта новыми посетителями, то есть новыми слушателями курсов:
Я выдерживал взятые на себя обязательства: сайт был в топ3 по 70% продвигаемых запросов. Более того, почти по всем запросам сайт был на первой позиции, изредка откатываясь на вторую (к слову, это не мой успех, а клиента, я только слегка подтолкнул в нужном направлении). Было спецразмещение в Я.Директе. Бизнес вырос в 2 раза, в то время как Москва жаловалась на кошмарный кризис. Были наняты новые педагоги…
А проблемы начались в 16-м году. Клиент обратился с вопросом: куда делись звонки потенциальных клиентов? Я попросил клиента сравнить начало плохого 16-го года с началом хорошего 15-го года. Падение звонков было кратным! При этом позиции по всем запросам из договора были не просто хорошие, а отличные. Всё те же железные топ3. Посещаемость сайта максимальная или почти максимальная за всю историю продвижения. То есть периоды более низкого трафика проживали без потери входящих звонков. И на этом графике переходов по основной (казалось бы) поисковой фразе из двух слов ты вряд ли сможешь разглядеть причины отсутствия звонков:
Картина стала прояснятся только после того, как я стал просматривать список поисковых фраз за длительный период времени. Как говорят финансовые аналитики — на большом таймфрейме (БТ). И этот БТ показал, что сделал (и продолжает делать) нехороший Яндекс.
На графике отображены два поисковых запроса. Один из них 4-хсловный (включая 1 предлог), отмечен жёлтым. Второй — 6-тисловный, отмечен зелёным. Красным кружочком обведён т.н. символ смерти. Потому что череп и кости напоминает. Ниже моя интерпретация того
Что же произошло?
На тот момент, когда продвижением сайта занималась другая компания, самым популярным в поисковых подсказках Яндекса был жёлтый запрос. Просадка трафика по нему в 6 раз (и отсутствие позиций по другим запросам) побудила перейти клиента от одного исполнителя к другому. В октябре 2014 года Яндекс выбрал нового фаворита в нише — зелёный запрос. А уже с сентября 2015 по май 2016 Яндекс обвалил трафик и по этому новому запросу почти в 5 раз, со 165 человек в месяц до 35. Это произошло исключительно из-за игры Яндекса с подсказками — вообще в теме трафик не падал, это видно на графике общей посещаемости. Самое печальное, что бизнесу пришлось сокращать персонал…
NB: абсолютные цифры посещаемости выглядят очень малыми, но в данной нише все участники делят несколько сотен абитуриентов в месяц на всех.
Причём тут Яндекс вообще, а не оптимизатор?
Во-первых, потому что шестисловный запрос с двумя предлогами, одним жаргонизмом, одной добавкой а ля своими руками (которые тоже до жути надоели) и сокращённым географическим наименованием — искусственный на 100%. Вероятнее всего накрученный. А может и сложносочинённый алгоритмами Яндекса.
По моему личному убеждению, чаще всего встречаться в подсказках, а значит и получать львиную долю трафика, должен один из двух официальных запросов. Коротких, двух-трёхсловных. Хотя бы потому, что эти курсы преподают в государственных вузах и у курсов есть официальные, устоявшиеся наименования. Курс + название специальности или курс + название дисциплины. И раньше в подсказках они всегда были на первых ролях. А ещё раньше и подсказок не было и их никто по-другому и не искал 🙂
А во-вторых потому, что в данном случае клиент покупает (и всегда покупал) трафик в Я.Директе. И платежеспособный спрос из платной части выдачи точно так же куда-то канализируется из-за игрищ с поисковыми подсказками. Что выглядит крайне нехорошо. И полностью исключает из рассмотрения вопроса оптимизаторов — плохо что с ними, что без них.
NB: отдельное спасибо Яндексу за авторасширения поисковой рекламы запросами «курсы в спб» и «курсы с трудоустройством». И пофигу по какой специальности. Что наступать — бежать, что отступать — бежать. Мощь машинного обучения ощущается всеми фибрами. Верной дорогой идёте, товарищи!
Заключение
Мораль сей басни такова: хочешь жить — умей вертеть подсказки. Накрутка подсказок в Яндексе сегодня самый быстрый путь к обогащению. Всех участников рынка, в т.ч. и самого Яндекса. А честные бизнесмены-терпилы выставляют максимальные ставки по тем запросам, где платежеспособного клиента днём с огнём не сыскать.
Вывод номер 2: чтобы не быть таким терпилой, необходимо оперативно и регулярно отслеживать изменения подсказок.
Буду благодарен за ссылки в комментариях на сервисы мониторинга поисковых подсказок.
Вывод номер 3: ровно с того момента, как Яндекс стал с помощью подсказок (своих или накрученных) влиять на поведение своих пользователей, оплата услуг SEO за позиции в поисковой выдаче или за привлечённый трафик на сайт может не давать притока новых клиентов в бизнес. И поисковая реклама с её оплатой за клики не всегда будет спасительной соломинкой.
Почему вредно знать о BM25?
Директор? Да пошёл ты в жопу, директор!
Не до тебя сейчас (© Масяня)
Не очень понимаю людей, придерживающихся стратегии контент-маркетинга в стиле поручика Ржевского: «Я — Д’Артаньян, а вы все — …мушкетёры».
В двух словах, некий директор SEO-компании взялся утверждать, что рынок SEO, которое не наука и не искусство, а всего лишь ремесло, умер. Потому что никто не готовит подмастерий. Кроме, видимо, самого директора.
Что само по себе странно, т.к. если кто-то берёт сайты на продвижение и достигает обещанных хотя бы на словах результатов, значит на рынке существует достаточное количество обученных ремесленников. Не являющихся Д’Артаньянами, но туго знающих своё ремесло. А значит рынок жив.
Так может быть дело не в рынке, а в директоре? Давай попробуем разобраться почему это так.
Один из вопросов, который задаёт директор соискателю:
Вы знаете, что такое ГЕОзависимые и ГЕОнезависимые запросы?
Да, знаю. Это анахронизм периода начала второй половины первого десятилетия 21 века. Когда в интерфейсе Яндексе существовала галочка «сайты из региона», не применялись переформулировки запросов в нынешних объёмах и не использовалась технология Спектр.
Сегодня, слава птицам, каждый запрос может быть и геозависимым и геонезависимым одновременно. Это когда поисковик знает по поведению пользователей, что для кого-то данный запрос является информационным. То есть кого-то интересует ответ на вопрос что это такое. И лучшим ответом будет энциклопедия. В этом случае запрос трактуется и модифицируется поисковиком как геонезависимый.
А для других пользователей этот запрос является транзакционным. То есть они уже знают что это такое, но хотят узнать где и по какой цене эту штуковину приобрести. Жителя Петербурга мало интересуют предложения из Москвы. И тот же самый запрос трактуется и модифицируется как геозависимый. С добавлением к исходному запросу топонима, а так же слов цена и купить. Пример? Пусть будет запрос гидромодуль.
То есть для оптимизатора важно знать как исходный запрос пользователя был изменён поисковиком. А если применяется СПЕКТР, то любой изначально геозависимый запрос превращается поисковиком в геонезависимый лёгким движением руки добавлением к исходному запросу довеска своими руками или фото. Или другим модифицирующим довеском, например что такое.
И это всё в рамках одного исходного запроса. Таким образом, [bctt tweet=»геозависимостью обладает не запрос, а ответ на него» via=»no»]
Оптимизатор может сам принять решение, как продвигать сайт по запросу: как по информационному или как по транзакционному. И выберет для оптимизации разные документы с сайта. Или создаст новые. И если продвижение не ограничивается одним Default-city, а подразумевает продвижение сразу по нескольким регионам, то лучше выбрать информационный вариант. Чем париться с перечислением всех регионов на странице.
А что хотел узнать у соискателя господин директор? Работал ли соискатель на рынке в дветысяче-лохматом году?
Перейдём к другому вопросу директора:
Вы знаете, что такое BM25?
Да-да-да. Это семейство ранжирующих функций, которые сильно влияли на позиции сайтов в вебпоиске. До изобретения PageRank. Ещё знаю, что среди пресловутых 800 факторов ранжирования Яндекса данное сочетание букв применяется чаще других. Однако знания о BM25 скорее вредны для оптимизатора. И вот почему.
- И в этом случае гораздо важнее знать переформулировки исходного запроса. Тот самый гидромодуль для хорошего ранжирования требует присутствия в документе, к примеру, слова чиллер. Можно ли извлечь данный факт из знания о BM25? Нет.
- Попытка оптимизировать документ под BM25, то есть подобрать «оптимальную» плотность ключевых слов в разных частях документа, вероятнее всего ухудшит метрики качества текста (читабельность, естественность, применение общеупотребимых и редких слов, синонимов и т.д. ) Влияние этих метрик на ранжирование ничуть не меньше, чем BM25. Это основы борьбы с дорвейным автогенерённым контентом.
- Вообще любые попытки угодить поисковику больше, чем посетителю, вероятнее всего скажутся на ранжировании негативно. Всё дело в поведенческих факторах ранжирования. То есть оптимизатору гораздо важнее знать как побудить посетителя к взаимодействию с сайтом, чем о BM25.
Спрашивал ли директор о признаках качественного и не очень качественного текста, о том как влиять на кликабельность сниппетов и нужно ли это делать, как побуждать посетителя взаимодействовать с сайтом? Нет.
Выводы:
Сегодня гораздо проще взять толкового копирайтера, чем искать реликтового seoшника, знающего о TF/IDF и BM25. Где найти такого копирайтера — отдельный вопрос. Но переучивать и его будет не легко. И обучить этого копирайтера азам оптимизации. Вместо того, чтобы обучать сеошника копирайтерскому ремеслу (не путать с продажей знаков за рубли). Готовый оптимизированный текст, вышедший из под пера такого копирайтера, должен содержать все ключевые слова из переформулировки поисковой системы. Каковые можно и нужно определять автоматически, без человеческого участия.
Количество же повторений конкретного слова в тексте должно определяется исключительно коммерческой целесообразностью. А не мифической формулой, коэффициенты которой либо неизвестны вовсе, либо определяются с точностью плюс-минус лапоть. Текст должен побуждать посетителя купить, а не поблевать на экран.
Дополнительно такой текст хорошо прогнать через сервис Главред (или его аналоги). Чтобы окончательно избавиться от воды, свойственной многим копирайтерам. Особенно пишущим тексты по ТЗ от seoшников. И заодно сделать этот текст 100% уникальным. В среднем по больнице такой текст проблем с ранжированием иметь не будет.
Если дизайнер, верстальщик и админ не запороли ПФ на корню.
Вышеизложенные соображения, на мой взгляд, очевидны для каждого практикующего сеошника. Директора же, застопорившегося в своём профессиональном развитии, как впрочем и положено начальнику, сосредоточенному на управлении, от собеседований по существу профессии лучше отстранить. Или я не прав?
Минусинск ломает Matrixnet
Disclaimer(отмазка): cлегка ощущаю себя городским сумасшедшим — в очередной раз указываю инженерам Яндекса на ошибки в алгоритмах. Но, честное слово, seo-аудит с указанием на НПС-мерцание — не моих рук дело 🙂 Тем не менее, возьмусь утверждать, что алгоритм Минусинск входит в полное противоречие с основным алгоритмом ранжирования Яндекса — Matrixnet.
В чём суть MatrixNet?
Я уже пытался занудно рассказывать о том, что из себя представляет Матрикснет, теперь попробую разъяснить попроще. На пальцах.
Для обучения алгоритма инженеры Яндекса раздают асессорам, допустим, мешок яблок разных сортов. И просят их оценить вкус этих яблок по 5-бальной шкале. Асессоры коллегиально приходят к решению, что яблоки сорта Ред Делишес вкуснее сорта Голден Делишес и тем более Семеренко или упаси бог Антоновки.
Почему одни яблоки должны быть априори лучше других во всех случаях жизни науке не известно, но с момента вынесения вердикта асессорами MatrixNet считает, что красные сладкие яблоки лучше менее сладких, но жёлтых и уж тем более зелёных и кислых.
То, что мне утром в больницу другу нужны одни яблоки, вечером для шарлотки другие, а завтра себе поесть третьи — инженеры Яндекса особо не задумываются. Более того, они с юношеским задором пытаются на асессорских оценках яблок отсортировать заодно киви или лимоны… Но это я немного отвлёкся на врождённые пороки Матрикснет.
Для продолжения разговора важно лишь то, что после учёта мнения профанов асессоров Матрикснет пытается отсортировать яблоки в соответствии с этим мнением, т.е. так, чтобы Ред Делишес оказался как можно ближе к началу:
А что делает алгоритм Минусинск?
В результате применения алгоритма Минусинск сайт, на который оптимизаторы не очень удачно приобретали SEO ссылки, теряет в выдаче позиции абсолютно по всем запросам. В том числе и по навигационным. То есть по тем запросам, по которым на первом месте должен находится этот сайт и никакой другой.
Например, купил я в неком Фирменном центре Бош и Сименс бытовую технику. И возникли у меня некоторые сомнения в качестве одного из приобретённых предметов. Если я поищу в Google название указанное в накладной — ООО «Эдил Импорт», то найду искомое на первом месте:
А вот если я поищу его в Яндексе, то тоже найду нужный мне сайт на первом месте. Только не на первой, а на третьей странице выдачи:
Таким образом можно сделать два вывода:
1. Инженерам Яндекса стало наплевать на pFound
2. Минусинск работает как постфильтр, который отрабатывает после MatrixNet. И при этом можно допустить, что сайты для наказания отобраны вручную.
Корень зла не в SEO-ссылках, а в коммерческих факторах ранжирования
Я не зря писал в начале этой заметки об ошибочности попытки ранжирования лимонов после обучения алгоритма МатриксНет на яблоках. Если совершить звонок по горячей линии Бош в России, то сюрприз-сюрприз, выяснится, что магазин, в котором я купил бытовую технику ни разу не фирменный и Бош к нему никакого отношения не имеет.
По злой иронии судьбы я не хотел покупать нужную мне технику в Холодильник.ру, а купил в ООО Эдил-Импорт. То есть там же, но в каком-то не очень афишируемом магазине. Не разобрался в коммерческих факторах, да. Но может быть алгоритмы Яндекса умнее меня?
Давай посмотрим на скриншот из Яндекса. Там в снипете красуются гордые 5 звёзд от Маркета. Вот он:
Как же так, магазин торгует как-то полуподпольно, а у него 5 звёзд от Маркета? Давай посмотрим на рейтинг более детально:
Если ты не забыл школьный курс математики, то легко посчитаешь, что каждый шестой оставивший отзыв на маркете поставил сайту Холодильник.ру 2 или вовсе 1 звезду. То есть это не только я — лох, штаны в горох, а каждый шестой был недоволен ООО Эдил-Импорт» чуть более, чем полностью. Каждый шестой, Карл! А служба качества Маркета даёт Холодильнику.ру 5 звёзд, игнорируя мнения пользователей.
Как думаешь, пришлось бы инженерам Яндекса изобретать Минусинск для наказания Холодильник.ру, если бы они умели адекватно считать рейтинг магазина по оценкам пользователей?
P.S: рекомендую прочитать заметку про другой злобный забавный косяк машинного обучения Внезапный диван леопардовой расцветки
Думы о Минусинске — алгоритме Яндекса
Сегодня, 27 мая, в Яндексе был обнаружен апдейт. Судя по тому, что из топов на характерные 20 позиций опустились несколько новых сайтов, можно сделать предположение, что это была вторая волна Минусинска. Или продолжение первой, не суть важно. Это предположение обязательно подтвердят вот тут.
После медитации над выдачей и плясками с бубном SEO-шников вокруг этого события я сделал несколько для кого-то банальных, а для кого-то видимо не очень, мыслей:
1. Инженеры Яндекса жестоки. Ссылочный апдейт 9 мая зафиксировал состояние ссылок на 1 мая. У всех, кто захотел исправиться в мае или после первой волны Минусинска, не было ни единого шанса.
2. Сайты, подвергшиеся воздействию алгоритма Минусинск, продолжают получать остаточный трафик с Яндекса — если сайт попал в число любимых пользователем, то высокие позиции этих сайтов сохраняются. Другими словами, Минусинск не затронул персонализированную выдачу. Что странно, так как владельцы сайтов последствий Минусинска могут и не заметить, если пострадавшая компания параллельно закупала контекстную рекламу.
3. Всего в нише может быть наказано не более 10 сайтов. Потому что при наказании 11-го сайта ранее наказанные сайты вернутся в 10ку. Если наказывают в одной волне по 2 сайта в нише, то всего возможно 5 итераций Минусинска. Это видимо будут править 🙂
4. Владельцы ссылочных бирж и агрегаторов поспешили отрапортовать (Sape, SeoPult, Miralinks в рассылке), что их ссылки самые не seo-ссылки в мире. Их понять можно — бизнес уничтожают, с этим надо бороться. Гораздо более печально, что
5. Некоторые оптимизаторы тоже поспешили рассказать всем, что они уже досконально изучили то, чего ещё не было и раздают налево и направо советы в стиле кто виноват и что делать Я, конечно, понимаю, что в эпоху контент-маркетинга главное прокукарекать первым, а там хоть не рассветай. Но такое кукарекание сразу после заката выглядит не очень профессионально, потому что
6. Самое интересное ещё впереди. Сначала, когда случится ссылочный апдейт в Яндексе. Когда станут видны последствия от снятия ссылок. При полноте и точности выявлении Яндексом SEO ссылок в 95% по оптимистичным оценкам инженеров Яндекса в любой большой бирже существуют десятки тысяч ссылок, которые Яндекс не считает SEO-шными и на которых вполне может держаться благополучие многих продвигаемых сайтов. А потом всё самое интересное продолжится, когда закончатся слишком очевидные кандидаты на санкции.
Мысль тривиальная. Яндекс может оценить естественный уровень прироста ссылок коммерческого сайта определённой тематики. Предположим, это 1-2 ссылки в месяц. Соответственно, если на 15-летний сайт стоит более 1000 ссылок, то не нужно знать ничего о природе этих ссылок — и без этого понятно, что их в 3 раза больше, чем положено. Значит можно резать не дожидаясь перитонита карать Минусинском. Особенно если бренд широко известен только в очень узких кругах.
Собственно тру SEO аналитика начнётся в тот момент, когда и если инженеры Яндекса осмелятся приблизиться с карательными операциями к границе естественного роста ссылок. То есть когда станет очевидным наказание именно за качество ссылок, а не за их количество, как это выглядит сейчас.
Расклейка 301-х редиректов в Яндексе
Пост из серии хозяйке на заметку, без каких-либо выводов.
Предыстория
Есть на продвижении с 2009 года сайт. Одна из групп запросов (пусть это будет аренда самолётов) оптимизировалась некоторое время на внутреннюю страницу сайта (/arenda_samolyotov.html). То есть на неё проставлялись внешние и внутренние ссылки, заказывался текст от известного копирайтера и сопутствующие тематические статьи от менее известного. Но. Примерно через пару лет, как я теперь подозреваю с началом использования для ранжирования поведенческих факторов, огромное преимущество в выдаче стали получать главные страницы. Помучившись безрезультатно месяц-другой с возвращением в ТОП внутренней страницы, я принял решение продвигать по этой группе запросов главную страницу сайта. И сделал 301-й редирект с внутренней страницы на морду. Редирект выполняется внутри скрипта, а не через .htaccess, то есть он гарантированно работает уже много лет.
Сама история с расклейкой 301-го редиректа
Вчера, 30 марта 2015 года, выполняя рутинные операции с выдачей, я обнаружил, что по основному запросу (аренда самолётов) той самой внутренней страницы (/arenda_samolyotov.html), вместо которой давным-давно продвигается главная страница сайта, в SERP‘е Яндекса отображается ссылка на эту внутреннюю страницу. С многолетним 301-м редиректом. Перейдя на эту страницу (/arenda_samolyotov.html) я, как и следовало ожидать, был перенаправлен на главную. То есть редирект продолжает исправно работать.
Разумеется, я не смог не посмотреть сохранённую копию (кэш) этой внутренней страницы. В кэше была обнаружена копия главной страницы. Поскольку при снятии позиций через XML ситуация не повторилась, я списал всё на легкий временный глюк.
Но сегодня история получила продолжение. В отчёте по снятым позициям, полученном сегодня, внутренняя страница стала присутствовать в SERP’е и по группе запросов (аренда вертолётов), по которой эта внутренняя страница (/arenda_samolyotov.html) никогда не продвигалась.
С ухудшением позиций и при том, что текстовых апдейтов последние два дня совершенно точно не было.
То есть в выдаче Яндекса главная страница сайта была заменена внутренней страницей с которой она склеена через 301-й редирект много лет.
Update:
Вспомнил ещё подобную историю. Там была полная многолетняя переклейка основного домена и домена с misspelling’ом. И зеркальщик Яндекса вдруг выбрал главным домен с ошибкой в написании. В результате в выдаче осталась только морда и позиции держались исключительно на ссылках. Правильно указать главное зеркало удалось только через Я.Каталог с упором на то, что деньги уплачены за домен в правильном написании. Позиции по основным запросам были утеряны на несколько месяцев, а количество проиндексированных страниц восстанавливалось больше года, то есть потери в трафике были огромными.
Вот такие пироги. С котятами.
Upd2:
Наиболее правдоподобная версия, которую предложил Сергей Кокшаров — проделки быстробота.
Фундаментальные особенности MatrixNet
После нашей беседы о фундаментальных особенностях MatrixNet я получил несколько острых наводящих вопросов, ответов на которые очевидно не хватало в моём рассказе. Выражаю авторам вопросов свою благодарность:
Постановка проблемы
Итак, постановка вопросов для нашего совместного обсуждения:
Вопрос из личного опыта: почему удаётся вывести в топ по довольно конкурентным запросам сайты с помощью ссылок, которые обычно оптимизаторами считаются мусорными?
Вопрос из наблюдения за выдачей: только ли за счёт поведенческих факторов держатся в топе сайты без заметного невооруженным глазом массива ссылок?
Свежий вопрос, поставленный перед оптимизаторами Яндексом: почему в топе с 23 февраля (не с 12 марта !!!) 2014 года по запросам например, юридической тематики, в топ попали молодые сайты практически без ссылок и без какого-либо заметного трафика до и надолго ли они там?
Или другими словами это баги (ошибки) или фичи (особенности) MatrixNet?
Эти все вопросы можно свести к одному единственному: почему не падает pFound при отказе от использования ссылочных факторов в функции ранжирования или при отсутствии у документов поведенческих факторов?
Через тернии к звёздам
Ответ на этот вопрос очень простой, но подбираюсь я к ответу на него достаточно сложно, буквально через тернии к звёздам и в онлайн рассказе я сделал это крайне плохо. Попытаюсь исправится после дополнительной подготовки. И ещё раз всем спасибо за уточняющие вопросы.
Раскрывать особенности MatrixNet я буду при помощи особенностей алгоритмов определения параметров орбиты небесного тела по короткой дуге наблюдений. Во-первых потому, что мозг человека устроен так, что он пытается объяснить что-то новое при помощи хорошо известного старого. И определение орбит мне известно более-менее хорошо. А, во-вторых, потому, что метод выбора ранжирующей функции с помощью MatrixNet математически подобен методам определения орбит. С точки зрения математики разницы между методами нет никакой и MatrixNet можно обучить определять орбиты. А так же известно, что MatrixNet используется в геологоразведке. Это возможно потому, что все эти задачи математически подобны.
Доказательство подобия методов
Итак, как устроен внутри метод определения орбит? В 1801 году Карл Гаусс вместо строгого аналитического метода вычисления орбиты только что открытой первой малой планеты Цереры предложил свой собственный метод. Он разделил массив наблюдений на 2 части. По трём наблюдениям (положениям небесного тела) он построил семейство орбит, а с помощью остальных наблюдений он отобрал лучшую из орбит, то есть ту орбиту, которая дала минимальную сумму квадратов невязок. Этот метод именуется методом наименьших квадратов (мнк).
Невязка — это разность между наблюдённым значением O некой величины и вычисленным значением этой же величины C.
Но MatrixNet, и вообще многие методы машинного обучения, устроены подобным же образом. Массив «наблюдений», а в случае MatrixNet это оценки релевантности для пар <запрос, документ> разбивают на две части: обучающую и контрольную. Дальше каким-то способом строят семейство функций решений. Сам способ получения этого семейства как в случае Гусса так и в случае инженеров Яндекса является очень сильным know-how, но для нашей беседы этот способ не представляет ни малейшего интереса – это предмет для отдельного разговора.
Заключительный этап машинного обучения – выбор решения, то есть одной функции из семейства, дающего наилучшую аппроксимацию (то есть приближение) на контрольном множестве «наблюдений». В первых версиях MatrixNet абсолютно точно выбирал ту ранжирующую функцию, которая давала минимальную сумму квадратов невязок, то есть использовался мнк. В настоящее время максимизируют pFound, но pFound как и сумма квадратов невязок является функцией от наблюдений.
Фундаментальные особенности методов
Квинтэссенция статьи. Которая вызывает максимум вопросов. Попытаюсь сформулировать максимально аккуратно.
У астронома может сложится обманное впечатление, что он занимается вычислением орбиты. Но на самом деле он занимается аппроксимацией, то есть вульгарной подгонкой вычислений под наблюдения. На вход в метод подаются наблюдения положений небесного тела, и на выходе получаются они же (положения), только уже вычисленные. Орбита определяется в качестве побочного эффекта. И далеко не всегда выбранная орбита, которая лучше всего аппроксимирует наблюдения, является лучшим приближением к реальной орбите небесного тела. Из чего я формулирую
Особенность №1: то, что наблюдаем, то и вычисляем
На вход MatrixNet подаются оценки пар <запрос, документ>. Эти оценки проставляют асессоры. Значит и на выходе MatrixNet мы имеем оценки пар <запрос,документ>. Только уже вычисленные.
Возражение: MatrixNet уже не минимизирует сумму квадратов невязок, а максимизирует pFound.
Ответ: но pFound как и сумма квадратов невязок является функцией от оценок пар <запрос, документ>:
Цитата (РОМИП 2009): Значениями pRel[i] в нашей модели являются оценки релевантности по запросу.
В переводе на русский: если выбранная MatrixNet функция ранжирования хорошо угадывает оценки, которые проставляют асессоры, то pFound будет максимальным. Если же функция ранжирования угадывает оценки плохо, то вперед попадут менее релевантные сайты, а значит pFound не будет максимальным. По определению самого pFound.
Отсюда можно сделать
Практический вывод №1: необходимым (не не достаточным) условием хорошего ранжирования является соответствие документа критериям максимальной асессорской оценки (Rel+ в случае коммерческих запросов)
Если сформулировать в стиле Платона Щукина, то совет будет звучать так: делайте документы (сайты) такими, чтобы асессор (а значит и MatrixNet) мог поставить им лучшую из возможных оценок.
Вторая фундаментальная особенность методов имеет более любопытное практическое применение.
При определении орбит параметры можно разделить на две группы. Одни из них вычисляются хорошо, другие не очень.
Например, наклонение орбиты, определяется очень хорошо. Если ошибка в этом параметре большая, то вычисленные значения положения небесного тела будут чем дальше, тем больше разбегаться от наблюдаемых. Астроном может наблюдать угол наклона орбиты небесного тела относительно орбиты Земли. (Этот угол хорошо видно на первом изображении в статье, хотя из-за взаимного движения Земли и Марса получается знак зорро Z aka попятное оно же ретроградное движение; обсуждаемый угол — верхняя и нижняя планки Z).
А, например, большая полуось орбиты небесного тела вычисляется не очень хорошо. Данный параметр орбиты напрямую связан с расстоянием от Земли до небесного тела (если формулировать более аккуратно, то с расстоянием от Солнца до небесного тела, но зная расстояние от Земли до Солнца мы можем легко перейти от одного расстояния к другому). Но это расстояние на короткой дуге движения наблюдать невозможно. Перехожу к формулировке:
Особенность №2.1: параметры аппроксимирующей функции (орбиты, ранжирования), которые можно явным или косвенным образом наблюдать, имеют максимальную корреляцию (оказывают максимальное влияние) с результатом вычислений (положениями, оценками)
Особенность №2.2: параметры аппроксимирующей функции (орбиты, ранжирования), которые нельзя непосредственно наблюдать, можно варьировать в максимальном диапазоне допустимых значений без оказания существенного влияния на результат
Эти утверждения лучше всего проиллюстрировать на конкретных примерах.
- Асессор может наблюдать ассортимент магазина, поэтому можно утверждать, что магазины с малым ассортиментом не могут получать максимальные оценки (Rel+) от асессоров, а следовательно MatrixNet не может научиться хорошо ранжировать такие магазины.
- Асессор не наблюдает даты создания документов, поэтому MatrixNet может ранжировать одинаково высоко старые и новые документы
- Асессор не наблюдает тИЦ домена, поэтому MatrixNet может ранжировать одинаково высоко документы с как с доменов с большим так и с малым тИЦ
- Асессор наблюдает частоту использования запроса в документе, поэтому документы с малой частотой использования будут оцениваться как малорелевантные (Rel-), но документы со сверхбольшой плотностью могут расцениваться как спамные (Spam)
Возражение: это всё ерунда, потому что машинное обучение как раз и позволяет находить не самые очевидные зависимости между оценками асессоров и параметрами документов.
Ответ: из учебника по машинному обучению: из статистической значимости параметра не следует адекватность модели.
Перевод на русский. Никто не запрещает устанавливать подобные зависимости. Весь вопрос в том, может ли алгоритм сам «отказаться» от этой зависимости, обучаясь ранжировать документы без неё или может ли инженер Яндекса принудительно обнулить эту зависимость. Без ухудшения pFound. Мой ответ: может легко. Потому что если асессор или живой посетитель не может наблюдать данной зависимости, то она и не может быть определяющей.
Joomla, Yandex и 403 Forbidden
Очередной пост из серии хозяйке на заметку. История уже не свежая — октябрь-ноябрьская, пишу, чтобы не забыть, да и не я один наступил на подобные грабли — авось кому и сгодится.
На одном из проектов, живущем без CMS, пришлось установить Joomla — не неё пал выбор владельца. Через некоторое время после установки самой последней версии Джумла сайт стал выпадать из индекса Яндекса.
В панели вебмастера был обнаружен рост числа исключенных документов по следующей причине:
Исключённые страницы — Ошибки на стороне сервера или сайта
HTTP-статус: Доступ к ресурсу запрещён (403)
При этом при проверке через http://webmaster.yandex.ru/server-response.xml я получал сообщение, что у меня на сервере всё хорошо.
На всякий случай отписал Платону такой вопрос:
Здравствуйте.
После перевода статичного сайта на движок Joomla возникла проблема с индексацией в Яндексе.
В логах сервера видно, что яндекс получает 403 сообщение об ошибке при обращении к любому документу сайта, включая robots.txtНо, при этом при проверке доступности страниц при помощи http://webmaster.yandex.ru/server-response.xml я вижу что проблем нет — страница загружается и код ответа 200 ОК.
Не подскажете, в чём может быть проблема?
У меня самого были мысли о каком-нибудь злобном взломе через достаточно уязвимый движок Joomla, и соответственно я ожидал наличия в php документах несанкционированных вставок, или говоря по-иноземному injection. Но очень быстро в логах были обнаружены следующие следы:
178.154.206.251 — — [18/Jun/2013:06:58:30 +0400] «GET /robots.txt HTTP/1.1» 403 280 «-» «Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)»
В общем сразу стало очевидно, что следы взлома следует искать в .htaccess, так как текстовый robots.txt не может сам себя запретить.
Но .htaccess оказался штатным джумловским. И единственное подозрительное место в нём было таким:
## Begin — Rewrite rules to block out some common exploits.
# If you experience problems on your site block out the operations listed below
# This attempts to block the most common type of exploit `attempts` to Joomla!
#
# Block out any script trying to base64_encode data within the URL.
RewriteCond %{QUERY_STRING} base64_encode[^(]*\([^)]*\) [OR]
# Block out any script that includes a <script> tag in URL.
RewriteCond %{QUERY_STRING} (< |%3C)([^s]*s)+cript.*(>|%3E) [NC,OR]
# Block out any script trying to set a PHP GLOBALS variable via URL.
RewriteCond %{QUERY_STRING} GLOBALS(=|\[|\%[0-9A-Z]{0,2}) [OR]
# Block out any script trying to modify a _REQUEST variable via URL.
RewriteCond %{QUERY_STRING} _REQUEST(=|\[|\%[0-9A-Z]{0,2})
# Return 403 Forbidden header and show the content of the root homepage
RewriteRule .* index.php [F]
#
## End — Rewrite rules to block out some common exploits.
По всему выходит, что робот Яндекса каким-то непостижимым образом трактовался как эксплоит. Тем временем от Платона подоспел такой вот ответ:
Здравствуйте, Артем!
На запрос страниц сайта Ваш сервер возвращает роботу HTTP код 403, в связи с этим они не могут быть проиндексированы и временно не участвуют в поиске.
По вопросу возникновения и устранения этой проблемы, пожалуйста, обратитесь к администратору Вашего сайта или сервера.
Если ошибка больше возникать не будет, то страницы по мере обхода сайта роботом будут проиндексированы и с последующими обновлениями поисковых баз смогут появиться в поиске.Форма проверки ответа в панели Яндекс.Вебмастер может не выявить проблему, так как лишь имитирует работу индексирующего робота и имеет IP-адрес, отличающийся от IP-адреса робота.
—
С уважением, Платон Щукин
Служба поддержки Яндекса
http://help.yandex.ru/
В переводе на русский ответ означает: сервис в панели Яндекс.Вебмастер у нас есть, но он нерабочий. И коль назвался администратором веб-сервера, то сам и выкручивайся. Что хоть и обидно, но справедливо 🙂
А выкрутился я так. Для начала закомментировал в .htaccess весь блок борьбы с эксплоитами. Для тех кто не знаком с синтаксисом .htaccess — строка комментируется при помощи знака # в начале строки. Что в общем-то помогло — документы стали возвращаться в индекс.
Но после я и вовсе вместо Джумлы поставил Вордпресс. Так, на всякий случай 🙂
Аминь.
