Как мы модерируем объявления
Каждый сервис, чьи пользователи могут создавать собственный контент (UGC — User-generated content), вынужден не только решать бизнес-задачи, но и наводить порядок в UGC. Плохая или некачественная модерация контента в итоге может уменьшить привлекательность сервиса для пользователей, вплоть до прекращения его работы.
Сегодня мы вам расскажем про синергию между Юлой и Одноклассниками, которая помогает нам эффективно модерировать объявления в Юле.
Синергия вообще штука очень полезная, а в современном мире, когда технологии и тренды меняются очень быстро, она может превратиться в палочку-выручалочку. Зачем тратить дефицитные ресурсы и время на изобретение того, что до тебя уже изобрели и довели до ума?
Так же подумали и мы, когда перед нами во весь рост встала задача модерации пользовательского контента — картинок, текста и ссылок. Наши пользователи каждый день загружают в Юлу миллионы единиц контента, и без автоматической обработки промодерировать все эти данные вручную вообще не реально.
Поэтому мы воспользовались уже готовой платформой модерации, которую к тому времени наши коллеги из Одноклассников допилили до состояния «почти совершенство».
Почему Одноклассники?
Ежедневно в социальную сеть приходят десятки миллионов пользователей, которые публикуют миллиарды единиц контента: от фотографий до видео и текстов. Платформа модерации Одноклассников помогает проверять очень большие объёмы данных и противодействовать спамерам и ботам.
Команда модерации ОК накопила очень большой опыт, поскольку совершенствует свой инструмент уже 12 лет. Важно, что они не только могли поделиться своими готовыми решениями, но и настроить архитектуру своей платформы под наши специфические задачи.
Дальше для краткости будем называть платформу модерации ОК просто «платформа».
Как всё устроено
Между Юлой и Одноклассниками обмен данными налажен через Apache Kafka.
Почему мы выбрали этот инструмент:
На каждое созданное или измененное пользователем объявление в Юле формируется JSON с данными, который кладется в Kafka для последующей модерации. Из Kafka объявления загружаются в платформу, где по ним выносятся решения автоматически или вручную. Плохие объявления блокируются с указанием причины, а те, в которых платформа не нашла нарушений, помечаются как «хорошие». Затем все решения отправляются обратно в Юлу и применяются в сервисе.
В итоге, для Юлы всё сводится к простым действиям: отправить объявление в платформу Одноклассников и обратно получить резолюцию «ок», или почему не «ок».
Автоматическая обработка
Что происходит с объявлением после того, как оно попадает в платформу? Каждое объявление разбивается на несколько сущностей:
Затем по каждой сущности платформа проводит кластеризацию, чтобы найти дубликаты. Причём текст и фотографии кластеризуются по разным схемам.
Тексты перед кластеризацией нормализуются, чтобы выкинуть спецсимволы, измененные буквы и прочий мусор. Полученные данные разбиваются на N-граммы, каждая из которых хэшируется. В итоге получается множество уникальных хэшей. Схожесть между текстами считается по мере Жаккара между двумя получившимися множествами. Если схожесть больше пороговой, то тексты склеиваются в один кластер. Для ускорения поиска похожих кластеров используется MinHash и Locality-sensitive hashing.
Для фотографий придуманы различные варианты склейки изображений, от сравнения pHash картинок до поиска дубликатов с помощью нейронной сети.
Последний способ самый «суровый». Для обучения модели подбирались такие тройки изображений (N, A, P), в которых N не похож на А, а P — похож на А (является полудубликатом). Затем нейросеть училась делать так, чтобы A и P были максимально близки, а A и N — максимально далеки. Так получается меньше ложных срабатываний по сравнению с тем, чтобы просто взять эмбеддинги от предобученной сети.
Когда нейросеть получает на вход картинки, она для каждой из них генерирует N(128)-мерный вектор и делается запрос на оценку близости изображения. Далее рассчитывается порог, при котором близкие изображения считаются дубликатами.
Модель умеет мастерски находить спамеров, которые специально фотографируют один и тот же товар с разных ракурсов, чтобы обойти сравнение по pHash.
Пример спамерских фото, склеенных нейронной сетью как дубликаты.
На конечном этапе дубликаты объявлений ищутся одновременно и по тексту, и по изображению.
Если в кластере склеиваются два и более объявления, система запускает автоматическую блокировку, которая по определённым алгоритмам выбирает, какие дубликаты удалить, а какие оставить. Например, если у двух пользователей в объявлении одинаковые фотографии, то система заблокирует более свежее объявление.
После создания все кластеры проходят через ряд автоматических фильтров. Каждый фильтр выставляет кластеру количество очков (score): с какой вероятностью тот содержит угрозу, которую выявляет этот фильтр.
Например, система анализирует описание в объявлении и выбирает для него потенциальные категории. Затем берёт ту, у которой максимальная вероятность, и сравнивает с категорией, которую указал автор объявления. Если они не совпадают, объявление блокируется за неверную категорию. А поскольку мы добрые и честные, то прямо говорим пользователю, какую категорию ему нужно выбрать, чтобы объявление прошло модерацию.
Уведомление о блокировке за неправильную категорию.
В нашей платформе машинное обучение чувствует себя как дома. К примеру, с его помощью мы ищем в названиях и описаниях запрещенные в РФ товары. А модели нейронных сетей придирчиво «разглядывают» изображения, нет ли на них URL-адресов, спамерских текстов, телефонов и всё той же «запрещёнки».
Для случаев, когда запрещенный товар пытаются продать, замаскировав под что-то легальное, и при этом нет никакого текста ни в названии, ни в описании, мы используем тегирование изображений. Для каждого изображения могут быть проставлены до 11 тысяч различных тегов, описывающих, что находится на изображении.
Кальян пытаются продать, замаскировав его под самовар.
Параллельно со сложными фильтрами работают и простые, решающие очевидные задачи, связанные с текстом:
Если ни один из детекторов не сработал, то в Юлу отправляется ответ, что с объявлением, «скорее всего», полный порядок. Мы этот ответ применяем у себя, и пользователям, которые подписались на продавца, приходит уведомление о появлении нового товара.
Уведомление о том, что у продавца появился новый товар.
В итоге, каждое объявление «обрастает» метаданными, часть из которых генерируется при создании объявления (IP-адрес автора, user-agent, платформа, геолокация и т.д.), а остальное — это score, выданные каждым фильтром.
Очереди объявлений
Когда объявление попадает в платформу, система кладёт его в одну из очередей. Каждая очередь формируется с помощью математической формулы, которая комбинирует метаданные объявления таким образом, чтобы обнаружить какой-нибудь плохой паттерн.
Например, можно создать очередь объявлений в категории «Сотовые телефоны» от пользователей Юлы якобы из Санкт-Петербурга, но при этом их IP-адреса из Москвы или других городов.
Пример объявлений, размещенных одним пользователем в разных городах.
Или можно формировать очереди на основе баллов, которые нейросеть присваивает объявлениям, расставляя их по убыванию.
Каждая очередь, согласно своей формуле, присваивает итоговый score объявлению. Дальше можно действовать по-разному:
В результате формируется очередь на основе score модели, и те из объявлений, которые получили от 95 до 100, автоматически блокируются как «Запрещенный товар». Объявления с количеством баллов ниже 95 отправляются на ручную обработку модераторам.
Шоколадная Beretta с патронами. Только для ручной модерации! 🙂
Ручная модерация
На начало 2019 года около 94 % всех объявлений в Юле модерируются автоматически.
Если платформа не может определиться с какими-то объявлениями, то отправляет их на ручную модерацию. Одноклассники разработали собственный инструмент: в заданиях для модераторов сразу отображается вся необходимая информация для принятия быстрого решения — объявление годное или стоит его заблокировать с указанием причины.
А чтобы при ручной модерации не страдало качество сервиса, работа людей постоянно контролируется. Например, в потоке заданий модератору показываются «ловушки» — объявления, по которым уже есть готовые решения. Если решение модератора не совпадает с готовым, модератору засчитывают ошибку.
На проверку одного объявления модератор в среднем тратит 10 секунд. При этом количество ошибок составляет не более 0,5 % от всех проверенных объявлений.
Народная модерация
Коллеги из Одноклассников пошли ещё дальше, воспользовались «помощью зала»: написали для соцсети приложение-игру, в котором можно быстро размечать большое количество данных, выделяя какой-то плохой признак, — Модератор Одноклассников (https://ok.ru/app/moderator). Хороший способ воспользоваться помощью пользователей ОК, которые стараются сделать контент приятнее.
Игра, в которой пользователи отмечают фотографии, на которых есть номер телефона.
Любую очередь объявлений в платформе можно перенаправить в игру Модератор Одноклассников. Всё, что размечают пользователи игры, затем поступает внутренним модераторам на проверку. Такая схема позволяет блокировать объявления, по которым еще не созданы фильтры, и попутно создавать обучающие выборки.
Хранение результатов модерации
Мы сохраняем все принятые при модерации решения, чтобы потом не обрабатывать повторно те объявления, по которым уже выносили какое-то решение.
Ежедневно по объявлениям создаются миллионы кластеров. Со временем каждый кластер получает отметку «хороший» или «плохой». Каждое новое объявление или его редакция, попадая в кластер с отметкой, автоматически получает резолюцию самого кластера. Таких автоматических резолюций в сутки набегает около 20 тысяч.
Если в кластер не поступают новые объявления, он удаляется из памяти, а его хэш и решение записываются в Apache Cassandra.
Когда платформа получает новое объявление, то сначала пытается найти похожий кластер среди уже созданных и взять решение из него. Если такого кластера нет, платформа идёт в Cassandra и ищет там. Нашла? Отлично, применяет решение к кластеру и отправляет в Юлу. Таких «повторных» решений ежедневно набирается в среднем 70 тысяч — 8 % от общего количества.
Подводя итог
Мы пользуемся платформой модерации Одноклассников два с половиной года. Результаты нам нравятся:
Кто такие модераторы: всё о самых недооцененных сотрудниках в работе с крупными брендами
Как думаете, кто вам отвечает от аккаунта любимого магазина одежды, дает консультацию по скидкам на авиабилеты и так рьяно отстаивает честь бренда от агентов влияния в комментах? Если речь идет о крупном бизнесе, то это не владельцы, не маркетологи и даже не продажники. Имя им — модераторы.
Директор подразделения WGG Enterprise Григорий Бушмиц о том, кто такие модераторы, как это сложно и почему они недооценены рынком.
Модерация в социальных сетях — это оперативное реагирование на запросы пользователей как внутри официальных сообществ (в комментариях, личных сообщениях, заметках, фотоальбомах, видеозаписях), так и на внешних площадках (упоминания компании вне ее официальных страниц по ключевым словам или хештегам). Ключевое слово в определении — оперативное. Сегодня никому не нужны ответы спустя сутки. Мир стал настолько быстрым, что скорость реакции идет на секунды.
Первое. Многие агентства не придают модерации должного значения. Они воспринимают ее как довесок к основному контракту и концентрируются на других показателях (контент, продвижение). Некоторые даже деньги за нее не берут! Но, применительно к крупным проектам, это фатальный подход. Любой подписанный на аккаунт топ-менеджер заказчика всегда обратит внимание на негативный или неотработанный коммент, нежели на хороший текст или сочную фотку.
И рано или поздно он задаст вопрос: «А за что мы платим подрядчику, если он даже комментарии не отрабатывает как следует? Красивые картинки я и сам могу делать». Ну, а когда случится кризисная ситуация (а она случится), директор по пиару спросит: «Что пишут в соцсетях. Пришлите срочно сводку упоминаний и аналитику реакций!».
И горе вам, если вашему модератору на это потребуется больше 15-20 минут. А если нет ежедневного навыка, глубокого погружения, аналитического ума, информативного копирайтинга, если, в конце концов, нет отдельного модератора, в рядах подрядчика начинается суета, перерастающая в панику.
Второе. Модерация вешается на кого угодно, кроме модератора. Чаще всего на проджекта. И это ошибка. Любой менеджер из-за многозадачности всегда поставит модерацию на второй план. И лекции про важность модерации тут не помогут, это, если хотите, подсознательная реакция.
Менеджеры, даже сами того не желая, придают бОльшее значение визуалу и текстам, а потом уже общению с аудиторией. И это нормально, так как аудитория сначала получает контент, а затем реагирует. А сммщик в первую очередь отчитывается за красивые постики. Отсюда и следует, что необходим отдельный человек. Со своими KPI и зонами ответственности.
Третье. Модерация в будни с 10:00 до 19:00. Пффф. Все самое плохое всегда случается в пятницу вечером — ЧП, НС, аварии, заказухи, адские обзоры от блогеров и так далее. События и пользователи не подстраиваются под графики. Инфоповод работает 24/7, а не 5/2. Соответственно, правильный подход — когда твоя модерация охватывает бОльшую часть суток вместе с выходными и праздниками. Это возвращает нас к вопросу о выделении ресурсов на модерацию. Например, в WGG мы можем охватить интервал с 06:00 до 22:00, включая выходные. Модераторы работают посменно, причем абсолютно по-разному: и 2/2, и 4/3, и даже 7 неполных дней. Было бы желание. И деньги.
Нужно перейти 24/7? Нанимаем модераторов из городов с другим часовом поясом. Красноярский край, Забайкалье, Сахалин — есть где разгуляться!
Вот вам реальные будни из жизни модератора. У нас есть клиент — авиакомпания. И активность в соцсетях чаще всего связана с реальными проблемами, или запросами пассажиров: «почему задержали рейс?», «потерялся багаж, что делать?», «можно ли пронести на борт лыжи?», «как упаковать кусок свинины?». Если в компании нет модераторов, то разбор подобных запросов вешается на колл-центр (или просто игнорируется, что печально). А дополнительная нагрузка колл-центра стоит дорого. В сотни раз дороже, чем работа нескольких человек, отвечающих за оперативное реагирование в интернете.
С аккаунтами, которые вы ведете, все просто, — проверяйте раз в час комменты, личку и реагируйте. Правда, у нас в агентстве уже давно эту работу выполняет Телеграм-бот, который присылает модераторам пуши о новых комментах и сообщениях. С мониторингом внешних площадок сложнее. Модераторы ежедневно просматривают соцсети либо вручную по хештегам и ключевым словам (благо, почти все соцсети имеют неплохие встроенные поисковики) и списку сообществ, либо через автоматизированные сервисы. Правда, все подобные программы выдают обычно не более 60% существующих упоминаний, так что без ручного поиска не обойтись. И это, кстати, еще один миф, что для мониторинга достаточно какой-то программы. Нет ничего эффективнее старого доброго ручного поиска. Иначе вы будете давать искаженную и неполную картину клиенту.
В процессе мониторинга модераторы заносят рисковые и негативные посты в свои таблички, анализируют информацию и делают сводки для планового реагирования.
● по количеству/качеству комментариев в месяц;
● по скорости реагирования от 15 мин до 2 часов;
● по реакции на запрос клиента в чатах (например, в течение 5 минут модератор обязан ответить в WhatsApp или Telegram).
Мы в агентстве придерживаемся политики взращивания специалистов с возможностью карьерного роста. Примерно раз в квартал запускаем бесплатные стажировки. За неделю оффлайн-интенсива кандидаты получают реальные задачи, которые мы разбираем и комментируем. Далее для них проводятся тестирования, за которыми следуют личные собеседования со стратегами проектов. В команду попадают 1-3 человека.
И кто после этого скажет, что модератор должен получать меньше всех в команде или набираться по остаточному принципу (из тех, кто не прошел в проджекты, например)? Да при работе с негативом и антикризисным реагированием модератор — главный человек в команде! От его способностей частенько зависят миллионные контракты.
Модератор может стать проджект-менеджером, а затем стратегом. А может и остаться модератором, никто не запрещает. Наоборот, опытный модератор — на вес золота. А проджект с опытом в модерации, как правило, в разы сильнее коллег, так как у него уже отработанный скилл общения с аудиторией и хорошо развито аналитическое мышление и умение работать с большими объемами информации.
1. Не отвечайте шаблонами, а отрабатывайте персонализированное общение.
2. Пользователям соцсетей приятно понимать, что с ними говорит реальный человек.
3. Концентрируйтесь и помните, модерация — это системная работа. От отчетов не убежите.
4. Будьте готовы к возможным переработкам. Добросовестный работодатель обязательно это отметит.
Модерация — это школа жизни для SMMщика, после которой вам будет намного легче подниматься по карьерной лестнице. Удачи!
Профессия модератор
Модератор – это относительно простая, но ответственная работа в интернете. Она подойдет внимательным и уравновешенным людям, которые любят общение. Таких сотрудников нанимают владельцы сайтов, досок объявлений и различных сервисов, социальные сети. Например, вакансии периодически открываются во ВКонтакте, Одноклассниках, Яндексе. Где и как их искать, мы подробно расскажем.
Содержание статьи:
Кто такой модератор и чем он занимается?
Модераторы – это люди, которые должны поддерживать порядок в обсуждениях, следить за соблюдением правил на сайтах и проверять информацию, которую выкладывают пользователи. Они нужны для того, чтобы людям было комфортно и приятно общаться, не было спама и ссылок на подозрительные ресурсы, оскорблений и флуда (разговоры не по теме).
Иногда модерацией занимаются на добровольных началах. Это означает, что модератор в данном случае является таким же пользователем, но с особыми правами. Например, он может скрывать или удалять сообщения других участников. Но чаще модераторам платят деньги, и эта работа приносит им доход.
В зависимости от типа ресурса обязанности сотрудников могут отличаться. Рассмотрим на примере:
Здесь есть два направления работы. Первое – контролировать обсуждения: удалять комментарии, которые нарушают правила сайта, предупреждать пользователей о нарушениях. Второе – проверять информацию, которую выкладывают пользователи (посты, объявления, информацию о своей компании в каталоге).
Следит за порядком: чтобы участники не переходили на личности, не отходили далеко от темы, не дублировали сообщения и открывали их в подходящих разделах.
Следит за тем, чтобы в группе не было спама, оскорбительных комментариев, обсуждений не по теме.
Мы разобрались, что значит модератор и чем он занимается. Иногда таких специалистов называют администраторами, но это неверно. Ниже мы объясним, в чем заключается между этими профессиями.
В чем между модератором и администратором?
Администратор обычно имеет больше прав, и его обязанности шире – иначе говоря, он «главнее» модератора. Конкретные права и обязанности зависят от проекта. Рассмотрим, чем отличается модератор от администратора и что должен делать каждый из них, на примере сообществ Вконтакте.
Плюсы и минусы профессии
Сколько платят модераторам?
При полной загрузке (8 часов в день) можно получать около 15-20 тыс. рублей, в некоторых компаниях – чуть больше. Если вы планируете трудиться неполный день, то уровень дохода зависит от отработанных часов и выполненных задач. Обычно оплата носит сдельный характер.
В социальных сетях модератор может получать 5-6 тыс. рублей за проверку одной группы. Обычно в обязанности входит не только наведение порядка, но и добавление контента в ленту. Если вы освоите дополнительные навыки, то можете стать SMM-специалистом. Эта более выгодная – она позволяет зарабатывать от 45 до 120 тыс. рублей в месяц.
Часто модераторы становятся контент-менеджерами. Это тоже относительно простая работа, которую можно освоить самостоятельно. Но платят за нее больше – в среднем от 30 тыс. руб. в месяц.
Что нужно знать и уметь?
Требуется высокоскоростной доступ в интернет.
Как стать модератором и заработать на этом?
Специальной подготовки не требуется. Достаточно получить представление, что такое работа модератора. Чтобы устроиться на работу, необходимо найти подходящие вакансии, отправить на них отклик и пройти собеседование. Например, так можно попасть в Яндекс. Свои вакансии они размещают на специальном сайте.
Аналогичный проект имеется у Майл.ру. Там можно посмотреть открытые вакансии, например, в социальной сети Одноклассники. Во ВКонтакте модераторов набирают через сайт https://vk.com/jobs. Если они требуются, то на этой странице появляется соответствующее объявление.
Технически модераторами становятся очень просто. Администратор присваивает вам особый статус, и вам становятся доступны функции, отсутствующие у других пользователей.
Где искать работу?
Искать работу можно на биржах фриланса, в группах Вконтакте и Facebook по поиску работы, на сайтах вакансий.
Где найти модератора?
Можно опубликовать объявление о поиске сотрудников на своей площадке или сайте. Возможно, что кто-то из пользователей заинтересуется вакансией.
Зачем нужен модератор и что он должен делать
На любом ресурсе, где люди общаются друг с другом, предусмотрены специальные правила. Только кто следит за их соблюдением? Таких людей много – в их число входят владельцы ресурса, администраторы, а также модераторы.
Вот о последних и пойдет речь в этой статье – я расскажу, что это за люди и какие задачи они выполняют.
Кто такой модератор
Модератор следит за тем, чтобы люди на сайтах, форумах и в чатах выполняли установленные администрацией правила. Иногда он разрешает конфликтные ситуации и выполняет часть управленческих функций. Модератор стоит где-то между админом и обычным пользователем.
При найме модератора обычно ориентируются на наличие у человека следующих качеств:
Не помешают и базовые знания в программировании.
Зачем он нужен?
Такой человек выполняет несколько задач, а их количество и тип зависят от того, какие ограничения вводит владелец или администратор ресурса. И вот то, что обычно должен делать модератор:
Модератор должен знать и соблюдать правила сайта или форума, подавая таким образом пример другим участникам. В некоторых случаях он может отправлять рассылки, договариваться о рекламе, добавлять новые темы или записи, тем самым стимулируя общение и увеличивая популярность сайта или форума.
Какие бывают модераторы?
Обычный модератор выполняет некоторые из перечисленных обязанностей (или все). Но бывает и главный модератор – он находится где-то между обычным проверяющим и администратором. Чаще всего выполняет часть функций администратора, следит за работой коллег, добавляет пользователей, а иногда и исправляет ошибки технического характера.
Виды модерации
Процесс модерации контента тоже подразделяется на несколько видов, все зависит цели. Это деление условно – специалист может иметь более широкий круг полномочий, все зависит от решения администрации.
В каких проектах нужен модератор
Модераторов назначают для ведения различных проектов в интернете. Ниже привожу наиболее часто встречаемые и яркие примеры подобных площадок.
Резюмируя, можно сказать, что модераторы – это универсальные люди, которые следят за чистотой сайта, форума или группы в соцсети.
