Давайте жить дружно: Спам-фильтры и принципы их работы

В канонический список смертных грехов email маркетинга пора добавить понятие “чрезмерная навязчивость”. Конечно же я имею в виду спам рассылки — незваные гости в почтовом ящике, намерения которых бывают не столь уж и безобидны. Методы спамеров постоянно совершенствуются, поэтому мы решили обновить эту статью новой информацией, которая будет полезна не только честным маркетологам, но и простым юзерам. Дабы защитить себя от настойчивых спамеров и предотвратить попадание ваших email кампаний в спам, необходимо знать все тонкости процесса фильтрации таких сообщений. Предлагаю вам детальнее ознакомится с работой спам фильтра — защитников честных емейл маркетологов и простых пользователей электронной почты.

Что такое spam?

Спам — это ненужные адресату электронные послания, рекламные письма и т. п., на получение которых он не давал согласия. Для обхода подобных писем провайдеры часто используют спам-фильтры и различные методы анти спам рекламы и т.д. Давайте разберемся что такое спам фильтр!

Что такое спам фильтры?

Хотя все мы прекрасно знаем что такое спам, но не каждый представляет себе суть понятия спам-фильтры. Возможно, вы не в восторге от их работы, ведь именно из-за фильтрации ваши тщательно подготовленные рассылки попадают в спам. Но не стоит торопиться с выводами, ведь в то же время, они защищают человечество от сотен тысяч атак “подозрительных” писем, которые могут нанести вред вашему благополучию. Равно как и в жизни, дабы “подружиться” с этими ребятами, нужно узнать их поближе.И если вы часто задаетесь вопросом “Письма попадают в спам! Что же делать?”, то пора разобраться с этой головной болью раз и навсегда.

Спам-фильтр — это программное обеспечение, которое в автоматическом режиме позволяет фильтровать нормальную переписку от спам-рассылок. Предназначены такие программы для использования конечными пользователями или серверами.

От каких угроз нас защищает фильтрация спама? Начнем с простого, по данным далекого 2011 года примерно 30 минут в месяц человек тратит на чистку спама, сегодня же это время увеличилось в разы.Так как письма фильтруются благодаря так называемым “спам-словам”, то у каждого провайдера существует свой топ список таких слов.

Спам- слова — это слова, которые следует избегать при рассылке писем, так как ваше послание попадет в корзину спама, а репутация будет утеряна практически навсегда.

Вы можете прочесть статью с полным списком спам слов на нашем блогe, на которые негативно реагируют все почтовики, как Яндекс спам фильтр, Gmail спам фильтр, так же правила фильтрации mail ru не позволяют использовать “плохих” слов.

Каждый из перечисленных почтовых клиентов отслеживает полный список слов для спам фильтра или такое частое явление, как спам картинки (изображения неприемлемого характера/попадающие под цензуру.

Несколько фактов о спаме:

• Спам-атака ведется по всем фронтам – соцсети, мессенджеры, доски объявлений, смс и конечно же email рассылки.
• В разных странах от 50% до 80% почтового трафика составляет спам.
• Из-за спама российский бизнес лишается $500 млн. в год, американский – $22 млрд., европейский – 51 млрд. евро.
• Посредством email рассылок распространены случаи  кражи мошенниками личных данных, блокировки компьютеров и последующего за этим вымогательства.

Примеры спам рассылок

В зависимости от канала распространения спама он делится на такие виды:

1. В СМС рассылках
2. В мессенджерах
3. В соцсетях
4. В email рассылках

Подробнее о том как различить спам в email рассылках читайте в статье. Сегодня нас интересует наиболее распространенный вид — спам в email рассылках. Давайте разберем основные виды спама:

• Несанкционированные коммерческие рассылки рекламы легальных и нелегальных товаров/услуг.
• Антиреклама конкурентов, как коммерческого, так политического характера.
• Фишинг или мошеннические предложения, связанные с участием в денежных операциях, которые “принесут вам миллионы”.
• Вирусный спам, способен повредить работу вашего компьютера или похитить важную информацию (личные данные, пароли от банковских карт, сервисов и т.д.).

Как работает спам фильтр

Существует два главных принципа распознавания деятельности спамеров:

1. автоматический — параметры которого полностью подвластны программе,
2. неавтоматический — параметры которого задаются человеком и требуют постоянного обновления (чаще всего основывается на определенном списке “стоп-слов”).

Автоматическая фильтрация рассылок более распространена, так как благодаря системе обучения, она отсеивает около 97% спама. Фильтры такого типа основываются на разных методах работы, основные из которых:

• Проверка содержания email-сообщения На основании анализа делается вывод – помещать письмо в спам или нет. Для этого используется статистический анализ содержания. Для работы этих методов требуется «обучение» фильтров, т.е. используются рассортированные вручную письма для выявления статистических особенностей нормальных писем и спама. Метод очень хорошо работает при сортировке сообщений, в которых рекламная информация представлена в виде простого текста или HTML. После обучения на достаточно большой выборке, удаётся отсечь до 95—97 % спама. Однако есть методы для обхода таких фильтров. Для этого в письмо помещается произвольный текст и реклама в виде присоединенного к письму изображения. Наличие случайного текста обманывает фильтр, и не даёт возможности его обучить. Для обучения фильтров многие почтовые сервисы используют кнопку «пожаловаться на спам». Сведения о том, какие сообщения пользователи считают спамом, используются как для фильтрации этих сообщений, так и для обучения фильтров в дальнейшем. Подобную систему использует Gmail.
• Анализ отправителя письма В интернете существует множество черных списков IP-адресов компьютеров, о которых известно, что с них ведется рассылка спама. Для получения информации, находится ли IP в черном списке, делается обращение через службу DNS. Поэтому подобные списки называются DNSBL (DNS Black List). Данный метод в данный момент не очень эффективен, так как спамеры находят новые сервера для своих целей быстрее, чем их успевают заносить в черные списки. Кроме того, несколько компьютеров, отправляющих спам, могут скомпрометировать весь почтовый домен или подсеть, и тысячи законопослушных пользователей на неопределённое время будут лишены возможности отправлять почту серверам, попавшими такой чёрный список. Также нередко безответственное и неправильное использование черных списков администраторами ресурсов, приводящее к блокированию большого числа ни в чем не повинных пользователей.
• Байесовская система фильтрации спама Основана на процессе “обучения” программ путем анализа уже отсортированных писем. После данного “обучения” по выявленным параметрам программа будет сортировать письма на “хорошие” и “плохие”. НО, так как спамеры тоже не сидят сложа руки, их способы совершенствуются. Они научились обходить эту защиту с помощью замены текста тела письма на картинки, которые система не может адекватно проанализировать. Выход – постепенно “дообучать” программы. Именно таким способом проходит совершенствование относительно более новых способов фильтрации электронной корреспонденции:
• Проверка темы email рассылок Программы, которые используют спамеры для рассылки спама также далеко не идеальны. Например, они не умеют оформлять заголовки и письма не соответствуют установленным стандартам. Этот минус и стал еще одним ориентиром для фильтрации почты программами серверов.
• Анализ вложений электронных писем Чаще всего такими вложениями являются картинки. Эта методика анализа рассылок на спам является одной из наиболее успешных и позволяет практически полностью уберечь человека от нежелательных писем.
• Определение признаков массовости Здесь все понятно, в огромном потоке email-сообщений система определяет одинаковые или незначительно отличающиеся сообщения. Данная методика используется в бизнесе в случаях больших оборотов электронной коммерции.
• Проверка по черным спискам Метод старый и эффективный. Суть его состоит в том, что система создает список “плохих парней” и блокирует их домен, а иногда и всю сеть. Чаще всего в черный список заносят:

• IP компьютеров, с которых ведется подозрительная рассылка;
• адреса, которые попали в черные списки, составленные другими системами;
• списки dial-up;
• открытые релеи.
• Серые списки Метод серых списков основан на анализе «поведения» программного обеспечения, предназначенного для рассылки спам писем, так поведение обычных почтовых серверов отличается от спам серверов. Простейший вариант работы ПО, основанный на серых списках, работает примерно следующим образом: все ранее неизвестные SMTP-сервера считаются «серыми». Почта с таких серверов не принимается, но и не отклоняется окончательно – им возвращается код временной ошибки. В случае, если сервер-отправитель повторяет свою попытку через определенный период, то сервер вносится в белый списо, если не повторяет – в черный. Поэтому нормальные письма не теряются, а только задерживается их доставка.  Этот метод в настоящее время позволяет отсеять до 90 % спама практически без риска потерять важные письма. Однако его тоже нельзя назвать безупречным.

Как обойти критерии работы спам фильтров

Это базовые рекомендации не для спамеров, а для всех кто занимается легальным Email маркетингом, так как никто не застрахован от попадания в спам список. Человеческий фактор:

• Делайте рассылки равномерно, например, еженедельно или ежемесячно. Тогда вероятность, что читатели отнесут письмо к спаму меньше;
• Сохраняйте тематическую ориентацию рассылки, не надо превращать рассылку в сплошную рекламную площадку;
• Будьте аккуратными и вежливыми, старайтесь избегать грамматических ошибок;
• Обязательно оставляйте свои координаты. Читатели должны иметь возможность написать Вам письмо в случае недовольства, или наоборот, чтобы поблагодарить Вас.
• Всегда оставляйте видимую ссылку на отписку;
• Ну и не делайте рассылки людям, которые не подписались на неё:)

О том как не попасть в спам на mail.ru читайте здесь. Машинный фактор:

• Используйте правильные слова. Лучше написать так: Subscribe / Unsubscribe, вместо Remove. Для автоматических систем это важно.
• Обратите внимание на тему письма (Subject). Некоторые заголовки просто кричат о том, что это спамерские письма, например, те в которых содержится: «Free,» «Respond Now!» «Money,» и т.п.
• Старайтесь не отправлять прикрепленных файлов. Это вызовет лишние подозрения как у фильтров, так и у Ваших читателей.
• Используйте только авторитетные сервисы и программы рассылки писем в случае рассылки не со собственного домена, а использовании специальной службы.

Мораль сей басни такова

Все мы ошибаемся, и программы не исключение, но они учатся и совершенствуют свои умения. Если рассылка спама – это зло, то спам-фильтры – современные рыцари мира интернет-коммуникации, которые ежедневно защищают ничего не подозревающих обывателей от легионов темных спамеров. Ну вот собственно и всё! Надеюсь я не утомила размером своей статьи:)

Часто задаваемые вопросы:

1. Что это спам?

Спам — это ненужные адресату электронные послания, рекламные письма и т. п., на получение которых он не давал согласия.

2. Почему мои письма уходят в спам?

Причин может быть несколько, одной из самых главных является невозможность отписаться от вашей рассылки.

Если вашему подписчику неинтересна информация, он будет вынужден отправить письмо в спам, что значительно снизит рейтинг вашего IP и домена. Не менее значительной причиной является использование чрезмерного количества спам-слов, об этом явлении вы можете почитать на нашем блоге.

3. Как обойти черный список в whatsapp?

На блокировку указывают два признака: вы не видите изображение профиля контакта, который внес вас в черный список, и не можете отправлять ему сообщения.

Сначала откройте настройки WhatsApp и выберите раздел “Аккаунт”, затем пункт “Изменить номер”. Введите новый номер мобильного телефона, затем пройдите верификацию. После повторной регистрации Вы сможете заново отправлять информацию контактам, к которым попали в черный список.

4. Мои письма попадают в спам, что делать?

• Первое, что Вам нужно сделать, это проверить настройки SPF и DKIM;
• Следующим шагом стоит почистить свою базу контактов (удалить существующие и удаленные адреса);
• Затем проанализировать соответствие контента в отправляемой рассылке, возможно, что он не соответствует правилам провайдера;

5. Как обойти спам фильтры?

• Как минимум, не покупать чужую базу адресов,такая аудитория не давала согласия на рассылку и явно не будет рада получать ваши письма.
• Не использовать спам-слова, для каждого провайдера существует свой список спам-слов.
• Не добавляйте в письмо видеоролики ,флэшролики и JavaScript.
• Избегайте цветастого и пестрого текста, это отличительная черта спамеров.
• Забудьте о содержании в вашем контенте такой составляющей, как картинки спам (изображения сексуального характера, ссылки на изображениях и т.д.)