http://habrahabr.ru/post/223149/

Если у вас или у ваших клиентов почтовый ящик на mail.ru, будьте готовы к неприятностям.

Немного истории

Исторически сложилось так что почта mail.ru особо не пользовалась популярностью среди ИТ-шников и технарей, как и сама компания в целом. Но в последнее время компания изменилась в лучшую сторону, ребята собрались и сделали довольно неплохой почтовый сервис, перешли на HTTPS, даже успешно перевели почту на UTF-8 (в 2011 году!). Недавно вот еще «Облако» сделали бесплатное на 1ТБ, и даже изменили к нему лицензионное соглашение. Ну и много всего у них происходит хорошего. Но

«не будем говорить о плохом, а лучше сделаем»

© цитаты великих людей :)

Вернемся в настоящее

Все администраторы у кого есть «сайт / блог / форум» наслышаны о проблемах с доставками писем в ящики для пользователей mail.ru, я их не оправдываю, ведь в большинстве случаев у них плохо настроен MTA, нет DKIM подписей, нет правильной PTR-записи, и все их письма «успешно» валятся в спам. («успешно» без сарказма). Но команда антиспама решила не останавливаться на таких примитивных проверках как валидные цифровые подписи DKIM, обратные записи PTR, «трастовость» домена и исходящего сервера и многое другое что используют бесплатные сервисы с устаревшей антиспам системой (eg. Yandex, Google, Yahoo), команда антиспама отказалась от этих проверок, и начала использовать настоящую магию!

Примерный алгоритм работы устаревшего антиспам-фильтра

А теперь секретный алгоритм Мейлру

К чему все это?

В один рабочий день у нас на небольшом проекте появилось полно звонков и жалоб от клиентов, о невозможности зарегистрироваться, о невозможности восстановить пароль, но всю трагичность данной ситуации мы узнали лишь спустя пару дней, когда абсолютно вся работа (продуктивная) остановилась. Научным методом выяснили, что в магический черный список попал наш домен. Именно домен в теле письма, с самого домена письма уходят на ура, но если в теле письма есть упоминания домена то письмо уходит сразу в /dev/null. Уведомления с сайта отправлялись через трастовый AMAZON SES с валидными подписями, домен и сервер трастовые, в том числе и у самого mail.ru репутация нашего домена на postmaster.mail.ru 0.5, это очень хороший показатель (чем меньше тем лучше) если не указывать в теле письма домен то письма доходят отлично, и только в inbox.(о своем единственном предположении как домен попал под фильтр напишу ниже)


отличный сервис для проверки насколько «хороши» ваши письма. mail-tester.com

Прошу поверить что никакого спама да и рассылок вообще не проводилось (иначе я бы не написал данный пост), всего с сайта отправлялось до 50-ти писем в день, в основном уведомления о регистрации с токеном для подтверждения, ссылки для восстановления пароля, и уведомления клиентов о прибытии их товаров на почту, а так же собственно ответы от службы поддержки.

Какие это принесло нам и клиентам трудности:

• Полностью прекратилась регистрация на сайте (механизм double opt-in) в теле письма ссылка с одноразовым токеном для подтверждения, письмо отклоняется сервером mail.ru.
• Невозможно восстановить пароль (по той же причине)
• Не приходят уведомления о заказе со ссылкой на товар. (починили убрав ссылку)
• прекратилась поддержка клиентов по email. Клиенты ставят в письме ссылку на товар и задают вопрос по данному товару, и такое письмо соответственно mail.ru не дает им отправить.
• Уже существовавшие ветви переписки остановились, в теле письма обычно цитируется предыдущая переписка (а там ссылка на товар, или в подписи на сайт), и главное что клиент не понимает почему он не может нам написать.

Хорошо что сам я не пользуюсь их почтой, поэтому вся работа не связанная с клиентами мейлру идет отлично. Печально что регион с которым мы работаем, на 95% пользуется почтой мейлру.

Почему так не надо делать?

Как минимум, есть папка «СПАМ» и если мейлру считает письмо спамом то почему не кладёт в эту папку, а отвергает даже не подпустив к своему магическому антиспам-фильтру? Ведь если что-то пошло с сервером или сайтом не так, то пока администраторы чинят можно сказать клиенту по телефону что у нас трудности с доставкой, так что пожалуйста проверьте папку «СПАМ» и там найдете ссылку для подтверждения регистрации или для восстановления пароля.

!

Что если у вас ящик на мейлру, вы заработалсиь и забыли что у вас есть несколько старых доменов / сайтов которые вот-вот нужно продлить, но вы не переживаете потому что знаете что любой регистратор пришлет вам over 9000 напоминаний вида:

«Напоминаем что истекает срок действия домена «example.com»…

которые вы к сожалению не получите, потому что мейлру лучше знает нужно вам продлевать такой домен или нет.Что если администратору отправлено письмо-«abuse» из госорганов или других предприятий, где в теле письма указана ссылка на страницу-причину этой претензии такое письмо никогда до него не дойдет.

Что делать?

Вывешивать банер как во времена IE6? (Ваш почтовый сервис устарел, попробуйте новые удобные и бесплатные почтовики)

Поддержка MAIL RU

При заполнении и отправке формы которую присылает сервер отвергая письмо, приходит только авто-ответ с номером тикета и сообщением о том что ответ будет в течении 5 рабочих дней. Примерно на 4-й день отвечает бот или не бот о том что запрос передан специалисту, и что он рассмотрит его в течении опять таки 5 дней, уже примерно на 9-й день краткий ответ специалста «Вы цитируете спам, перестаньте цитировать и письмо будет отправляться» и гордо закрывает тикет как решенный. (facepalm)

отходя от темы

Хочу упомянуть отдельно поддержку яндекса. Гордость берет за них, такая крупная компания и от них не получаю авто-бото-писем (только первое об открытии тикета). К каждому вопросу подходят индивидуально, как будто только открыли компанию и им очень важен каждый клиент. Отвечают быстро, всегда в течении суток.Писал изначально им, так как домен у них на pdd, думал закрытый ключ слетел или что, они сразу дали email адрес куда писать в мейлру, и потом еще интересовались решил ли я вопрос.Однажды их администраторы специально делали и присылали bash и bat скрипты для отслеживания подмены выдачи одним лукавым провайдером на разных OS.

Почему сработал фильтр?

У меня только одно предположение-совпадение. В день несколькими часами раньше до того как домен попал под фильтр разработчики устанавливали на сайт кнопку «Поделится» от одноклассников, и соответственно мы ее тестировали, сначала на локалхосте, потом на тестовом сервере, потом на продакшене, итого моя лента в одноклассниках была заспамлена этим доменом, в том числе и нерабочими ссылками (вида testenvsite.work/url/) ну мне то всеравно, потестил и забыл, друзей у меня нет кто бы по ним еще нажимал и переходил.

Итоги

• Как вы считаете, допустима ли такая спам-политика компании мейлру?
• Почему кто-то умный у них решил «режектить» «подозрительные» письма вместо вложения их в папку «спам».
• Почему не предусмотрели быстрого реагирования на случай ложного срабатывания фильтра (они всегда бывают), ведь так можно парализовать на немалое время работу большого сервиса.
• В идеале, при срабатывании фильтра отсылать письмо администратору с предупреждением что его письма будут отклонятся полностью если он не решит проблему (какую?) в течении N суток, а на данный момент отправляются в спам.
• Почему такой приоритет именно имени домена в письме, и полное игнорирование всех остальных факторов? Ведь даже если мне напишет сам pupkin@kermlin.ru c валидным DKIM или god@sky.com и упомянут имя домена, их письма не придут :(

Это довольно не редкий случай, фильтр этот они ввели или подкрутили примерно в феврале 2014 года, именно с этого месяца в сети полно подобных тем с жалобами, и совсем нет решений. Многие с февраля так и не решили вопрос, мы пока что 3-ю неделю решаем, такое чувство что они специально дают тикетам отлежатся 4-5 дней, а только потом отвечают, и то без конкретики.

UPD: Ура! домен разблокирован, теперь мы и наши пользователи счастливы.