Продолжу знакомить читателя с вопиющими fail'ами современных облаков. Сегодня небольшой рассказик про Amazon RDS и про Windows Azure.
Amazon RDS ошарашил тем, что несмотря на ежедневный Бекап, на стабильную его работу и прочее. ВЫ НЕ МОЖЕТЕ ВОССТАНОВИТЬ БЕКАП, ЕСЛИ В НЕМ БЫЛА ТАБЛИЦА MyISAM, а не InnoDB. На всю базу на несколько гигабайт у вас может быть одна таблица на пару временных строчек для синхронизации очередей запросов - и все, все бекапы тут же бесполезны. И ничего поделать нельзя, кроме как отказаться от быстрого MyISAM в пользу более медленного InnoDB. Естественно об этой особенности восстановления базы данных вы узнаете лишь после того, как не сможете восстановить нужные данные.
Далее. Я уже писал много негатива про детище Микрософта, но не смотря на то, что продукт официально не предоставляется в России, я пошел дальше. Как писал, есть Softline, через который можно заказать любые услуги микрософта. По сути посредник с небольшой комиссией, который в свою очередь заставил меня зарегаться в каком-то магазине Allsoft. И уже после оплаты 666у.е. за 6 месяцев мне было сообщено, что услуга предоставлена на мой аккант. Но, тут начинается самое интересное, при попытке залогиниться в систему Windows Azure требует верификацию моего аккаунта по номеру телефона с подтверждением того, что нахожусь в "разрешенной стране", то есть не в России. На это softline опять попросил меня обратиться в техподдержку микрософта, собственно с чего все и начиналось. То есть по человечески заказать Windows Azure в России пока не возможно.

У ЖЖ новая картинка, которая сообщает об ошибке работы сервиса. Видимо новая картинка, вставленная ниже, появляется теперь вместо сообщения об ошибке работы системы кэширования, о которой я писал ранее. Отмечу, что еще не решена проблема с кэшированием RSS выдачи для аггрегаторов, так например, из-за длительного кэширования все посты тоблогера попадают в GoogleReader с почти суточной задержкой и, если учесть, что постов в день от 40, а размер RSS = 25 постам, то 15 из них просто теряются для читателей.

Между делом накрылась база кредиток у chronopay, настоятельно рекомендуют всем заказать перевыпуск своих банковских карт. Подозрительно одно, зафига они CVV сохраняли у себя? Вот так и пользуйся после этого интернет платежными инструментами.

Мы с сожалением вынуждены сообщить, что в период 25-26 декабря 2010 года в нашей компании произошел взлом базы данных, приведший к полной утечке всех имеющихся персональных данных пользователей Хронопей за 2009-2010 годы, включая полные номера кредитных карт и cvv-кодов.
Руководство нашей компании уже обратилось в правоохранительные органы и надеется на скорейшее расследование этого преступления.
В связи с произошедшим инцидентом руководством компании Хронопей принято решение временно прекратить работу на рынке приема платежей по пластиковым картам до прояснения ситуации.

Мало кто знает, но на прошлой неделе был подписан указ, который иначе как Security Epic Fail не назовешь. В указе говориться, что системах разрабатываемых для МВД стоит отказаться от CryptoPro ввиду "необоснованного увеличения финансовых расходов". И дело тут не в самом криптопро, (хотя стомость в 158т.р. для простой организации взаимодействия типа сервер-сервер тоже немаленькая) а в требованиях, которые навешиваются на систему, если она претендует быть "защищенной". Требования навешивает ФСБ и ФТЭК, требования называются "требования к системам типа К2" - то есть к системам, работающими с персональными данными и проникновение злоумышленника сулит серьезные проблемы владельцам этих данных. Тут же появляется куча бумажной работы, как составление моделей угроз, правда тут же есть и возможность всего этого избежать за суммы с шестью нулями, все бумаги составят сами аттестационные комиссии. Из этой скрупулезной модели угроз особенно порадовал пункт "Преднамеренная порча технической документации". Подразумевающий, что кто-то эту документацию читает и использует систему строго по инструкции. Остальные пункты - в основном случайный перехват чего-то злоумышленником. В любом случае выход был найден красивый - "система МВД закрытая, следовательно защищенная (согласно предыдущим документам), значит можно отказаться от криптопро, не попасть в класс к2 и показать фигу всем бюрократам".

Web-стандарты - пожалуй самое страшное изобретение после изобретения Интернета. Продукты этого страшного творчества вроде умных людей постоянно приходится разгребать.
Сегодняшний пример - коды Ð для кодирования юникодных символов. Казалось бы google проверил все браузеры и все браузеры заявили о поддержке этих кодов. Но проверка-то была на простых HTML страницах, а про другие страндарты, как RSS речи не шло. Поэтому когда умные люди из wordpress применили в своих фидах расширение имен OpenSearch, то получили в своей выдаче коды Ð, таким образом, согласно стандартам RSS, который также поддерживают все браузеры - этот фид становится некорректным и не открывается.
Кто виноват - непонятно, вроде все использовали стандарты, но в итоге получили облом. Самым мелким звеном в этой цепочки является OpenSearch - вот его и стоит на мой взгляд пересмотреть.

С интересом обнаружил, что в RSS выдаче ЖЖ появился параметр Lj:reply-count, указывающий количество комментов к каждой записи. Простой поиск по ЖЖ не дал никакой информации об анонсах столь полезной фишки. Для сравнения, на лиру этот параметр назван более согласованнее с запросами яндекса - yablog:count. Но тем не менее полез я в changelog ЖЖ смотреть последние изменения и обнаружил, что этот параметр был добавлен сотрудниками СУПа аж 8 месяцев назад. Скорее всего обновление хоть и было сделано давно, но накатилось лишь в недавних изменениях.

Далее в изменениях можно встретить велосипед для FOAF - для параметра с датами, одна из которых lj:DateCreated полностью аналогична предписанной Яндексом ya:CreationDate. Только слова местами поменяли, чтобы их уж точно неправильно проиндексировали.

Коли речь зашла о RSS, то стоит отметить, что и у этого формата есть подводный камень - заполнение PubDate. Согласно w3c стандартам он заполняется как rfc2822, но некоторые предпочитают другие стандарты, например ЖЖ использует RFC 1123. Проблема возникает, если обратить внимание, что все эти форматы содержат словесное описание даты, при формировании которой стандартными средствами, встроенными во framework, используется язык среды. То есть для произвольного языка получается, что преобразовать дату в строчку можно всегда, а вот обратное преобразование возможно при наличии у клиента нужной локализации или когда используется английский. Поэтому стандарты говорят о необходимости использовать rfc2822 только в английском написании. А если язык не поддерживается клиентом, то получается невалидный фид, который распознается не всеми парсерами, например вот один из таких удачников, делавших иконку твиттеру президента, выдает даты на русском. Пример парсера, рекомендованного микрософтам для .net - rsstoolkit, который был заброшен 3 года назад и в коде которого явно указано на проблемы с мультиязычностью.

Как оказалось в последних обновлениях ЖЖ, кроме добавления ауторизации через твиттер и через facebook, убил святую святых ЖЖ - скрытый параметр lj_auth_form, отвечающий за сокрытие в передаче вводимого пользователем пароля и передачу вместо него простого хэша. Поэтому с недавних пор пароль пользователей от ЖЖ начал передаваться по сети в открытом виде. Чтобы уменьшить риск перехвата, рекомендую залогиниваться в ЖЖ через HTTPS. Примечательно, что на такие крупные порталы как facebook и google авторизация делается только через HTTPS.

Яндекс меня добивает, постоянно у него из всех щелей лезут баги и фичи. И если неделю назад в рейтинге блогов у некотрых появилась приславка ".livejournal.com", об этом я тихо писал в техподдержку, то сегодня в рейтинге блогов появились непонятные записи с приставкой "lj_". Видимо яндекс экспериментирует о создании единого уникикального ключа для блогеров, который в таблице у меня обычно зовется BlogName. Более того яндекс видимо решил излишним хранение целиковой приставки с названием платформы - "livejournal.com" и перешел на двух буквенное сокращение, непонятно правда откуда вылезло "_"?

Давно столкнулся с проблемой, что перестали добавляться в блоге топблогера тэги к постам. Вначале думал, что это какая-то проблема моего программного кода, проверил, но ничего плохого не обнаружил. Проблема оказалась на стороне ЖЖ и формулируется сервисом в следующем виде. То есть не больше 2000 друзей, не больше 2000 тэгов - уж очень ограничена эта интернет жизнь даже с платным аккаунтом. (:

Your entry has been saved, but some of the tags could not be added either because you've exceeded the maximum number of tags permitted for a journal (i.e., 2000 per journal) or you don't have permission to add tags to this community.

Сегодня восторжествовала справедливость. Еще утром написал в тех.поддержку Яндекса письмо с жалобой на то, что в рейтинге блогов на четвертом месте начал красоваться сайт-СМИ частного корреспондента. Здесь мы еще раз вспоминаем об незримости грани между СМИ и блогом. Текст письма примерно следующий

Сколько заплатил chaskor.ru за четвертое место в рейтинге блогов?

На что получил ответ, что типа "Яндекс деньги не принимал и имело место программная ошибка". И сегодня под вечер ошибка была исправлена. Пусть знают как вылезать в 10ку не заплатив )! Между делом доказательства факта попадания сайта на 4е место остались в статистике сайтов, также видим примерную посещаемость сайта 10к-20к просмотров в день.

Всегда знал, что из меня фиговый верстальщик, но никогда не думал, что удастся сделать сайт, который будет корректно отображаться лишь в самом лучшем браузере всех времен и народов - Internet Explorer'e 6. Речь идет о верстке страницы, где неправильно отображаются уголки у разноцветных кнопок. Если глянуть код, то все должно быть так как показывает ie6:


Но на практике современные браузеры показывают следующее:


Может кому не лень подсказать как исправить такое недоразумение?

С грустью обнаружил, что и среди перспективных проектов до сих пор случаются проблемы с регистрацией доменных имен. Так сегодня стал недоступен стартап с многотысячной аудиторийей http://rss2email.ru, о котором так много писала UNOVA и презентацию которого можно увидеть по ссылке. Кроме того я и сам планировал им пользоваться. Ребята то ли забыли продлить доменное имя, то ли не нашли инвестиций и решили закрыть "перспективный" проект. В любом случае доменное имя можно будет купить послезавтра, тогда же мы и узнаем ответ на столь волнующий вопрос.

В сеть выложено еще 13 тыс. взломанных аккаунтов от вконтакта - http://habrahabr.ru/blogs/virus/75345/. Проверил - подходят. Такая регулярность с паролями в открытом виде наводит на мысль, что взлом осуществляется не просто троянами, а с помощью популярных социальных игр число которых растет постоянно, где участникам предлагается залогиниться, введя мыло и пароль, что наивные пользователи и делают.
Спокойной ночи.

С каждым днем все больше поражаюсь тому, что происходит на страницах Яндекс поиска по блогам. Сегодняшний день не стал исключением. Сегодня в десятку самых популярных блогеров вошел некто Мехди Вафа с блогом на майл.ру. Историю его роста можно увидеть на топблогере. И если год назад нахождение в 10-ке рейтинга одного дневника с майл.ру было уже чем-то подозрительным, то сейчас там "висят" целых 2.
Итак, Мехди Вафа возглавляет центр экстрасенсов (боюсь назвать их шарлотанами, а то мало ли что наколдуют), поэтому выбор площадки майл.ру для ведения дневника - вполне обоснован. Далее, как говорит нам Yandex, у дневника аж 75тыс друзей, в то время как сам mail.ru показывает только 10тыс читателей(ps: на этой странице переключение вкладок под оперой не пашет). А 100тыс - это число тех, кто имеет доступ к его записям, но не читает регулярно в ленте. Это известное искажение понятия "дружбы" на mail.ru, помогающей ей строить красивые рекламные отчеты о раскрутке брэндов.
Странности добавляет то, что уважаемый Вафа день назад закрыл дневник ото всех, кроме друзей, и теперь мы имеем один из самых популярных дневников по версии Яндекса закрытым. В любом случае будем надеется, что такая ошибка рейтинга - следствие африкаского аутсорсинга у наших чернокожих братьев(а не желание отдельных личностей творить кривой рейтинг) - будет исправлена в кратчайшие сроки и все виновные будут скормлены акулам.


Читать далее...

Сегодняшним постом расскажу о некоторых фишках asp.net, о которых многие еще не знают:

• При размещении в рамках одного IIS нескольких сайтов, важно задавать machinekey разный в настройках web.config. В противном случае в логах постоянно будут возникать ошибки при подгрузке сайтом ресурсов через Script~.axd. Автоматически генерить ключи для сайтов можно например по ссылке
• В новой Visial Studio 10 появилось блочное редактирование, которое будет удобным для проставлений комментров в коде, заценить новую фишку можно по ссылке. Также уже есть возможность скачать бету 2 и поиграться.
• Win-сервис наконец-то можно будет встроить в IIS с выходом asp.net 4.0. Это очень удобно когда запрос к сервису идет в виде большого файла и тредует длительной обработки.
• Замечу, что для передачи больших файлов между серверами в asp.net правильно использовать поточное кодирование, для этого в биндинг нужно добавить настройки messageEncoding="Mtom" textEncoding="utf-8" transferMode="Streamed"

ЗЫ: На название поста не обращаем внимание.

Тот пофигизм в топе, который наблюдается у Яндекса вынуждает меня провести следующий эксперимент: Читать далее...

На днях обнаружил, что спамеры успешно порвали рейтинг Яндекса по блогам. Удалось им это сделать с помощью рейтинга по посещениям. Если его открыть, то там все записи копируют друг друга и содержат рекламу. При этом цифры показывающие число просмотров у записей просто зашкаливают, вероятно спамеры просто покупают порнотрафик или трафик с маркетгрида. Вариант, что Яндекс криво считает посещения - отпадает, так как если взглянуть на сообщения в сообществе talking_room, то они все до единого попали в ТОП по посещениям, при этом вначале делался пост, а потом накручивался трафик. Также это доказывает, что кривой алгоритм Яндекса не ищет дублирующие сообщения в ТОПе.

Разобраться с этой ситуацией в интересах не только Яндексу, но и блогохостингам (ЖЖ в частности), так как эти посты содержат рекламу, с которой ЖЖ ничего не получает.

Продолжая тему незакрытого SVN - обнаружился доступ к исходным кодам написанным в компании СУП, а именно к ЖЖ - http://www.ljdev.livejournal.ru/.svn/text-base/. Обращаю внимание, что по некоторым ссылкам перебрасывает на 8081 порт, видимо на котором и должно работать SVN, но криворукость настройки сайта не мешает скачать коды по 80му порту.
Напомню, что большая часть кодов Живого журнала доступна в сети интернет как open source, поэтому по приведенной ссылке стоит обратить внимание только(!) на файлы с расширением ".sup" - это файлы, которые были дописаны суповскими программистами и возможно содержат уязвимости. Думаю, недавно приезжавший в Россию Фицпатрик порадовался бы за то, как заботятся о его детище.

Бонус - свежее фейковое видео со взломом чужого компьютера при помощи почтового вируса

Новость-бомба сегодняшнего дня - почти все крупные порталы рунета, работающие на Unix и использующие систему контроля версий типа SVN, - не умеют ее правильно настраивать. В том числе и Яндекс, Рамблер и т.д. Благодаря этому, умельцы смогли скачать исходные коды этих ресурсов. Я же пока изучаю коды некоторых web-проектов, может потом отпишусь по этому поводу.

В заключение хочу еще раз поагитировать за технологии Микрософт и в частности за тормозной Microsoft Visual SourceSafe, где не нужно читать документации и быть телепатом, чтобы правильно настраивать систему.

Некоторые популярные российские сервисы поражают своим качеством. Речь пойдет не о скопированных с запада социальных сетях, а о простом и достаточно известном блогодвижке на mail.ru, о котором можно складывать байки особенно после того как их ломанули в 2005году. Итак,

• Этот замечательный сервис имеет жесткую модерацию постов, поэтому заметная часть ТОПов яндекса туда просто не копируется с ошибкой об использовании "запрещенных слов". Моя основная претензия к ним. К запрещенным словам относится не только мат, но и упоминание бесплатных хостингов типа letitbit.net. Последнее весьма логично, и наверняка спасает немало хомячков от ссылок на вирусы.
• Интерфейс работы с новыми записями не работает при отключенном HTTP_REFFER у браузера. В итоге мне пришлось открыть, как и большинство хомячков - IE8 и выполнить нужные действия.
• Не фильтруется поле года поста - я могу поместить туда любое безнаковое целое число, тем самым сделав пост от 1го года
• И совсем смешно смотрится куча '\n' которые вставлены в начало любой страницы ответа сервера, чтобы эмулировать белую страницу для неопытных пользователей, которые вдруг решат посмотреть исходник html.

Максимальное число допустимых открытых соединений с клиентов - весьма важная настройка при создании веб-сервисов в .Net, о которой обычно все забывают. Причиной такой забывчивости является то, что по умолчанию разрешено 2 соединения с любого клиента и этого вполне достаточно для работы веб-сайта в сети Интернет, где куча пользователей с разных хостов по очереди обращаются к одному серверу. Но когда речь идет о взаимодействии двух серверов активно передающих между собой запросы, то полезно выставить число одновременно открытых соединений на побольше. Делается это следующими строчками в конфиге:

Copy Source | Copy HTML

1. <configuration>
2.   <system.net>
3.     <connectionManagement>
4.       <add address = "http://www.com" maxconnection = "4" />
5.       <add address = "*" maxconnection = "10" />
6.     </connectionManagement>
7.   </system.net>
8. </configuration>
9.  

Раскопал интересный сайт - yt1187.net. Приглянулся он мне тем, что в его названии есть непонятные цифры и сайт очень популярен. Популярен согласно системам сбора статистики посещений. Согласно Quantcast и Compete yt1187.net недавно вошел в 500 крупнейших мировых сайтов и стремительно набирает популярность. Скоро будет более 10млн. чел в день.

Однако, просто открыть сайт не получается. Сайт открывается только если дописать www в начале, и то, идет автоматический редирект на страницу какого-то рекламного агенства. Единственное, что пишут о сайте на Quantcast, что сайт посещает азиатское мужское население, поэтому можно предположить, что сайт содержал порнографию, а теперь закрыт. Но не понятно одно, почкму в системах анализа трафика он до сих пор продолжает набирать популярность...

Удивительная вещь продолжает твориться на сервере, на котором стоит .Net 2.0 SP2 и который у меня является OpenID провайдером. Регулярно проскакивает сообщение что

.NET Runtime version 2.0.50727.3053 - This application is using the HMAC-SHA-384 or HMAC-SHA-512 keyed hash algorithm. The implementation of these algorithms were updated in service pack 1 of .NET Framework 2.0 and by default do not produce results consistent with the unserviced versions of the classes.

Если порыться в мануалах, то это означает, что разработчики .Net неправильно реализовали SHA алгоритм шифрования в 2.0 версии .Net и нужно поставить Service Pack, чтобы это исправить. Вот только не задача в том, что у меня этот сервис пак уже стоит. На всякий случай обновил библиотеку DotNetOpenID с версии 3.0 до 3.2 - не помогло. Кроме того переставил .Net 3.5; вручную сделал регистрацию .Net для IIS6, выполнив команду 'aspnet_regiis.exe -i'; перезагрузился. Всеравно ошибка повторяется. Однако, если шифрующий и дешифрующий находятся на одной машине, под одним machineKey, то ошибка не появляется. Ну и то слава богу.

UPD: Ошибка оказалась просто в моем восприятии RSS, как данных по времени, а не распарсенный HTML. Сегодня обнаружил веселую особенность ТОП30, что на главной яндекса по блогам - по ссылке. Оказывается записи, что отображаются в общем списке простым текстом ОТЛИЧАЮТСЯ от тех, что попадают в RSS ленту. При этом в RSS ленту попадает меньше постов, чаще всего в RSS пропадают посты от тысячников и посты тролей, которые несодержательны. Это может говорить о двух вещах:
1. RSS кэшируется на большее время, нежели сама страница с топами. 2. Яндекс намеренно модерирует выдачу по RSS, удаляя оттуда все ошибки алгоритма, который после изменения стал хуже. В частности сегодня в RSS не попал пост про "МВД", который успел засветиться на главной странице.

Визуально вы можете сравнить выдачу топов сами - ТОП извлеченный из текста, ТОП из RSS

PS: Также не все наверное знают, что Яндекс. Блоги с недавнего времени активно поддерживают и внедряют traceping, по которому Вы можете настроить автоматическое уведомления Яндекса о новых постах в вашем дневнике, что ускорит индексацию. Почитать подробнее на этой странице.

Обнаружил весьма неприятную особенность отечественного антивируса Kaspersky Anti-Virus 2009. При включенном контроле Http трафика (так называемая галочка Веб-антивирус) намертво блокируется работа сайтов c OpenId, написанном на DotNetOpenId. Примечательно, что другие поставшики openid, написанные не на asp.net работают нормально. Визуально это выглядит так, что браузеру не удается сделать автоматическое возвращение на сайт RelayingParty и выскакивает ошибка подгружаемого ASP.NET скрипта:

Message: Sys.ArgumentException: Value must not be null for Controls and Behaviors. Parameter name: element Line: 2710 Char: 23 Code: 0 URI: /ScriptResource.axd?d=...

Осталось уведомить об этом Arnott'a и написать в техподдержку касперского...

Сегодня Яндекс сообщил о возможностях создания виджетов для своей главной страницы. Я даже создал виджет с "Самыми обсуждаемыми темами блогосферы" =). Теперь на главной странице яндекса можно будет читать топ30 =).
Но виджеты - это все детские игрушки. По настоящему Яндекс меня удивил когда я открыл Яндекс.Блоги
Как показано на скриншоте слева внизу маячит "Сервисы микроблогов", смысла от этого списка 0! Единственное, что эта таблица может нам сказать, что все мы все равно будет сосать у Mail.ru, в то время как в среде коротких сообщений mail.ru сосет у icq.com. Вообщем смысла выделять столько места под неинформативную информацию я не вижу:

Кроме того обнаружил сразу 2 ошибки на соседней страницы о чем написал в суппорт:

ЗЫ: "Волосатая сосиска" - это не ошибка.