Центризбирком в день выборов запретил поисковикам индексировать свои сайты Мы точно не знаем, зачем

Центризбирком России запретил всем поисковикам индексировать свой основной сайт, а также ресурсы региональных избирательных комиссий. Это случилось в Единый день голосования 18 сентября 2016 года, когда проходили в том числе и выборы в Госдуму. Запрет на индексирование сайта целиком означает, что при помощи «Яндекса», Google и других поисковиков можно найти только главные страницы ресурсов и страницы на поддоменах. Запрет на индексирование противоречит собственному постановлению ЦИКа. 

Все поисковики работают примерно одинаково. Роботы изучают как можно больше сайтов и сохраняют страницы в базу, по которой, собственно, потом и происходит поиск — когда пользователь обращается с запросом. Процесс собирания информации называется индексированием. Поисковые роботы следуют определенным правилам — они прописаны в файле robots.txt на сайте (при его отсутствии роботам можно индексировать все). Администратор сайта может запретить индексирование отдельных страниц и директорий на своем ресурсе — а может запретить индексирование целиком. 

Так и поступила Центральная избирательная комиссия. В файле robots.txt на основном сайте ЦИКа говорится, что запрещено индексировать все страницы на cikrf.ru. Аналогично оказалось запрещено индексирование сайтов региональных избирательных комиссий. Они расположены на домене izbirkom.ru, где публикуются все результаты выборов — там тоже запрещено индексирование. На это обратил внимание участник движения наблюдателей «Сонар» Евгений Федин. 

«Медуза» проверила заголовки ответов HTTP — выяснилось, что индексирование было запрещено в Единый день голосования 18 сентября. Для основного сайта файл robots.txt изменили около 16:00 по московскому времени; в случае с отдельными нижестоящими комиссиями время изменения файла незначительно отличается. 

Запрет на полное индексирование означает, что у поисковых роботов практически нет возможности обрабатывать сайт. Исключение составляют только поддомены, если для них не прописан отдельный запрет: например, «Яндекс» находит сайт про выборы в Госдуму 2003 года, расположенный по адресу gd2003.cikrf.ru. В Google остались около 100 проиндексированных страниц вместе с поддоменами, которые, вероятно, были добавлены в базу до обновления файла robots.txt, случившегося в день выборов. 

Для пользователей запрет на индексирование оборачивается тем, что они, например, не могут найти ничего про голосование в своем регионе через поисковик. Кроме того, сейчас ЦИК РФ не может быть сохранен сервисом Internet Archive, который время от времени сохраняет все страницы в интернете (сейчас сохранено 273 миллиарда страниц). При попытке запросить копию страницы, например, с недавно принятыми ведомством документами, на сайте ЦИК появляется сообщение «Эту страницу нельзя отобразить из-за настроек robots.txt» (Page cannot be displayed due to robots.txt). Сервисом Internet Archive активно пользуются журналисты, чтобы сравнить старую и текущую версию страницы, если с сайта что-то было удалено. 

Представители ЦИКа по телефону «Медузе» не смогли ответить на вопрос, почему в день выборов для сайтов избиркомов запретили индексацию. На момент публикации материала ответа на официальный запрос из ведомства не поступило.

Не исключено, что в Центризбиркоме опасались увеличения нагрузки в день выборов — и по причине общественного интереса к голосованию, и из-за того, что поисковые роботы начнут собирать значительно больше информации, чем обычно. Теоретически это могло бы привести к перебоям в работе сайта. Тем не менее, даже если эта версия верна (а ее как основную высказали в разговоре с «Медузой» независимо друг от друга три IT-специалиста), непонятно, почему роботам не вернули доступ к ресурсам ЦИКа после выборов. 

Согласно постановлению ЦИКа от 2010 года, все избиркомы обязаны предоставлять пользователям возможность поиска по своим сайтам «средствами автоматизированного сбора данных в сети Интернет, в том числе поисковыми системами».