[Approved] [Russian] kinopoisk.ru (6 Viewers)

[Edalex]

Кинопоиск по транслиту хорошо ищет, я же пробую для cinemate.cc написать. Кинобаза-то подохла неожиданно Вот ищем замену. Точнее не подохла, а прекратила обновление.
П.с. Для Moving Pictures ваяю.

 

[ajs]

Сдохла гавариш

 

[Edalex]

Сдохла гавариш

Черт, только написал, и вот сегодня они на кинобазе инфу обновили за последние полгода. Придется опять из архивов скреппер кинобазы поднять

 

[Edalex]

Кстати, если интересно, вот результаты работы моего граббера cinemate.cc по списку, который в свое время был любезно предоставлен товарищем myhnet-ом
https://dl.dropbox.com/u/7658963/WriteLines.txt
формат:
Имя файла - название, пропущенное через транслиттер - найденны фильм (либо по оригинальному, либо по оттранслиттенному названию)

 

[ajs]

Подправил чуток скрипт, теперь опять нормально возвращает МРАА рейтинг + возрастной рейтинг.

Например:
Для Судья Дредд 3D - Dredd 3D (2012).avi возвратит: MPAA : R - лицам до 17 лет обязательно присутствие взрослого. ВР: зрителям, достигшим 18 лет.

 

[ajs]

Блин, кинопоиск что то намутил, в броузере все нормально, а вот скрипту отдает страничку с подозрением на робота и т.д. и т.п. Попробую пофиксить, но как то маловероятно

Сообщение вот такое:

Spoiler

Если вы видите эту страницу, значит с вашего IP-адреса поступило необычно много запросов. Система защиты от роботов (СЗоР) решила, что вместо вас действует программа, и ограничила доступ.

 

[Edalex]

Сниффером пробовали заголовки запросов сравнивать? мож кука какая хитрая или реферер?

 

[ajs]

Да как то нету у меня снифера Да и не знаю я как с С-шарп указать ни реферер, ни агент, ни т.д. ни т.п.

 

[Edalex]

Установите fiddler (гугл ит) и сравните
request.Referer = "http:\\www.com";
request.UserAgent = "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.186 Safari/535.1";
На их форуме полно жалоб на этот сзор, будем надеяться, что это просто по хедерам запроса различают, а не какой-нибудь хитрый метод

 

[ajs]

Там конструкция в скрипте:

        WebSession webSession = new WebSession();
        if (webSession.Retrieve("http://www.kinopoisk.ru", Encoding.GetEncoding("windows-1251"), out detailsPage)) {
            detailsPage = string.Empty;

это выходит что надо нечто типа:

        WebSession webSession = new WebSession();
        webSession.Referer = "http:\\[URL='http://www.com/'][COLOR=#336699]www.com[/COLOR][/URL]";
        webSession.UserAgent = "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.186 Safari/535.1";    
        if (webSession.Retrieve("http://www.kinopoisk.ru", Encoding.GetEncoding("windows-1251"), out detailsPage)) {
            detailsPage = string.Empty;

так?