Reply to thread

Message

<blockquote data-quote="cordwin" data-source="post: 440256">En fait le principe de base d'un grabber est relativement simple :1 - ou recuperes le le fichier source de la page.2 - on analyse le fichier avec des expressions regulieres3 - on formate le fichier en sortie.un exemple de code : [code] using System;using System.Collections.Generic;using System.Text;using System.Xml;using System.Web;using System.IO;using System.Text.RegularExpressions;using System.Net;using System.Collections;namespace Namespacedugrabber{&nbsp;   class Program&nbsp;   {&nbsp;      public static string LoadWebPageFromURL(String szURL)&nbsp;       {&nbsp;           // Chargement de la pages Web en se faisant passer pour un browser&nbsp;           // On recuperes le contenu dans la chaine returnBuf&nbsp;           String returnBuf = &quot;&quot;;&nbsp;           HttpWebRequest request = (HttpWebRequest)WebRequest.Create(szURL);&nbsp;           try&nbsp;           {&nbsp;               HttpWebResponse response = (HttpWebResponse)request.GetResponse();&nbsp;               Encoding encode = Encoding.UTF8;&nbsp;               Stream receiveStream = response.GetResponseStream();&nbsp;               StreamReader readStream = new StreamReader(receiveStream, encode);&nbsp;               returnBuf = readStream.ReadToEnd();&nbsp;               response.Close();&nbsp;               readStream.Close();&nbsp;           }&nbsp;           catch { }&nbsp;          // nettoyage de caractères inutiles&nbsp;           returnBuf = Regex.Replace(returnBuf, &quot;(\r)+&quot;, &quot;&quot;, RegexOptions.IgnoreCase); // on enleves les \r&nbsp;           returnBuf = Regex.Replace(returnBuf, &quot;(\n)+&quot;, &quot;\n&quot;, RegexOptions.IgnoreCase); // on enleves les newline multiples&nbsp;           returnBuf = Regex.Replace(returnBuf, &quot;&amp;(.*?);&quot;, &quot;&quot;, RegexOptions.IgnoreCase);&nbsp;           returnBuf = Regex.Replace(returnBuf, &quot;&lt;(/|)b&gt;&quot;, &quot;&quot;, RegexOptions.IgnoreCase);&nbsp;           returnBuf = Regex.Replace(returnBuf, &quot;&lt;script(?:[^&lt;^&gt;]*?)&gt;((?:.|\n)*?)&lt;/script(?:[^&lt;^&gt;]*?)&gt;&quot;, &quot;&quot;, RegexOptions.IgnoreCase);&nbsp;           returnBuf = Regex.Replace(returnBuf, &quot;&lt;style(?:[^&lt;^&gt;]*?)&gt;((?:.|\n)*?)&lt;/style(?:[^&lt;^&gt;]*?)&gt;&quot;, &quot;&quot;, RegexOptions.IgnoreCase);&nbsp;           returnBuf = Regex.Replace(returnBuf, &quot;&lt;noscript(?:[^&lt;^&gt;]*?)&gt;((?:.|\n)*?)&lt;/noscript(?:[^&lt;^&gt;]*?)&gt;&quot;, &quot;&quot;, RegexOptions.IgnoreCase);&nbsp;           returnBuf = Regex.Replace(returnBuf, &quot;&lt;(meta)(?:[^&lt;^&gt;]*?)&gt;&quot;, &quot;&quot;, RegexOptions.IgnoreCase);&nbsp;           return returnBuf;&nbsp;       }&nbsp;       public static void LoadSalle(String Salle)&nbsp;       {&nbsp;           String szPath = System.IO.Path.GetDirectoryName(System.Reflection.Assembly.GetEntryAssembly().Location);&nbsp;           String URL = String.Format(&quot;http://www.allocine.fr/seance/salle_gen_csalle={0}.html&quot;, Salle);&nbsp;           WebClient HTTPClient = new WebClient();&nbsp;           string result = LoadWebPageFromURL(URL);&nbsp;           // Get MovieTheater name from Page&nbsp;           String Pattern = &quot;&lt;title&gt;(.*?)&lt;/title&gt;&quot;;&nbsp;           if (bVerbose) Console.Out.WriteLine(CleanHTMLTag(GetValue(result, Pattern)));&nbsp;           XMLmovie_theater += String.Format(&quot;\t&lt;where-to type=\&quot;movie-theater\&quot; id=\&quot;{0}\&quot; name=\&quot;{1}\&quot; /&gt;\n&quot;, Salle,CleanHTMLTag(GetValue(result, Pattern)));&nbsp;           // On recupere la liste des films&nbsp;           Pattern = @&quot;&lt;a class=&quot;&quot;link1&quot;&quot; href=&quot;&quot;/film/fichefilm_gen_cfilm=(\d*).ht&quot;&nbsp;                   + @&quot;ml&quot;&quot;&gt;[img][/img]])*?/(\d*?).jpg)&quot;&quot;(?:[^&lt;^&gt;]*?)alt=&quot;&quot;&quot;&nbsp;                   + @&quot;([^&lt;^&gt;]*?)&quot;&quot;(?:[^&lt;^&gt;]*?)/&gt;&lt;/a&gt;&lt;/td&gt;(?:(?:.|\n)*?)&lt;h5&gt;([^&lt;^&gt;]&quot;&nbsp;                   + @&quot;*?)&lt;/h5&gt;((?:.|\n)*?)((?:(?:\s|\n*?)&lt;tr&gt;&lt;td(?:[^&lt;^&gt;]*?)&quot;&quot;#F4F&quot;&nbsp;                   + @&quot;4F4&quot;&quot;&gt;(?:(?:.|\n)*?)&lt;/table&gt;&lt;/td&gt;&lt;/tr&gt;(?:\s|\n*?))+)&quot;;&nbsp;           MatchCollection ListFilms = Regex.Matches(result, Pattern, &nbsp;           // A l issue de cette RegExp on a :&nbsp;           // Champ 1 = ID    du film&nbsp;           // Champ 2 = Image du film&nbsp;           // Champ 3 = ID de l'image du film&nbsp;           // Champ 4 = Titre du film&nbsp;           // Champ 5 = Catégorie et durée du film format : xxxxx (duree)&nbsp;           // Champ 6 = Zone contenant les notations et le casting, les recuperer dans la premiere RegEx serait trop couteux.&nbsp;           // Champ 7 = Le reste, contenant les horaires a Parser.RegexOptions.IgnoreCase );&nbsp;           foreach (Match tmpMatch in ListFilms)&nbsp;           {&nbsp;                   String szTmpMovie=&quot;&quot;;&nbsp;                   String szTmpShow = &quot;&quot;;&nbsp;                   String FilmID = CleanHTMLTag(tmpMatch.Groups[1].Value);&nbsp;                   String FilmIMAGEURL = CleanHTMLTag(tmpMatch.Groups[2].Value);&nbsp;                   String FilmIMAGELocal   = @&quot;\covert-art\&quot; + CleanHTMLTag(tmpMatch.Groups[3].Value)+&quot;.jpg&quot;;&nbsp;                   String FilmTITRE = CleanHTMLTag(tmpMatch.Groups[4].Value);&nbsp;                   String FilmCAT_DUREE = CleanHTMLTag(tmpMatch.Groups[5].Value);&nbsp;                   String FilmNOTATION  = tmpMatch.Groups[6].Value;&nbsp;                   String FilmHORAIRES  = tmpMatch.Groups[7].Value;// formatter l'output ici ...&nbsp;          }&nbsp;      }&nbsp;       static void Main(string[] args)&nbsp;       {&nbsp;           LoadSalle(&quot;C12345&quot;);&nbsp;       }[/code]Le problème en gros consiste a trouver la bonne expression reguliere pour capturer ce qui nous interesse.Ca demandes de la patience et beaucoup de travail pour certains sites.Et des que le site changes sont HTML : on ré ecrit ...Maintenant on a peut être une autre piste de recherche. Qui est interessé par le fait que l'on regardes une emission TV : la chaine elle même. Quelqu'un a essayé de contacter les chaines officielles voir si elle ne pourraient pas tout simplement nous fournir un flux XML des programmes de la semaine ?edit : tiens, vais envoyer un mail a TF1 pour voir !</blockquote>

[QUOTE="cordwin, post: 440256"] En fait le principe de base d'un grabber est relativement simple : 1 - ou recuperes le le fichier source de la page. 2 - on analyse le fichier avec des expressions regulieres 3 - on formate le fichier en sortie. un exemple de code : [code] using System; using System.Collections.Generic; using System.Text; using System.Xml; using System.Web; using System.IO; using System.Text.RegularExpressions; using System.Net; using System.Collections; namespace Namespacedugrabber { class Program { public static string LoadWebPageFromURL(String szURL) { // Chargement de la pages Web en se faisant passer pour un browser // On recuperes le contenu dans la chaine returnBuf String returnBuf = ""; HttpWebRequest request = (HttpWebRequest)WebRequest.Create(szURL); try { HttpWebResponse response = (HttpWebResponse)request.GetResponse(); Encoding encode = Encoding.UTF8; Stream receiveStream = response.GetResponseStream(); StreamReader readStream = new StreamReader(receiveStream, encode); returnBuf = readStream.ReadToEnd(); response.Close(); readStream.Close(); } catch { } // nettoyage de caractères inutiles returnBuf = Regex.Replace(returnBuf, "(\r)+", "", RegexOptions.IgnoreCase); // on enleves les \r returnBuf = Regex.Replace(returnBuf, "(\n)+", "\n", RegexOptions.IgnoreCase); // on enleves les newline multiples returnBuf = Regex.Replace(returnBuf, "&(.*?);", "", RegexOptions.IgnoreCase); returnBuf = Regex.Replace(returnBuf, "<(/|)b>", "", RegexOptions.IgnoreCase); returnBuf = Regex.Replace(returnBuf, "<script(?:[^<^>]*?)>((?:.|\n)*?)</script(?:[^<^>]*?)>", "", RegexOptions.IgnoreCase); returnBuf = Regex.Replace(returnBuf, "<style(?:[^<^>]*?)>((?:.|\n)*?)</style(?:[^<^>]*?)>", "", RegexOptions.IgnoreCase); returnBuf = Regex.Replace(returnBuf, "<noscript(?:[^<^>]*?)>((?:.|\n)*?)</noscript(?:[^<^>]*?)>", "", RegexOptions.IgnoreCase); returnBuf = Regex.Replace(returnBuf, "<(meta)(?:[^<^>]*?)>", "", RegexOptions.IgnoreCase); return returnBuf; } public static void LoadSalle(String Salle) { String szPath = System.IO.Path.GetDirectoryName(System.Reflection.Assembly.GetEntryAssembly().Location); String URL = String.Format("http://www.allocine.fr/seance/salle_gen_csalle={0}.html", Salle); WebClient HTTPClient = new WebClient(); string result = LoadWebPageFromURL(URL); // Get MovieTheater name from Page String Pattern = "<title>(.*?)</title>"; if (bVerbose) Console.Out.WriteLine(CleanHTMLTag(GetValue(result, Pattern))); XMLmovie_theater += String.Format("\t<where-to type=\"movie-theater\" id=\"{0}\" name=\"{1}\" />\n", Salle,CleanHTMLTag(GetValue(result, Pattern))); // On recupere la liste des films Pattern = @"<a class=""link1"" href=""/film/fichefilm_gen_cfilm=(\d*).ht" + @"ml"">[img][/img]])*?/(\d*?).jpg)""(?:[^<^>]*?)alt=""" + @"([^<^>]*?)""(?:[^<^>]*?)/></a></td>(?:(?:.|\n)*?)<h5>([^<^>]" + @"*?)</h5>((?:.|\n)*?)((?:(?:\s|\n*?)<tr><td(?:[^<^>]*?)""#F4F" + @"4F4"">(?:(?:.|\n)*?)</table></td></tr>(?:\s|\n*?))+)"; MatchCollection ListFilms = Regex.Matches(result, Pattern, // A l issue de cette RegExp on a : // Champ 1 = ID du film // Champ 2 = Image du film // Champ 3 = ID de l'image du film // Champ 4 = Titre du film // Champ 5 = Catégorie et durée du film format : xxxxx (duree) // Champ 6 = Zone contenant les notations et le casting, les recuperer dans la premiere RegEx serait trop couteux. // Champ 7 = Le reste, contenant les horaires a Parser. RegexOptions.IgnoreCase ); foreach (Match tmpMatch in ListFilms) { String szTmpMovie=""; String szTmpShow = ""; String FilmID = CleanHTMLTag(tmpMatch.Groups[1].Value); String FilmIMAGEURL = CleanHTMLTag(tmpMatch.Groups[2].Value); String FilmIMAGELocal = @"\covert-art\" + CleanHTMLTag(tmpMatch.Groups[3].Value)+".jpg"; String FilmTITRE = CleanHTMLTag(tmpMatch.Groups[4].Value); String FilmCAT_DUREE = CleanHTMLTag(tmpMatch.Groups[5].Value); String FilmNOTATION = tmpMatch.Groups[6].Value; String FilmHORAIRES = tmpMatch.Groups[7].Value; // formatter l'output ici ... } } static void Main(string[] args) { LoadSalle("C12345"); }[/code] Le problème en gros consiste a trouver la bonne expression reguliere pour capturer ce qui nous interesse. Ca demandes de la patience et beaucoup de travail pour certains sites. Et des que le site changes sont HTML : on ré ecrit ... Maintenant on a peut être une autre piste de recherche. Qui est interessé par le fait que l'on regardes une emission TV : la chaine elle même. Quelqu'un a essayé de contacter les chaines officielles voir si elle ne pourraient pas tout simplement nous fournir un flux XML des programmes de la semaine ? edit : tiens, vais envoyer un mail a TF1 pour voir ! [/QUOTE]

Verification