Reply to thread

Message

<blockquote data-quote="BigGranu" data-source="post: 1080266" data-attributes="member: 137007">Ok. Dann tu ich das mal.Ich habe mir gestern einem Account bei SkySnap geholt, da hier das Angebot weitaus größer ist als bei SkyGound eher mit AmazonPrime und dergleichen vergleichbar ist. (bis Ende des Monats kann ich kostenlos testen)Beim testen des Umfang des Angebotes und den ersten schritten für einen Scrapper, habe ich aber gleich ein Problem gefunden.Es sind ca 2000-3000 Filme und Serieenepisoden vorhanden. Wenn ich diese jetzt scannen will,also ca 3000 Seiten von SkySnap in einer Minute aufrufe, schmeißt mich Sky mal fix raus und blockt meine IP. <img src="data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7" class="smilie smilie--sprite smilie--sprite4" alt=":mad:" title="Mad&nbsp; &nbsp; :mad:" loading="lazy" data-shortname=":mad:" />&nbsp;Das Problem kenne ich vom scrappen der Streamingseiten für das Webradio.Hier nutze ich einfach eine Liste von Proxys beim erstellen einer Streamlist.Allerdings geht das nicht in einem Plugin, da ja auch die Liste der Proxys sich ständig ändert. .....&nbsp;Somit gibt es wohl nur 2 Möglichkeiten.1. eine zentrale Liste mit den Inhalten der Anbieter, die irgendwie manuell geupdatet werden muß. <img src="data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7" class="smilie smilie--sprite smilie--sprite5" alt=":confused:" title="Confused&nbsp; &nbsp; :confused:" loading="lazy" data-shortname=":confused:" />2. Die Inhalte müssen langsamer gescrappt werden. Also, als wenn ich mich selber durch die Originalseite zappe.Es wird dann immer nur der Teil gescrappt, der aktuell auch angezeigt wird.</blockquote>

[QUOTE="BigGranu, post: 1080266, member: 137007"] Ok. Dann tu ich das mal. Ich habe mir gestern einem Account bei SkySnap geholt, da hier das Angebot weitaus größer ist als bei SkyGo und eher mit AmazonPrime und dergleichen vergleichbar ist. (bis Ende des Monats kann ich kostenlos testen) Beim testen des Umfang des Angebotes und den ersten schritten für einen Scrapper, habe ich aber gleich ein Problem gefunden. Es sind ca 2000-3000 Filme und Serieenepisoden vorhanden. Wenn ich diese jetzt scannen will, also ca 3000 Seiten von SkySnap in einer Minute aufrufe, schmeißt mich Sky mal fix raus und blockt meine IP. :mad: Das Problem kenne ich vom scrappen der Streamingseiten für das Webradio. Hier nutze ich einfach eine Liste von Proxys beim erstellen einer Streamlist. Allerdings geht das nicht in einem Plugin, da ja auch die Liste der Proxys sich ständig ändert. ..... Somit gibt es wohl nur 2 Möglichkeiten. 1. eine zentrale Liste mit den Inhalten der Anbieter, die irgendwie manuell geupdatet werden muß. :confused: 2. Die Inhalte müssen langsamer gescrappt werden. Also, als wenn ich mich selber durch die Originalseite zappe. Es wird dann immer nur der Teil gescrappt, der aktuell auch angezeigt wird. [/QUOTE]

Verification