[Tool] Amazon WHD Crawler (für das einfachere Erstellen von Angeboten)

Link siehe erster Kommentar - ich wurde danach gefragt, hier ist es.

Dürfte auf jedem Free-Webspace laufen, welcher PHP unterstützt und nicht zu viele Limitationen hat.

Einfach die Dateien von GitHub runterladen, auf euren Server hochladen (oder Lokal mit XAMPP) und dann die whd_form.html aufrufen, Link eintragen (die Übersichtseite, nicht das Offerlisting) -> Output sollte funktionieren.

Das Angebot richtet sich vor allem an die Leute, die hier häufig WHD Sachen posten und das noch händisch machen.

Solltet ihr keinen Server haben und es mit XAMPP nicht hinbekommen, bekommt ihr von mir einen Link auf meinem Server.

Bekannte Bugs/"Features":

-> Nur für eine URL im Moment
-> Keine Fehlerbehandlung, wenn etwas schief geht
-> Garantiert nicht fehlerfrei, da schnell programmiert (20 min)
-> Funktionierte bisher für alles tadellos
-> Sonderzeichen mag er nicht so sonderlich

Open Source (MIT License), free2use und Danke an das Team des PHP Simple HTML DOM Parsers.


- Mario

Beste Kommentare

Verfasser

7316664-xRwTk

GitHub Repo: github.com/mai….de

Download: github.com/mai…ses

Installation ohne eigenen Webserver/Webspace via XAMPP (Windows): Anleitung

TODO:
-> Im Moment nichts!

TOFIX:
-> Im Moment nichts!

Changelog:

-> 01.08.2015: Fixed UTF-8 encoding of name string.


42 Kommentare

Verfasser

7316664-xRwTk

GitHub Repo: github.com/mai….de

Download: github.com/mai…ses

Installation ohne eigenen Webserver/Webspace via XAMPP (Windows): Anleitung

TODO:
-> Im Moment nichts!

TOFIX:
-> Im Moment nichts!

Changelog:

-> 01.08.2015: Fixed UTF-8 encoding of name string.


So sieht das Endergebnis aus:
amazon.de/dp/…-21

Ich versteh nur Bahnhof - aber klasse Aktion !
Hät Ich nicht gedacht das Du deinen Worten taten folgen lässt.

Mario

GitHub Repo: https://github.com/maio290/WHD-Crawler-for-myDealz.de Download: https://github.com/maio290/WHD-Crawler-for-myDealz.de/releases Links müssen aus der Übersicht sein z.B: http://www.amazon.de/gp/product/B00GSIXTJW/


Hot

Verfasser

Installationsanleitung für XAMPP:

Windows:

XAMPP Downloaden (*.zip damit man keinen Installer hat): http://sourceforge.net/projects/xampp/files/XAMPP%20Windows/5.6.8/xampp-portable-win32-5.6.8-0-VC11.zip/download

Die Zip-Datei entpacken (braucht ein bisschen) z.B auf C:\

In das Unterverzeichnis C:\xampp\htdocs wechseln, dort einen Ordner mit dem Namen mdc erstellen und in diesen Ordner wechseln.

Dort dann den Inhalt der Github Zip (ohne Ordner) entpacken.

Der Ordner mdc sollte nun die Dateien wdh.php, idealo.php, whd_form.html & simple_html_dom.php beinhalten.

Danach geht ihr zurück in den Ordner xampp und führt dort die xampp_control.exe aus und klickt beim Dienst Apache auf Starten.

Dies sollte tadellos funktionieren - außer, wenn ihr Skype verwendet. Skype schließen und dann noch einmal probieren.

Wenn der Hintergrund hinter Apache grün ist, läuft euer Server.

Ihr solltet nun das Script via http://localhost/mdc/whd_form.html aufrufen können.

Dort tragt ihr dann einfach den Link ein -> Success


Wird gleich mal getestet

Danke, das ging schnell.

Verfasser

Kevkeee92

Wird gleich mal getestet



Hab gerade noch ein Update für den neuen Preis eines Produktes auf Github gehauen. Musst nur die whd.php austauschen

Läuft gut, vielen Dank!

Warum programmiert ihr nicht hier in mydealz einen extra Bereich dafür wo das automatisch agreggiert wird und man schön filtern kann?

*Test*
So sieht das Endergebnis aus
amazon.de/dp/…YY/

@Mario: kannst du vllt noch das Format auf xx,xx EUR ändern?

+ bitte noch das an die URL hängen &me=A8KICS1PHF7ZO
dann zeigt er direkt den WHD Preis an

Verfasser

Kevkeee92

@Mario: kannst du vllt noch das Format auf xx,xx EUR ändern?



Mach ich morgen.

Dein Testfall ist btw. auch sehr grenzwertig, da ich den Versand generell nicht berücksichtigt habe und bei PEGI oder ab18 noch 5 € anfallen.

Mario

Mach ich morgen. Dein Testfall ist btw. auch sehr grenzwertig, da ich den Versand generell nicht berücksichtigt habe und bei PEGI oder ab18 noch 5 € anfallen.

Ich habe nur irgendeinen Artikel genommen...

vllt kannst du ja auch noch mein Edit miteinbauen:
+ bitte noch das an die URL hängen &me=A8KICS1PHF7ZO
dann zeigt er direkt den WHD Preis an

Merk.

sieht schon sehr gut aus Werden auch mehrere Zustände mitgecrawlt?

Könnte dann so aussehen



Mario

In dem Falle aber ? weil & tatsächlich für "und" steht.

Stimmt mein Fehler

Verfasser

Kevkeee92




amazon.de/dp/…7ZO


Aye, aber nur auf einer Seite. Das wird auch noch auf alle ausgeweitet.

Alternativ kann man vllt auch auf diese Seite Verlinken: amazon.de/gp/…7ZO

Verfasser

Kevkeee92

Alternativ kann man vllt auch auf diese Seite Verlinken: http://www.amazon.de/gp/offer-listing/B00OPZ63CU/?m=A8KICS1PHF7ZO



Kann man, finde die Produktseite aber sinniger, da diese i.d.R. noch mehr Produktinformationen beinhaltet.

Mario

Kann man, finde die Produktseite aber sinniger, da diese i.d.R. noch mehr Produktinformationen beinhaltet.

Geschmackssache :P Wollte es ja nur mal als Idee einwerfen

Verfasser

function prepare_url_desktop($item_id)
{
return 'http://www.amazon.de/gp/offer-listing/'.$item_id.'/?m=A8KICS1PHF7ZO';
}

Einfach austauschen, dann geht das

Crwalt gute Angebote trotzdem zu spät.
Aber nette Idee

Verfasser

Swib

Crwalt gute Angebote trotzdem zu spät. Aber nette Idee



Naja, ich habe zwar nen richtigen Crawler, der tatsächlich auf Preise schaut und eine Mail schickt, jedoch ist der nur für bestimmte Produkte gedacht und die müssen auch vorher hinzugefügt werden.

Das automatische Finden von guten Angeboten ist meh. Außerdem sperrt Amazon auch gerne Crawler aus

Merk

danke

Verfasser

Update: Jetzt auch für mehrere Seiten im Offer-Listing

github.com/mai…535

Update 2: HTTP 503 Error ausgemerzt:

github.com/mai…8cd


Update 3: Idealo.de Support:

github.com/mai…112

Anmerkungen hierzu:

Wenn es nur einen VGL Preis auf Idealo gibt, dann wird dieser direkt eingetragen.
Wenn es mehr als ein VGL Preis ist, dann müsst ihr das passende Produkt selbst aus dem Textfeld rauskopieren (sry, aber alles andere wäre Overkill)

Weiter so, biete mich weiterhin gerne als Tester an

cool, ein weiterer aktiver WHD Sympathisant

Verfasser

Schnaepplet

cool, ein weiterer aktiver WHD Sympathisant



Verwendest du selbst eigentlich ein Tool oder machste das händisch?

Mario

Verwendest du selbst eigentlich ein Tool oder machste das händisch?



Artikeldifferenzsuche automatisch, Sichtung und Einstellen mehr oder weniger manuell

Sehr geil, danke. Direkt mal ein bookmark gesetzt

Verfasser

Endlich mal das blöde Kaputtencoding gefixt.

Folgen und Danke!

Wow, klasse Arbeit! Werde mal sehen, ob ich den Crawler bei mir installiert bekomme. Vielen Dank jedenfalls für die Arbeit!

Mit MacOS bekommt man das nicht zum laufen oder? Hatte mir überlegt meine WHDs zwei/drei Tage später hier zu posten.

Verfasser

moritz100

Mit MacOS bekommt man das nicht zum laufen oder? Hatte mir überlegt meine WHDs zwei/drei Tage später hier zu posten.



Du brauchst halt etwas, das PHP Scripte ausführen kann.

XAMPP gibt es glaube ich auch für MacOS

moritz100

Mit MacOS bekommt man das nicht zum laufen oder? Hatte mir überlegt meine WHDs zwei/drei Tage später hier zu posten.



Huch, das ist aber kompliziert. Muss mich da mal reinlesen. Hab ich doch richtig verstanden, dass es meine ASINS nimmt und daraus ne Liste bastelt?

Verfasser

moritz100

Huch, das ist aber kompliziert. Muss mich da mal reinlesen. Hab ich doch … Huch, das ist aber kompliziert. Muss mich da mal reinlesen. Hab ich doch richtig verstanden, dass es meine ASINS nimmt und daraus ne Liste bastelt?



Also: Du kannst dort immer nur eine ASIN eintragen (hat mehrere Gründe) - daraus wird dir dann ein vorgefertigter Kommentar, wie z.B. in meinem WHD Thread gebastelt.

Sammellinks kannst du hier erstellen: mydealz.de/div…312 (bei mir im Thread die Zusammenfassung)

moritz100

Huch, das ist aber kompliziert. Muss mich da mal reinlesen. Hab ich doch richtig verstanden, dass es meine ASINS nimmt und daraus ne Liste bastelt?



Okay, dann ist mir das wohl zu aufwändig. Trotzdem danke.

Dein Kommentar
Avatar
@
    Text
    Top Diskussionen
    1. o2 Kinotag - 2 für 1 Kinokarte jeden Donnerstag *UPDATE*8291595
    2. Suche Wickelkomode unter 200€11
    3. Bitcoin, was ist passiert ?67
    4. Rest-Tickets für Coldplay am 06. Juni im Olympiastadion München verfügbar […11

    Weitere Diskussionen