[Tool] Amazon WHD Crawler (für das einfachere Erstellen von Angeboten) in C#

Hierbei handelt es sich um einen indirekten Port der PHP-Fassung zu C#.

Das bedeutet, dass der Crawler nun lokal auf jedem Rechner als eigene Anwendung läuft.

Aus diesem Grund ist das ganze auch OpenSource, jedoch habe ich mich noch für keine Lizenz entschieden, weswegen ich mir derzeit noch alle Rechte vorbehalte.

Coding-Aufwand betrug gute 5,5 Stunden, ein Großteil ging wegen dem seltsamen Charset-Encoding von C# drauf.

Beste Kommentare

Verfasser

Github Repository: github.com/mai…ows

Relase-Übersicht (& Download): github.com/mai…ses

Kurzanleitung:

1) Ihr tragt unter URL einen Link ein zu einem Amazon-Produkt ein (z.B. amazon.de/AVM…SG/ )
2) Ihr klickt auf "Beginne Crawling"
3) Ihr bekommt folgende Ausgabe (rechts - STRG + A geht nicht, ihr müsst es also mit der gedrücken linken Maustaste auswählen):




4) Profit

Bearbeitet von: "Mario" 1. Jul 2016

42 Kommentare

Verfasser

Github Repository: github.com/mai…ows

Relase-Übersicht (& Download): github.com/mai…ses

Kurzanleitung:

1) Ihr tragt unter URL einen Link ein zu einem Amazon-Produkt ein (z.B. amazon.de/AVM…SG/ )
2) Ihr klickt auf "Beginne Crawling"
3) Ihr bekommt folgende Ausgabe (rechts - STRG + A geht nicht, ihr müsst es also mit der gedrücken linken Maustaste auswählen):




4) Profit

Bearbeitet von: "Mario" 1. Jul 2016

Nochmal?

Verfasser

Newsletter123

Nochmal?



PHP != C#

Das Ding hier ist für jeden DAU bedienbar (hoffe ich).

Dann kann ich ja meinen Hosting-Dienst einstellen 9903097-1qcJ9 Nice.
Verarbeitet der Crawler auch mobile Links und mobile offer-listings?
Außerdem ist das PHP != C# etwas untertrieben. Auch wenn ich C# nicht mag: C# >> PHP

Verfasser

ExtraFlauschig

Verarbeitet der Crawler auch mobile Links und mobile offer-listings?



Ähm, jein. Ich habe deinen Pull-Request so halb umgesetzt, danke dafür nochmals.

Du kannst das im Array jetzt ganz einfach selbst ändern, schau' dir einfach mal die Methode extract_asin(string URL) an.

Kann hier evtl. jemand einen Screen des Hauptprogramms einstellen? Finde das Ganze recht interessant, aber habe gerade nur Linux am Laufen...

Verfasser

Draylin

Kann hier evtl. jemand einen Screen des Hauptprogramms einstellen? Finde … Kann hier evtl. jemand einen Screen des Hauptprogramms einstellen? Finde das Ganze recht interessant, aber habe gerade nur Linux am Laufen...



3a138fe2-2772-11e6-9d17-9efd1edfc05e.PNG

Dürfte aber mit Mono auch unter Linux laufen.

Mario

Dürfte aber mit Mono auch unter Linux laufen.


Ich hatte nur überlegt, das auf QT mit C++ zu portieren. Aber mit meiner Motivation wird das sicher nichts.

Wow sehr sehr geil
Du schreibst du hast das ganze auch in php vorliegen?
Würde das php bevorzugen für den privaten Gebrauch
Danke hierfuer! Respekt.

Verfasser

Draylin

Ich hatte nur überlegt, das auf QT mit C++ zu portieren. Aber mit meiner Motivation wird das sicher nichts.


Spar' dir die Zeit, ich wollte nur mal wieder in C# reinkommen.

Hoermis

Wow sehr sehr geil :)Du schreibst du hast das ganze auch in php vorliegen? Würde das php bevorzugen für den privaten Gebrauch :)Danke hierfuer! Respekt.



github.com/mai….de

Verfasser

Ok, also muss da noch ein Trim dran und was da crasht, weiß ich gerade nicht willusch, er versucht auf einen Namen zurückzugreifen, den es nicht gibt. Mal manuell checken...

Ach ist das schon wieder ein Mist, I am working on it.

Habs mal auf meinen Server geladen, aber gibt immer nen 500er Fehler, sobald ich den Link "Senden" möchte...
Ne Idee?

Verfasser

Hoermis

Habs mal auf meinen Server geladen, aber gibt immer nen 500er Fehler, sobald ich den Link "Senden" möchte... Ne Idee?



Kann an der PHP Version liegen.

Ansonsten sollte der Crawler eigentlich out of the box funktionieren, ggf. mal das Error-Reporting anmachen.

Bei manchen PHP-Versionen werden die Sprungmarken nicht unterstützt, bei anderen geht die Array-Definition in der Form nicht.

Verfasser

willusch




Sollte gefixt sein, neuer DL Link steht oben.

Hoermis

Habs mal auf meinen Server geladen, aber gibt immer nen 500er Fehler, sobald ich den Link "Senden" möchte... Ne Idee?




HMmm, auf Zwei Servern probiert, die einen unterschiedlichen rls Stand haben und unterschiedliche PHP Versionen, beidemal nen 500er Error :s

Verfasser

Hoermis

HMmm, auf Zwei Servern probiert, die einen unterschiedlichen rls Stand haben und unterschiedliche PHP Versionen, beidemal nen 500er Error :s



Ich schau' morgen nochmal in den Quelltext rein. Aber 500 ist meist eigentlich immer nur ein fehlendes Error-Reporting.

Mit wäre es halt einfach zu wissen, was fehlt.

Hoermis

HMmm, auf Zwei Servern probiert, die einen unterschiedlichen rls Stand haben und unterschiedliche PHP Versionen, beidemal nen 500er Error :s



Ich schaue morgen mal genauer rein



Klappt mit nem Mac nicht oder?

Bearbeitet von: "Nikeboy48" 1. Jun 2016

Dein Kommentar
Avatar
@
    Text
    Top Diskussionen
    1. Iphone 7 Handyhüllen aus China55
    2. Commerzbank akzeptiert Kündigung per E-Mail nicht1929
    3. Verschenke Allyouneedfresh und Lieferando GS46
    4. Commerzbank Konto schließen1416

    Weitere Diskussionen