[Tool] Amazon WHD Crawler (für das einfachere Erstellen von Angeboten) in C#

Hierbei handelt es sich um einen indirekten Port der PHP-Fassung zu C#.

Das bedeutet, dass der Crawler nun lokal auf jedem Rechner als eigene Anwendung läuft.

Aus diesem Grund ist das ganze auch OpenSource, jedoch habe ich mich noch für keine Lizenz entschieden, weswegen ich mir derzeit noch alle Rechte vorbehalte.

Coding-Aufwand betrug gute 5,5 Stunden, ein Großteil ging wegen dem seltsamen Charset-Encoding von C# drauf.

42 Kommentare

Github Repository: github.com/mai…ows

Relase-Übersicht (& Download): github.com/mai…ses

Kurzanleitung:

1) Ihr tragt unter URL einen Link ein zu einem Amazon-Produkt ein (z.B. amazon.de/AVM…SG/ )
2) Ihr klickt auf "Beginne Crawling"
3) Ihr bekommt folgende Ausgabe (rechts - STRG + A geht nicht, ihr müsst es also mit der gedrücken linken Maustaste auswählen):




4) Profit

Bearbeitet von: "Mario" 1. Juli 2016

Nochmal?

Newsletter123

Nochmal?



PHP != C#

Das Ding hier ist für jeden DAU bedienbar (hoffe ich).

Dann kann ich ja meinen Hosting-Dienst einstellen 24681921vt.png Nice.
Verarbeitet der Crawler auch mobile Links und mobile offer-listings?
Außerdem ist das PHP != C# etwas untertrieben. Auch wenn ich C# nicht mag: C# >> PHP

ExtraFlauschig

Verarbeitet der Crawler auch mobile Links und mobile offer-listings?



Ähm, jein. Ich habe deinen Pull-Request so halb umgesetzt, danke dafür nochmals.

Du kannst das im Array jetzt ganz einfach selbst ändern, schau' dir einfach mal die Methode extract_asin(string URL) an.

Kann hier evtl. jemand einen Screen des Hauptprogramms einstellen? Finde das Ganze recht interessant, aber habe gerade nur Linux am Laufen...

Draylin

Kann hier evtl. jemand einen Screen des Hauptprogramms einstellen? Finde das Ganze recht interessant, aber habe gerade nur Linux am Laufen...



3a138fe2-2772-11e6-9d17-9efd1edfc05e.PNG

Dürfte aber mit Mono auch unter Linux laufen.

Mario

Dürfte aber mit Mono auch unter Linux laufen.


Ich hatte nur überlegt, das auf QT mit C++ zu portieren. Aber mit meiner Motivation wird das sicher nichts.

Wow sehr sehr geil
Du schreibst du hast das ganze auch in php vorliegen?
Würde das php bevorzugen für den privaten Gebrauch
Danke hierfuer! Respekt.

Draylin

Ich hatte nur überlegt, das auf QT mit C++ zu portieren. Aber mit meiner Motivation wird das sicher nichts.


Spar' dir die Zeit, ich wollte nur mal wieder in C# reinkommen.

Hoermis

Wow sehr sehr geil :)Du schreibst du hast das ganze auch in php vorliegen? Würde das php bevorzugen für den privaten Gebrauch :)Danke hierfuer! Respekt.



github.com/mai….de

Ok, also muss da noch ein Trim dran und was da crasht, weiß ich gerade nicht willusch, er versucht auf einen Namen zurückzugreifen, den es nicht gibt. Mal manuell checken...

Ach ist das schon wieder ein Mist, I am working on it.

Habs mal auf meinen Server geladen, aber gibt immer nen 500er Fehler, sobald ich den Link "Senden" möchte...
Ne Idee?

Hoermis

Habs mal auf meinen Server geladen, aber gibt immer nen 500er Fehler, sobald ich den Link "Senden" möchte... Ne Idee?



Kann an der PHP Version liegen.

Ansonsten sollte der Crawler eigentlich out of the box funktionieren, ggf. mal das Error-Reporting anmachen.

Bei manchen PHP-Versionen werden die Sprungmarken nicht unterstützt, bei anderen geht die Array-Definition in der Form nicht.

willusch




Sollte gefixt sein, neuer DL Link steht oben.

Hoermis

Habs mal auf meinen Server geladen, aber gibt immer nen 500er Fehler, sobald ich den Link "Senden" möchte... Ne Idee?




HMmm, auf Zwei Servern probiert, die einen unterschiedlichen rls Stand haben und unterschiedliche PHP Versionen, beidemal nen 500er Error :s

Hoermis

HMmm, auf Zwei Servern probiert, die einen unterschiedlichen rls Stand haben und unterschiedliche PHP Versionen, beidemal nen 500er Error :s



Ich schau' morgen nochmal in den Quelltext rein. Aber 500 ist meist eigentlich immer nur ein fehlendes Error-Reporting.

Mit wäre es halt einfach zu wissen, was fehlt.

Hoermis

HMmm, auf Zwei Servern probiert, die einen unterschiedlichen rls Stand haben und unterschiedliche PHP Versionen, beidemal nen 500er Error :s



Ich schaue morgen mal genauer rein



Klappt mit nem Mac nicht oder?

Bearbeitet von: "Nikeboy48" 1. Juni 2016

Dein Kommentar
Avatar
@
    Text
    Top Diskussionen
    1. Amazon Storno ohne Mailbestätigung710
    2. Deal? (PC)66
    3. Asus Cashback Winter 201644
    4. [Lebensnotwendigeberatung] WhatsApp von ANDROID to iOS1013

    Weitere Diskussionen