Gepostet 10 September 2019

Deal Crawler v2 / Deal Bot

Moin zusammen,

einfach weil ich mich darüber freue und dachte, dass es für technisch Interessierte vielleicht nett sein könnte, will ich euch mal einen Web Crawler zeigen, den ich mir geschrieben habe.

Man kann ihn für verschiedene Suchen konfigurieren und zeitlich gesteuert laufen lassen. Bei neuen Treffern für Angebote, werden E-Mails verschickt.

Wenn ein konfigurierbarer Schwellwert für den prozentualen Rabatt erreicht wird, kann sogar automatisiert das Angebot aufgerufen und gekauft werden.
Es wird automatisiert in den Warenkorb gelegt (für alle Artikel die den Schwellwert getroffen / überstiegen haben), zur Kasse gegangen, eingeloggt, Zahlungsdaten eingegeben und dann gekauft.

Habe mal ein Video gemacht, das ich leider etwas schwärzen musste.
Dort werden zwei Artikel, die zu einer Suche den Schwellwert überschritten haben, automatisiert gekauft.
Für das Video läuft der Browser mit UI, normalerweise alles headless (= nicht sichtbar) im Hintergrund :-)

Hier der Link: Video
Passwort: hallomydealz
Zusätzliche Info
Sag was dazu

Kategorien

20 Kommentare

sortiert nach
's Profilbild
  1. Produkttester's Profilbild
    RaverTux10.09.2019 12:11

    Hatte ich schon einmal, war aber nichts los. Und einige scheinen da …Hatte ich schon einmal, war aber nichts los. Und einige scheinen da einfach alles zu kaufen und mit Profit verkaufen zu wollen, das ruiniert es für die die nur für sich das eine oder andere wollen.Neulich fünf Minuten zu spät diese Mail gesehen, als ich noch keine Automatisierung hatte. Alles weg Title: BOSCH Handstaubsauger BBS1114, kabellosPrice: 47.22€Old Price: 599€Savings: 92%url: real.de/product/328827193/?id_unit=383165082686Title: Bosch PBH Universal+ 2500 SRE Bohrhammer 6 teilig mit KofferPrice: 26.31€Old Price: 0€Savings: 0%url: real.de/product/311154600/?id_unit=383165082811Title: LEGO® Harry Potter™ Die Peitschende Weide von Hogwarts™, 75953Price: 8.66€Old Price: 69.99€Savings: 88%url: real.de/product/329036482/?id_unit=383165082872Title: LEGO® NINJAGO NINJAGO® City Hafen, 70657Price: 29.24€Old Price: 229.99€Savings: 87%url: real.de/product/326197824/?id_unit=383165082616Title: LEGO® City Bergbauprofis an der Abbaustätte, 60188Price: 10.73€Old Price: 89.99€Savings: 88%url: real.de/product/323297366/?id_unit=383165082874Title: LEGO® City Feuerwehr-Station, 60215Price: 6.04€Old Price: 59.99€Savings: 90%url: real.de/product/333273284/?id_unit=383165082668Title: LEGO® Star Wars™ X-Wing Starfighter™, 75218Price: 12.55€Old Price: 99.99€Savings: 87%url: real.de/product/328216200/?id_unit=383165082757Title: LEGO® Creator Surfermobil, 31079Price: 3.67€Old Price: 29.99€Savings: 88%url: real.de/product/323212675/?id_unit=383165082677Title: LEGO® Disney Arielles königliches Hochzeitsboot, 41153Price: 6.21€Old Price: 49.99€Savings: 88%url: real.de/product/323118183/?id_unit=383165082844


    Bei real werden nur 95% der Preisfehler vor Versand storniert und 4% nach Versand. Die Spacken vom Kundenservice verstehen dann auch immer nur Bahnhof.
  2. Produkttester's Profilbild
    Wieviele Pfannen hat dein Bot bestellt?

    Herr Richter, also ich war das nicht, das ging alles automatisch. Fehler passieren halt.

    PS: Finde ich super (bearbeitet)
  3. AmzDealHunterPacMan's Profilbild
    schaut nicht schlecht aus. Wird aber vermutlich bei Amazon nicht funktionieren da Automatisierung leider bei Amazon zwar bestimmt funktioniert aber auch bestimmt zur Sperre führt oder funktioniert dein crawler nur bei real.de
  4. Garcia's Profilbild
    RaverTux10.09.2019 12:11

    Hatte ich schon einmal, war aber nichts los. Und einige scheinen da …Hatte ich schon einmal, war aber nichts los. Und einige scheinen da einfach alles zu kaufen und mit Profit verkaufen zu wollen, das ruiniert es für die die nur für sich das eine oder andere wollen.Neulich fünf Minuten zu spät diese Mail gesehen, als ich noch keine Automatisierung hatte. Alles weg Title: BOSCH Handstaubsauger BBS1114, kabellosPrice: 47.22€Old Price: 599€Savings: 92%url: real.de/product/328827193/?id_unit=383165082686Title: Bosch PBH Universal+ 2500 SRE Bohrhammer 6 teilig mit KofferPrice: 26.31€Old Price: 0€Savings: 0%url: real.de/product/311154600/?id_unit=383165082811Title: LEGO® Harry Potter™ Die Peitschende Weide von Hogwarts™, 75953Price: 8.66€Old Price: 69.99€Savings: 88%url: real.de/product/329036482/?id_unit=383165082872Title: LEGO® NINJAGO NINJAGO® City Hafen, 70657Price: 29.24€Old Price: 229.99€Savings: 87%url: real.de/product/326197824/?id_unit=383165082616Title: LEGO® City Bergbauprofis an der Abbaustätte, 60188Price: 10.73€Old Price: 89.99€Savings: 88%url: real.de/product/323297366/?id_unit=383165082874Title: LEGO® City Feuerwehr-Station, 60215Price: 6.04€Old Price: 59.99€Savings: 90%url: real.de/product/333273284/?id_unit=383165082668Title: LEGO® Star Wars™ X-Wing Starfighter™, 75218Price: 12.55€Old Price: 99.99€Savings: 87%url: real.de/product/328216200/?id_unit=383165082757Title: LEGO® Creator Surfermobil, 31079Price: 3.67€Old Price: 29.99€Savings: 88%url: real.de/product/323212675/?id_unit=383165082677Title: LEGO® Disney Arielles königliches Hochzeitsboot, 41153Price: 6.21€Old Price: 49.99€Savings: 88%url: real.de/product/323118183/?id_unit=383165082844


    Real ist nur ein Marktplatz. Preisfehler werden in der Regel storniert.

    Bei Shops, wo alles stärker automatisiert ist, z. B. Amazon - und da auch nur bei Artikeln mit Versand durch Amazon - würde dein Skript vielleicht Sinn machen. Wobei ich ganz grundsätzlich nichts vollautomatisch kaufen lassen würde. Dafür sind die Shops, auch Amazon, zu schlecht gepflegt. (bearbeitet)
  5. xWolf's Profilbild
    RaverTux10.09.2019 12:11

    Hatte ich schon einmal, war aber nichts los. Und einige scheinen da …Hatte ich schon einmal, war aber nichts los. Und einige scheinen da einfach alles zu kaufen und mit Profit verkaufen zu wollen, das ruiniert es für die die nur für sich das eine oder andere wollen.Neulich fünf Minuten zu spät diese Mail gesehen, als ich noch keine Automatisierung hatte. Alles weg Title: BOSCH Handstaubsauger BBS1114, kabellosPrice: 47.22€Old Price: 599€Savings: 92%url: real.de/product/328827193/?id_unit=383165082686Title: Bosch PBH Universal+ 2500 SRE Bohrhammer 6 teilig mit KofferPrice: 26.31€Old Price: 0€Savings: 0%url: real.de/product/311154600/?id_unit=383165082811Title: LEGO® Harry Potter™ Die Peitschende Weide von Hogwarts™, 75953Price: 8.66€Old Price: 69.99€Savings: 88%url: real.de/product/329036482/?id_unit=383165082872Title: LEGO® NINJAGO NINJAGO® City Hafen, 70657Price: 29.24€Old Price: 229.99€Savings: 87%url: real.de/product/326197824/?id_unit=383165082616Title: LEGO® City Bergbauprofis an der Abbaustätte, 60188Price: 10.73€Old Price: 89.99€Savings: 88%url: real.de/product/323297366/?id_unit=383165082874Title: LEGO® City Feuerwehr-Station, 60215Price: 6.04€Old Price: 59.99€Savings: 90%url: real.de/product/333273284/?id_unit=383165082668Title: LEGO® Star Wars™ X-Wing Starfighter™, 75218Price: 12.55€Old Price: 99.99€Savings: 87%url: real.de/product/328216200/?id_unit=383165082757Title: LEGO® Creator Surfermobil, 31079Price: 3.67€Old Price: 29.99€Savings: 88%url: real.de/product/323212675/?id_unit=383165082677Title: LEGO® Disney Arielles königliches Hochzeitsboot, 41153Price: 6.21€Old Price: 49.99€Savings: 88%url: real.de/product/323118183/?id_unit=383165082844


    Lässt sich herausfinden, ob es direkt von Real.de war oder ein Händler?

    Bei Real gibts ja fast täglich irgendwelche Preisfehler, welche dann zu 99% storniert werden.
  6. RaverTux's Profilbild
    Autor*in
    GelöschterUser9406710.09.2019 12:18

    Kommentar gelöscht


    Ne bisher nicht nehme die Angaben von Real. Ich suche eh nur gezielt nach dem was ich will, da weiß ich ab wann es ein guter Preis ist
  7. JudgeFudge's Profilbild
    Und 6Minutes Media so:22865245-2wnMw.jpg
  8. ₘₕʸₘₐᶜₓ's Profilbild
    Gibt es hier eine Weiterentwicklung? :-)
    Maz_B's Profilbild
    Würde mich auch interessieren
  9. RaverTux's Profilbild
    Autor*in
    Das ganze Thema ist komplett aus dem Ruder gelaufen damals.
    Gab dann ewig viele Bots auf Real (jetzt Kaufland) und man musste quasi alle paar Sekunden pollen wenn man mitmischen wollte.

    Ging schon aber war irgendwann nur noch nervig.
    Schon einige heftige Schnäppchen gemacht aber irgendwann war die Luft raus.
    ₘₕʸₘₐᶜₓ's Profilbild
    Mich hätte die technische Umsetzung interessiert, habe aber auch keine Ahnung, aber zum Lernen sind solche praxisnahen Projekte immer gut.
  10. daddycool008's Profilbild
    Sehr cool. Teilen möglich?
  11. brewwda's Profilbild
    Sehr nice
  12. TimeLine's Profilbild
    Coole Sache
  13. RaverTux's Profilbild
    Autor*in
    AmzDealHunterPacMan10.09.2019 07:03

    @RaverTux schaut nicht schlecht aus. Wird aber vermutlich bei Amazon …@RaverTux schaut nicht schlecht aus. Wird aber vermutlich bei Amazon nicht funktionieren da Automatisierung leider bei Amazon zwar bestimmt funktioniert aber auch bestimmt zur Sperre führt oder funktioniert dein crawler nur bei real.de


    Momentan nur bei real.de. Würde mich aber wundern, wenn das zur Sperre führen würde, da der Browser Bot technisch nicht von einem realen User unterscheidbar sein sollte, ist er ganz normaler Chrome.
  14. SimonPhoenix2014's Profilbild
    Ich habe ein ähnliches Projekt am laufen. Gerne mehr per Mail
  15. Garcia's Profilbild
    Stell es auf Github. Dann können sich Interessierte an der Entwicklung beteiligen. (bearbeitet)
  16. RaverTux's Profilbild
    Autor*in
    Garcia10.09.2019 10:53

    Stell es auf Github. Dann können sich Interessierte an der Entwicklung …Stell es auf Github. Dann können sich Interessierte an der Entwicklung beteiligen.


    Hatte ich schon einmal, war aber nichts los. Und einige scheinen da einfach alles zu kaufen und mit Profit verkaufen zu wollen, das ruiniert es für die die nur für sich das eine oder andere wollen.

    Neulich fünf Minuten zu spät diese Mail gesehen, als ich noch keine Automatisierung hatte. Alles weg

    Title: BOSCH Handstaubsauger BBS1114, kabellos
    Price: 47.22€
    Old Price: 599€
    Savings: 92%
    url: real.de/product/328827193/?id_unit=383165082686

    Title: Bosch PBH Universal+ 2500 SRE Bohrhammer 6 teilig mit Koffer
    Price: 26.31€
    Old Price: 0€
    Savings: 0%
    url: real.de/product/311154600/?id_unit=383165082811

    Title: LEGO® Harry Potter™ Die Peitschende Weide von Hogwarts™, 75953
    Price: 8.66€
    Old Price: 69.99€
    Savings: 88%
    url: real.de/product/329036482/?id_unit=383165082872

    Title: LEGO® NINJAGO NINJAGO® City Hafen, 70657
    Price: 29.24€
    Old Price: 229.99€
    Savings: 87%
    url: real.de/product/326197824/?id_unit=383165082616

    Title: LEGO® City Bergbauprofis an der Abbaustätte, 60188
    Price: 10.73€
    Old Price: 89.99€
    Savings: 88%
    url: real.de/product/323297366/?id_unit=383165082874

    Title: LEGO® City Feuerwehr-Station, 60215
    Price: 6.04€
    Old Price: 59.99€
    Savings: 90%
    url: real.de/product/333273284/?id_unit=383165082668

    Title: LEGO® Star Wars™ X-Wing Starfighter™, 75218
    Price: 12.55€
    Old Price: 99.99€
    Savings: 87%
    url: real.de/product/328216200/?id_unit=383165082757

    Title: LEGO® Creator Surfermobil, 31079
    Price: 3.67€
    Old Price: 29.99€
    Savings: 88%
    url: real.de/product/323212675/?id_unit=383165082677

    Title: LEGO® Disney Arielles königliches Hochzeitsboot, 41153
    Price: 6.21€
    Old Price: 49.99€
    Savings: 88%
    url: real.de/product/323118183/?id_unit=383165082844 (bearbeitet)
  17. RaverTux's Profilbild
    Autor*in
    xWolf10.09.2019 12:17

    Lässt sich herausfinden, ob es direkt von Real.de war oder ein Händler?Bei …Lässt sich herausfinden, ob es direkt von Real.de war oder ein Händler?Bei Real gibts ja fast täglich irgendwelche Preisfehler, welche dann zu 99% storniert werden.


    Leider nicht mehr, schreibe nur die Infos aus der Email weg, für den Händler müsste ich jeden Artikel öffnen

    Vieles wird storniert, ein paar Sachen habe ich aber auch schon sehr günstig tatsächlich bekommen.
  18. RaverTux's Profilbild
    Autor*in
    Garcia10.09.2019 12:17

    Real ist nur ein Marktplatz. Preisfehler werden in der Regel storniert.Bei …Real ist nur ein Marktplatz. Preisfehler werden in der Regel storniert.Bei Shops, wo alles stärker automatisiert ist, z. B. Amazon - und da auch nur bei Artikeln mit Versand durch Amazon - würde dein Skript vielleicht Sinn machen. Wobei ich ganz grundsätzlich nichts vollautomatisch kaufen lassen würde. Dafür sind die Shops, auch Amazon, zu schlecht gepflegt.


    Joa, meistens wird storniert, aber nicht alles. Ich kaufe erst automatisch ab recht hohem Rabatt und dann auch nur in Kategorien wo ich das Zeug auf jeden Fall will.

    Stornieren geht ja immer noch recht schnell im Notfall
's Profilbild