Honda Forum & Tuning - MaXReV
     [ erweiterte Suche ]

»IP Firewall blockt nun Spam-Bots

Problem mit überlangen Links vielleicht gelöstNeues Thema eröffnenNeue Antwort erstellenDas Thema einem Freund empfehlenDas Thema druckenmaxrev Marke: Publicis Groupe S.A. hat Widerspruch eingelegt
Seite 1 von 1 [10 Beiträge]
AutorNachricht
Administrator 


Name: Marc
Geschlecht:
Anmeldedatum: 28.08.2004
Beiträge: 40890
Chats: 11134
Wohnort: Hennef


Meine eBay-Auktionen:
06.01.2012, 12:26


Hi,

ich habe eine kleine simple Firewall innerhalb von PHP realisiert. Bei jedem Aufruf prüft das Script ob die Datei "firewall/123.456.789.txt" existiert und wenn ja dann stoppt das Script noch bevor irgendwelche belastenden Dateien geladen werden (wie z.B. die Datenbankverbindung usw.). Auf der Stopp-Seite erscheint dann ein reCaptcha und wenn man das erfüllt, dann wird die IP wieder freigeschaltet (für den Fall, dass der Bot eine reguläre IP geklaut hat).

Hier das Script, falls jemand was ähnliches realisieren möchte:
   Code:
// firewall
if (file_exists('firewall/' . $client_ip . '.txt')) {
include('includes/recaptchalib.php');
if (isset($_POST['submit'])) {
$privatekey = 'Dein_Private_Key';
$resp = recaptcha_check_answer ($privatekey,
                                                               $client_ip,
                                                               $_POST['recaptcha_challenge_field'],
                                                               $_POST['recaptcha_response_field']);
if (!$resp->is_valid) {
die('Wrong! (reCAPTCHA: ' . $resp->error . ')');
}
else {
unlink('firewall/' . $client_ip . '.txt');
header('HTTP/1.1 302 Found');
header('Location: http://' . $_SERVER['SERVER_NAME']);
}
}
else {
$publickey = 'Dein_Public_Key';
echo '<html><head><title>Firewall</title></head><body><div><form method="post" action="./">' .
recaptcha_get_html($publickey) .
'<input name="submit" type="submit"></form></div></body></html>';
}
exit;
}


Wann Ihr eine IP sperrt müsst Ihr selber entscheiden. Dazu kann man versteckte Formulare nutzen, Verlinkungen, Grafiken usw. Oder man sperrt die IP bei bestimmten User-Agents oder wenn gegen die robots.txt verstoßen wird usw.

Wer will kann sich das Script auch anpassen und stattdessen mit memcache arbeiten. Das spart dann sogar die Zugriffe auf die Platte. Von einer Variante mit MySQL solltet Ihr Abstand halten (kostet unnötig Performance).

Vorteile der Firewall:
Der Vorteil ist, dass Spam-Bots nicht länger den Server mit unsinnigen Abfragen belasten. D.h. sie können die Seite nicht mehr Kopieren oder mit Spam befeuern.

Firewall-Statistik (live)

  • 92.113.52.xxx (06.01.2012 11:17 Uhr)
  • 46.116.8.xxx (06.01.2012 10:24 Uhr)
  • 95.169.210.xxx (27.01.2012 10:01 Uhr)
  • 46.17.97.xxx (11.01.2012 19:21 Uhr)
  • 46.105.144.xxx (10.02.2012 05:20 Uhr)
  • 188.163.71.xxx (05.01.2012 15:22 Uhr)
  • 112.173.228.xxx (05.01.2012 15:31 Uhr)
  • 80.87.145.xxx (21.01.2012 06:00 Uhr)
  • 79.221.116.xxx (05.01.2012 15:42 Uhr)
  • 46.17.97.xxx (12.01.2012 21:10 Uhr)
  • 117.26.203.xxx (05.01.2012 15:51 Uhr)
  • 113.106.194.xxx (01.02.2012 13:08 Uhr)
  • 130.0.33.xxx (05.01.2012 16:08 Uhr)
  • 91.224.161.xxx (17.01.2012 01:56 Uhr)
  • 91.207.4.xxx (07.01.2012 05:01 Uhr)
  • 199.19.107.xxx (08.02.2012 23:56 Uhr)
  • 110.164.3.xxx (05.01.2012 17:36 Uhr)
  • 91.210.104.xxx (15.02.2012 05:21 Uhr)
  • 188.115.167.xxx (05.01.2012 18:22 Uhr)
  • 66.96.226.xxx (07.01.2012 04:53 Uhr)
  • 81.201.17.xxx (06.01.2012 19:10 Uhr)
  • 96.9.145.xxx (12.01.2012 22:37 Uhr)
  • 95.171.55.xxx (05.01.2012 18:56 Uhr)
  • 109.230.244.xxx (06.01.2012 05:43 Uhr)
  • 59.60.123.xxx (05.01.2012 21:26 Uhr)
  • 2.83.102.xxx (05.01.2012 19:45 Uhr)
  • 178.9.116.xxx (05.01.2012 20:25 Uhr)
  • 46.17.97.xxx (24.01.2012 09:02 Uhr)
  • 188.143.233.xxx (02.02.2012 18:29 Uhr)
  • 195.162.68.xxx (10.01.2012 22:13 Uhr)
  • 109.230.245.xxx (05.02.2012 01:32 Uhr)
  • 109.169.67.xxx (05.01.2012 21:25 Uhr)
  • 189.110.234.xxx (06.01.2012 17:54 Uhr)
  • 222.186.17.xxx (21.01.2012 08:53 Uhr)
  • 91.222.115.xxx (17.01.2012 18:01 Uhr)
  • 188.227.177.xxx (19.01.2012 23:20 Uhr)
  • 31.184.236.xxx (05.01.2012 23:04 Uhr)
  • 31.184.236.xxx (05.01.2012 23:07 Uhr)
  • 109.230.251.xxx (07.01.2012 00:51 Uhr)
  • 188.165.232.xxx (05.01.2012 23:36 Uhr)
  • 84.60.119.xxx (05.01.2012 23:43 Uhr)
  • 193.105.210.xxx (24.01.2012 10:21 Uhr)
  • 109.230.217.xxx (08.02.2012 03:54 Uhr)
  • 46.251.237.xxx (03.02.2012 12:07 Uhr)
  • 87.157.210.xxx (08.01.2012 16:24 Uhr)
  • 46.17.99.xxx (30.01.2012 18:40 Uhr)
  • 46.21.144.xxx (15.02.2012 16:22 Uhr)
  • 81.0.104.xxx (29.01.2012 02:52 Uhr)
  • 109.230.246.xxx (06.01.2012 02:18 Uhr)
  • 220.161.150.xxx (15.02.2012 17:09 Uhr)
  • 46.17.98.xxx (06.01.2012 02:48 Uhr)
  • 188.163.65.xxx (06.01.2012 02:54 Uhr)
  • 46.17.100.xxx (06.02.2012 15:51 Uhr)
  • 91.207.8.xxx (06.01.2012 03:39 Uhr)
  • 217.174.231.xxx (06.01.2012 03:47 Uhr)
  • 46.115.17.xxx (23.01.2012 20:02 Uhr)
  • 110.164.3.xxx (06.01.2012 03:48 Uhr)
  • 71.232.82.xxx (06.01.2012 03:48 Uhr)
  • 212.154.253.xxx (06.01.2012 03:49 Uhr)
  • 178.33.109.xxx (14.02.2012 16:58 Uhr)
  • 176.65.164.xxx (13.02.2012 17:38 Uhr)
  • 109.230.246.xxx (18.01.2012 09:32 Uhr)
  • 74.118.193.xxx (06.01.2012 05:43 Uhr)
  • 2.93.77.xxx (06.01.2012 05:59 Uhr)
  • 109.230.216.xxx (06.01.2012 06:06 Uhr)
  • 194.146.231.xxx (06.01.2012 08:27 Uhr)
  • 24.10.124.xxx (10.01.2012 00:28 Uhr)
  • 109.104.166.xxx (09.01.2012 09:09 Uhr)
  • 94.45.172.xxx (06.01.2012 10:10 Uhr)
  • 91.207.7.xxx (09.01.2012 09:44 Uhr)
  • 46.17.96.xxx (14.01.2012 11:24 Uhr)
  • 46.17.98.xxx (30.01.2012 09:50 Uhr)
  • 88.190.241.xxx (09.01.2012 15:41 Uhr)
  • 212.235.107.xxx (06.01.2012 14:27 Uhr)
  • 213.4.99.xxx (14.03.2012 15:16 Uhr)
  • 210.164.226.xxx (06.01.2012 15:39 Uhr)
  • 62.75.181.xxx (06.02.2012 07:22 Uhr)
  • 79.170.50.xxx (06.01.2012 16:59 Uhr)
  • 46.17.100.xxx (25.01.2012 02:02 Uhr)
  • 186.15.29.xxx (19.01.2012 04:07 Uhr)
  • 93.104.222.xxx (06.01.2012 17:50 Uhr)
  • 173.242.121.xxx (06.01.2012 17:51 Uhr)
  • 91.224.160.xxx (31.01.2012 15:43 Uhr)
  • 79.222.193.xxx (06.01.2012 18:35 Uhr)
  • 31.181.100.xxx (06.01.2012 18:54 Uhr)
  • 77.122.18.xxx (30.01.2012 11:21 Uhr)
  • 178.165.161.xxx (06.01.2012 20:04 Uhr)
  • 193.105.210.xxx (16.01.2012 00:36 Uhr)
  • 91.223.180.xxx (06.01.2012 21:35 Uhr)
  • 195.190.13.xxx (06.01.2012 22:08 Uhr)
  • 188.143.232.xxx (11.02.2012 07:39 Uhr)
  • 85.238.111.xxx (07.01.2012 05:13 Uhr)
  • 31.214.133.xxx (19.01.2012 17:20 Uhr)
  • 178.210.216.xxx (09.02.2012 03:52 Uhr)
  • 27.159.203.xxx (07.01.2012 00:48 Uhr)
  • 199.15.234.xxx (18.01.2012 00:39 Uhr)
  • 107.20.161.xxx (07.01.2012 02:04 Uhr)
  • 190.248.67.xxx (07.01.2012 02:30 Uhr)
  • 195.162.69.xxx (30.01.2012 13:45 Uhr)
  • 3849 IPs insgesamt

Zuletzt bearbeitet von mgutt am 24.02.2012, 11:53, insgesamt 6-mal bearbeitet
Nach obenprofil pn email
Veteran 


Geschlecht:
Fahrzeug: Civic EG4*R.I.P*, EJ9*SOLD*,CRX ED9*SOLD*, EJ6*Reperaturen/Kleinere Umbauarbeiten*
Anmeldedatum: 10.01.2009
Beiträge: 695
Chats: 40288
Wohnort: Cottbus


Meine eBay-Auktionen:
07.01.2012, 23:51


yeha supii :) immer aussperren was man nicht brauch schöne idee
Nach obenprofil pn
Junior 


Name: Florian
Geschlecht:
Fahrzeug: Prelude BB9
Anmeldedatum: 30.04.2010
Beiträge: 96
Chats: 0
Wohnort: 79713 & 30900
12.01.2012, 21:17


Ich will dir da garnicht in die Technik reinreden, dazu kenn ich den Hintergrund des Projektes nicht genug.
Aber da ich vermute das dies auf Linuxbasis läuft, wäre es nicht besser sowas an z.B. fail2ban zu übergeben?
Dieses reagiert auf bestimmte Massenzugriffe (Regexp) in der access.log des Webservers und sperrt die entsprechende IP dann direkt für einen Port für Zeit X ,nachdem dies Anzahl Y aufgetreten ist, mittels iptables oder entsprechenden Paketfiltern.
Somit würden weitere Anfragen garnicht erst vom Server bearbeitet, sondern Pakete werden direkt gedropt. Auch ergibt sich hierdurch nach der Konfiguration ein gewisser Automatismus und es entfällt ein größerer Pflegeaufwand.

Somit könnte man auch direkt Spider von bestimmten Diensten aussperren, auch wenn diese die robots.txt ignorieren. Durch die Nutzung von regular expressions ist eine größere Bandbreite an Möglichkeiten gegeben, auch für z.B. andere Dienste.

Zuletzt bearbeitet von Chimera am 12.01.2012, 21:21, insgesamt einmal bearbeitet
Nach obenprofil pn
Premium-Member 


Name: Woll-E
Geschlecht:
Fahrzeug: Honda CRX ED9 '91
Anmeldedatum: 03.05.2009
Beiträge: 18791
Chats: 781
Wohnort: MaxRev.de - Zweitwohnsitz Köln Porz
13.01.2012, 01:44


Die Firewall, die du meinst, ist dafür ungeeignet, da du damit den Content der Abfragen nicht richtig nachvollziehen kannst. Die Lösung von Marc soll verhindern, dass sich Spambots hier anmelden und einfach rumspamen können wie sie wollen. Die kannst du auch nicht mit fail2ban (wie der Name schon sagt) bannen, da die keinen fail produzieren.
Nach obenprofil pn
Administrator 


Name: Marc
Geschlecht:
Anmeldedatum: 28.08.2004
Beiträge: 40890
Chats: 11134
Wohnort: Hennef


Meine eBay-Auktionen:
13.01.2012, 07:30


Klar ist es von der Performance her besser, wenn man mit iptables blockt. Noch besser wäre eine Hardware-Firewall.

Von solchen Lösungen halte ich nichts, weil man da kein Captcha ausgeben kann, außer man programmiert eine Schnittstelle zwischen Webserver und Firewall. Da so eine Lösung aber sehr speziell ist und Umstellungen auf neue Server kompliziert macht, lasse ich lieber gleich die Finger davon. Das gibt immer nur Stress und der Vorteil ist marginal.

Und ohne Captcha ist doof, weil es immer sein kann, dass ein Angreifer eine öffentliche IP genutzt hat (z.B. Trojaner-verseuchter Rechner). Es wartet kein Besucher 24 Stunden bis eine automatische Bereinigung erfolgt.

Verfasst am: 13.01.2012, 07:33

P.S. die Login-Seite ist für Crawler verboten:
http://www.maxrev.de/robots.txt

Entsprechend sind aktuell nur böse Bots betroffen. Allerdings werde ich noch für böse Crawler, die keine Formulare absenden, sondern nur Links folgen einen Link auf die Startseite packen, dessen Aufruf auch sofort zur Sperre führt ;)

Verfasst am: 13.01.2012, 07:34

Was ich übrigens auch interessant finde, ist dass die Bots sehr häufig den User Agent vom Internet Explorer 6 senden. Ich denke mal die Statistiken, die man häufig findet, wo der IE6 noch so und so viel Prozent der Besucher ausmacht, kann man wohl vergessen. Alles nur Bots ^^
Nach obenprofil pn email
Junior 


Name: Florian
Geschlecht:
Fahrzeug: Prelude BB9
Anmeldedatum: 30.04.2010
Beiträge: 96
Chats: 0
Wohnort: 79713 & 30900
13.01.2012, 20:44


Oh ja, aber die Auswertungen der access Logs sind ohnehin nur Schätzwerte.
Aber stimmt schon, rein Spammer sind damit kaum zu bekommen, es sei denn diese verwenden immer andere Aufrufe als ein regulärer Zugriff.
Die Sperrfrist muss ja nicht auf 24h liegen, 20 oder sogar 10 Minuten können da schon Wunder vollbringen.


Sollte aber auch nur als Anstoß dienen, falls das evtl. noch garnicht in Betracht gezogen war.
Nach obenprofil pn
Administrator 


Name: Marc
Geschlecht:
Anmeldedatum: 28.08.2004
Beiträge: 40890
Chats: 11134
Wohnort: Hennef


Meine eBay-Auktionen:
21.01.2012, 16:24


Auf der Startseite ist jetzt ein Link, der einen auf eine Seite führt, die laut robots.txt verboten ist. Wird der Link geöffnet, so löst das automatisch eine Sperre der IP aus. Damit sind nun auch böse Crawler abgedeckt, die sich nicht an die robots.txt halten. :)
Verfasst am: 15.02.2012, 17:13

Die Firewall blockiert nun alle Zugriffe, die in Ihrem User Agent "HTTrack" angegeben haben.

HTTrack ist eine Software, die Privatpersonen ermöglicht unsere Website inkl. aller Bilder herunterzuladen:
http://de.wikipedia.org/wiki/HTTrack_Website_Copier

Da unsere Website aber aus mehreren Millionen Dateien besteht, würde der Kopiervorgang vermutlich eh nie enden und wir möchten auch gar nicht, dass jemand unsere Seite kopiert, geschweige denn unsere Server mit solchen Anfragen belastet.
Nach obenprofil pn email
Gast 

15.02.2012, 17:13


Mach mit!

Wenn Dir die Beiträge gefallen haben oder Du noch Fragen hast oder Ergänzungen machen möchtest, solltest Du Dich gleich bei uns anmelden:

    » Anmelden

Registrierte Mitglieder genießen die folgenden Vorteile:
✔ kostenlose Mitgliedschaft
keine Werbung
✔ direkter Austausch mit Gleichgesinnten
✔ neue Fragen stellen oder Diskussionen starten
✔ schnelle Hilfe bei Problemen
✔ Bilder und Videos hochladen
✔ und vieles mehr...
Nach oben
Seite 1 von 1 [10 Beiträge]
Neues Thema eröffnenNeue Antwort erstellen
Ähnliche BeiträgeRe:HitsLetzter Beitrag
Neuer Auspuff nun passt die Hecklippe nicht mehr!Was nun?
Hallooo Habe mir vor einiger Zeit einen neuen Auspuff an meinen Civic gemacht nun habe ich leider folgendes Problem nun passt meine Hecklippe nicht mehr weil der Spalt wo das Renngitter ist zu schmal ist! Nun habe ich überlegt ein kleines Stück aus der...
[Civic 92-95]von Honigkuchen
525726.08.2009, 13:41
RGT
so...nun wieder on :D
so leute Ich bin nun wieder on... das kleine forum ist zwar noch im aufbau aber schaut ruhig mal vorbei! http://japanracers-th.forumieren.com/index.htm Mfg...
[JapanRacers-Thüringen]von civic90
125730.01.2011, 10:19
ed6_Style
Austauschmotor was nun????
Servus und guten Abend Cool Situation:Motor verreckt Austauschmotor gekauft! Motor wurde von meinem Schwager bei Mkb überholt Zahnriemen,Zylinderkopfdichtung usw. dabei hat er festgestellt das zwei Auslassventille leicht verbogen sind Nein Nein lch...
[CRX]von Pablo
9100902.02.2007, 22:43
CruX
Benzindiebe! Was nun?
Hi, da lässt man sein Auto einmal nachts bei nem Kumpel stehn um mal einen zu Trinken und früh ist dann der Tankdeckel offen...der Tankverschluss fehlt und aus dem Tank grinst einen ein Stück Schlauch an :twisted: Da Sie den Tankdeckel...
Seite 2 [Civic 96-00]von Thundar
14124507.08.2005, 15:04
Hornisborn
Doppelversicherung, was nun?
Hallo Gemeinde! Hab ein kleines Problem am Hals. Ich hab die KFZ versicherung meines Wagens gewechselt und wundere mich warum im neuen Jahr immer noch noch Geld von der alten Versicherung abgebucht wird. Ich hab nun bei der Versicherung angerufen und...
[Verkehrsrecht]von Type-R/pm
297904.03.2010, 06:42
CRX-Vorschi
Nun ist er da
Hier ist der neue Insi, ein 2.0T 4x4, basierend auf der Sport-Ausstattung. Alles drin, alles dran: Recaros, 20-Zoll, Soundsystem, Standheizung, Anhängerkupplung und und und. Eigentlich alles außer Abstandstempomat, Heckscheibenwischer (häßlich),...
von Sven76
39326.04.2012, 07:52
Sven76
Pleuellagerschaden, was nun?
Habe einen Pleullagerschaden an meinem Sol! Nun ist die Frage, was kostet das zu reparieren wenn ich es machen lasse inna Werkstatt, bekomme ich die Lager auch selbst und kann sie einbauen? Schwerer Aufwand? Auch gebraucht zu bekommen? Fragen über...
[Del Sol]von naugthy
146329.04.2011, 07:30
fago88
Spam Mails: The best of
:laugh: Die Mail war die beste die ich je bekommen habe glaube ich: Hallo! Mich rufen Darya. Ich wurde auf dieser Web-Seite nur aus einem Grund registriert: ich suche den sicheren und sorgsamen Menschen, der fertig zur Bildung der ernsten Beziehungen...
Seite 2, 3 [Offtopic]von Mattes
2094609.09.2009, 15:22
JazzDriver
 eckel Spam
bestimmt kennt es einer diese spam mails mit den singel ladys :hrhr: wo alle gleich heissen und alle ausm gleichen dorf kommen :laugh: aber das was ich gerad sehen musste ist ja mal der Hammer :laugh: :suspekt: lange nicht rasiert?? oder doch...
Seite 2 [Offtopic]von Hashiriya
1785624.05.2007, 22:16
Tyson.GoD`
Spam Nachricht???
Hab grad folgene Nachricht erhalten: "Hallo Liebe!! . Wie geht es dir, ich hoffe, du bist ok, sah ich Ihre schönen Grüßen Profil auf (maxrev.de)und wünschen Ihnen für mich zu kontaktieren, um Sie kennen den more.My E-Mail-ID...
[Allgemein]von 22cdi
317110.11.2010, 14:52
Hondacreaw/Milos
Sponsor: Turbotoy Performance
Turbotoy Performance

© 2004 - 2012 www.maxrev.de (srv02) | Communities | Impressum