Spider trap

Eine Spider trap (wörtlich „Spinnen-Falle“) ist eine Web-Struktur, die unerwünschte Webcrawler erkennen und optional an der Erfassung der Inhalte einer Website hindern soll.

Das Ziel ist, unerwünschte Webcrawler, die Spam verbreiten oder Sicherheitslücken ausfindig machen sollen, von der Erfassung eines Internetinhalts auszuschließen, während erwünschte Crawler, wie die Bots von Suchmaschinen, in ihrer Arbeit nicht beeinträchtigt werden und menschliche Besucher in ihrem Erlebnis nicht beeinträchtigt werden.

Die Spider Trap nutzt den Umstand, dass sich erwünschte Bots an die von ihm definierte Regeln (z. B. in einer robots.txt-Datei) halten und somit bestimmte Inhalte einer Website ignorieren. Unerwünschte Crawler halten sich in der Regel nicht an derartige Vorschriften. Daher ist es dem Entwickler möglich, einen für den Benutzer unsichtbaren und für einen erwünschten Crawler gesperrten Link zu platzieren, der zur Sperrung der durch den unerwünschten Crawler verwendeten IP-Adresse führt.

Für den Fall, dass sich ein Besucher auf diese Sperrseite verirrt, kann die Möglichkeit geboten werden, durch ein CAPTCHA die Sperrung aufzuheben.

Content Disclaimer

Informasi ini disarikan dari Wikipedia dan disajikan kembali untuk tujuan edukasi. Konten tersedia di bawah lisensi CC BY-SA 3.0. Kami tidak bertanggung jawab atas ketidakakuratan data yang bersumber dari kontribusi publik tersebut.

  1. The information displayed on this website is sourced in part or in whole from Wikipedia and has been adapted for the purpose of restating it. We strive to provide accurate and relevant information, however:
  2. There is no guarantee of absolute accuracy. Wikipedia is an open, collaborative project that can be edited by anyone, so information is subject to change.
  3. It is not intended to constitute professional advice. The content displayed is for informational and educational purposes only. For important decisions (e.g., medical, legal, or financial), please consult a professional.
  4. Content copyright. Wikipedia is licensed under the Creative Commons Attribution-ShareAlike License (CC BY-SA). This means that content may be reused with appropriate attribution and shared under a similar license.
  5. Responsible use. Any risk arising from the use of information from this website is entirely the responsibility of the user.