» Die eigene Suchmaschine bauen - Studenten haben es gemacht

Toller CAT6 Stecker, der leicht anzuklemmen ist und mit CAT7-Verlegekabel funktioniertNeuen Thread eröffnenNeue Antwort erstellenSophos Anti-Virus Preise?
AutorNachricht
Administrator 

Name: Marc
Geschlecht:
Anmeldedatum: 28.08.2004
Beiträge: 50722
Chats: 11159
Wohnort: Hennef


Meine eBay-Auktionen:
26.01.2015, 09:53
zitieren

Das Experiment ist schon eine ganze Zeit her. Und zwar fand es im Jahr 2008 statt. Die Studenten Hsin-Tsang Lee, Derek Leonard, Xiaoming Wang und Dmitri Loguinov der Texas A&M Universität stand dafür ein Quad-CPU AMD Opteron 2.6 GHz Server mit 16 GB RAM und 24-disk RAID-5 zur Verfügung der am Campus mit 1 Gbit/s angebunden war.

In 41 Tagen haben sie damit 7,6 Milliarden Abfragen abgesendet und 7,4 Milliarden Antworten von 117 Millionen Hosts (IPs und Domains) erhalten. Sie konnten dann 6,4 Milliarden HTML Seiten herunterladen (Status-Code 200).

Insgesamt fanden Sie in den HTML Dokumenten 641 Millionen Hosts. Wobei viele Spam URLs schon aussortiert wurden.

Durchschnittlich wurden 319 MB/sec (1.789 Seiten) heruntergeladen. Die Seiten waren insgesamt 178 TB groß, wovon alleine 254 GB auf die robots.txt der Seiten entfiel.

Sie haben sogar eine kleine Backlink-Tabelle erstellt, wobei ich mich wundere wie Microsoft so einen großen Anteil erreichen konnte.

Schlussendlich sieht man aber wie viel Aufwand die Suchmaschinen haben, die ja deutlich mehr machen als nur herunterladen und Links rausfiltern. Gerade für die Positionen in den Suchergebnissen werden ja heute deutlich mehr Faktoren berücksichtigt als die Anzahl der Backlinks.


 
2015-01-26 10_49_14-2008-IRLBot.pdf.png
2015-01-26 10_49_14-2008-IRLBot.pdf.png - Angeschaut: 55 mal
2008-IRLBot.pdf


pdf

 Download

Dateigröße: 504,69KB
Heruntergeladen: 3 mal


pn email
Gast 
26.01.2015, 09:53
zitieren

Mach mit!

Wenn Dir die Beiträge zum Thread "Die eigene Suchmaschine bauen - Studenten haben es gemacht" gefallen haben oder Du noch Fragen hast oder Ergänzungen machen möchtest, solltest Du Dich gleich bei uns anmelden:



Registrierte Mitglieder genießen die folgenden Vorteile:
✔ kostenlose Mitgliedschaft
keine Werbung
✔ direkter Austausch mit Gleichgesinnten
✔ neue Fragen stellen oder Diskussionen starten
✔ schnelle Hilfe bei Problemen
✔ Bilder und Videos hochladen
✔ und vieles mehr...


Neuen Thread eröffnenNeue Antwort erstellen
Ähnliche BeiträgeRe:
Letzter Beitrag
 Dinge die Ihr bereut gemacht zu haben
Hi leute, was habt Ihr mal gemacht das Ihr jetzt richtig bereut?? Also ich war mal betrunken beim Tattowierer und dadurch habe ich jetzt den Namen meiner Exfreundinn am rechten Unterarm stehen, und zwar so das es ein blinder noch lesen kann. :wall:...
Seite 2, 3 [Offtopic]von white_dream
24
1.726
22.11.2007, 21:25
Konis
Die haben Google kaputt gemacht: Ein HTML5 Experiment
Hi, schaut mal auf die Seite: http://mrdoob.com/projects/chromeexperiments/google_gravity/ Google ist kaputt :cry: Das funktioniert übrigens nur in FF, Chrome und Safari so viel ich...
[Computer & Spiele]von mgutt
4
3.657
23.07.2010, 17:50
mgutt
Schüler und Studenten haben keine Ahnung von Finanzthemen...
...so lautet ein häufig zitiertes Vorurteil, wenn es um die Wissensbewertung genau dieser Zielgruppe hinsichtlich Finanzthemen geht. Aber ist das auch wirklich so? Und wenn ja, wo liegen die Gründe dafür? Meine Gymnasial- und Studienzeit liegt nun...
von Anlegermesse
11
382
02.10.2013, 14:00
Nelsan
Heute is es passiert... die Grünen haben mich erwischt
Ja so war das genau heute 11 Uhr... So ne Sche*** :cry: Mein Civic wurde sichergestellt... ich seh ihn erst in vermutlich 2 Wochen wieder :cry: 3 Punkte für Unterbodenbeleuchtung (<- dachte immer man darf sie dran haben, aber eben nicht...
Seite 2, 3, 4, ... 10, 11, 12 [Verkehrsrecht]von Master Fu
111
8.296
12.06.2006, 16:01
import-ant
 Gibt es Leute die Interesse an dem Honda Kompressorkit haben?
Hi, gibt es hier Leute die wirklich interesse an dem Kompressorkit haben? ggf kann man sich ja dann iwie zusammen tun um das "durchzuziehen". Gruß...
[CRZ]von Shell@Castrol
5
214
03.01.2014, 16:09
Shell@Castrol
 next/prev für die Suchmaschine
Die Suchmaschinen möchten einen Zusammenhang der Seiten eines Thread genannt bekommen. Wir kommen diesem Wunsch nun nach und haben das <link rel="prev"> bzw. <link rel="next"> hinzugefügt. Google erklärt in diesem Video...
[Ankündigungen]von mgutt
0
19
23.04.2015, 18:20
mgutt
Accord 2.2i es 150ps. Mehr Dampf? Wie habt ihr es gemacht
Hallöle. Hatte gestern ähnliche Frage zum Civic gestellt. Selbiger kommt allerdings nicht mehr in Frage. Bin nun beim Händler auf einen töften Accord (Bj '95) gestoßen. An dem hätte ich auch noch Spaß. Morgen Termin zur Probefahrt. Wenn er dort...
[Accord 02-08]von Autofahra
3
519
14.06.2006, 22:01
Autofahra
 An die Studenten
was schreibt ihr gerade??? habe heute catia geschrieben und hatte nicht genug zeit. erst fing er erst um 9.10 an und dann auf einmal sagt der idiot noch, dass wir nur 60 min schreiben. und ich bin sicher, dass prof sagte, dass wir 90 min...
Seite 2 [Offtopic]von Jay Geeno™
15
935
06.07.2007, 18:45
Chris 1985
Welche Vorteile hat die eigene Verwertung durch die Unis
Welche Vorteile hat die eigene Verwertung durch die Universität von...
von Markus01
2
245
12.09.2009, 17:29
calimera
Studenten (m/w) für die Entwicklung mobilerApps gesucht
Dein Smartphone ist dein ständiger Begleiter? Du denkst nur noch in Apps, hast neue Ideen und willst andere davon begeistern? Bei uns hast du die Möglichkeit dazu! Als Student (m/w) hast du die Chance, dein Wissen in der Praxis eines großen...
von Unister
0
447
17.05.2011, 09:05
Unister
Sponsor: R-parts
R-parts

© 2004 - 2016 www.maxrev.de | Communities | Impressum |