Honda Forum & Tuning - MaXReV
     [ erweiterte Suche ]
Board-AnkündigungenRe:HitsLetzter Beitrag
Auto Probefahrt: Hier kostenlos anmelden (auch Testfahrer)
Jetzt (2012) eine neue Aktion, wo auch ein Honda Civic dabei ist: Beitrag aus 2010: Hi, ich hatte ein nettes Gespräch mit dem Betreiber von autoprobefahrten.de. Dort kann man sich kostenlos für Probefahrten...
Seite 2, 3, 4, 5, 6 [Allgemein]von mgutt
52541901.06.2012, 15:34
mgutt

»Neue Server für Filesystem und Datenbank

Hilfe SpamNeues Thema eröffnenNeue Antwort erstellenDas Thema einem Freund empfehlenDas Thema druckenZwischenspeicher System testweise installiert
Seite 1 von 3 [30 Beiträge]
Seite: 1, 2, 3 Weiter
AutorNachricht
Administrator 


Name: Marc
Geschlecht:
Anmeldedatum: 28.08.2004
Beiträge: 40910
Chats: 11134
Wohnort: Hennef


Meine eBay-Auktionen:
25.09.2009, 09:04


Hallo,

auf Grund der aktuellen Lastspitzen, haben wir uns dazu entschlossen erneut einen Serverwechsel durchzuführen.

Diesmal wird der Sprung aber größer sein. Der letzte Server war ein:
AMD Opteron DualCore
- 4 GB Arbeitsspeicher
- 150 GB Festplatte
- Traffic unlimitiert
- zusätzliche Backup-Festplatte

Jetzt wechseln wir auf zwei:
AMD Phenom QuadCore
· 8 GB Arbeitsspeicher
· 750 GB Festplatte SATA
- Traffic unlimitiert
- zusätzliche Backup-Festplatte

Jeweils ein Server für das Filesystem und der Zweite für die MySQL-Datenbank. Damit können wir in Zukunft auch zwischen den Auslastungen unterscheiden und spezielle Optimierungen durchführen.

Damit steigen zwar auch die Kosten auf 400,- EUR pro Monat zzgl. der Backup-Platten, aber ich werde bei uns ein paar weitere Änderungen durchführen, die das dann soweit erlauben (zwei Kundenserver werden mangels Kunden auf einen reduziert).

Zumindest sollte dann genug Puffer für die Partnerforen zur Verfügung stehen, so dass sich die Projekte nicht gegenseitig in die Quere kommen.

Die Bestellung geht die nächsten Tage raus. Danach wird es vermutlich nur wenige Tage dauern (übernächstes Wochenende), da genug Server auf Lager sind.

Gruß
Nach obenprofil pn email
Premium-Member 


Name: Woll-E
Geschlecht:
Fahrzeug: Honda CRX ED9 '91
Anmeldedatum: 03.05.2009
Beiträge: 18803
Chats: 781
Wohnort: MaxRev.de - Zweitwohnsitz Köln Porz
25.09.2009, 23:39


Hast du dich denn mittlerweile schlau gemacht, woran es mit der Auslastung liegt? Vielleicht brauchst du gar nicht umziehen. Ich finde, dass der oben genannte Root völlig ausreicht... :) Musst dich ja nicht in Unkosten stürzen. Ich würd einfach mal schauen woher die Spitzen kommen.. vielleicht ist es einfach nur eine verbuggte Apache / MySQL Version.
Nach obenprofil pn
Administrator 


Name: Marc
Geschlecht:
Anmeldedatum: 28.08.2004
Beiträge: 40910
Chats: 11134
Wohnort: Hennef


Meine eBay-Auktionen:
26.09.2009, 07:13


Da wir auch Performance für carhififorum.de, psforum.de etc. brauchen, die ja alle auf dem gleichen Server liegen, bleibt mir eigentlich keine andere Option. Auch ist der aktuelle Server schon früher am Limit gewesen:
http://www.maxrev.de/server-auslastung-t10831,start,40.htm#pic92606

Erst durch zahlreiche Performanceverbesserungen, konnten wir das in den Griff kriegen.

Ich glaube daher nicht, dass der neue Server viel länger durchhalten wird.

Da ich alles neu strukturiere, kosten mich die Server insgesamt 140,- EUR mehr pro Monat. Das ist zu verkraften, da wir in der Zukunft denke ich wieder gute Werbepartner bekommen werden (das ist das was Du nicht siehst :P). Ich war jetzt auf einer Messe in Köln. Da war ein Anbieter, der sich extra um die Vermarktung von Autoseiten kümmert. Vielleicht kommen wir da an bessere Werbeverträge dran, mal sehen.

Wichtig ist nur eben, dass wir unsere Suchmaschinenpositionen halten oder sogar verbessern. Diese finanzieren uns schließlich zum größten Teil.
Nach obenprofil pn email
Premium-Member 


Name: Woll-E
Geschlecht:
Fahrzeug: Honda CRX ED9 '91
Anmeldedatum: 03.05.2009
Beiträge: 18803
Chats: 781
Wohnort: MaxRev.de - Zweitwohnsitz Köln Porz
26.09.2009, 08:39


Ich versuche lediglich zu helfen ^^ du machst das schon.
Nach obenprofil pn
Administrator 


Name: Marc
Geschlecht:
Anmeldedatum: 28.08.2004
Beiträge: 40910
Chats: 11134
Wohnort: Hennef


Meine eBay-Auktionen:
26.09.2009, 09:50


Ich habe in den letzten Jahren immer von einem auf die neuere Generation gewechselt. D.h. jedes Jahr einen kleinen Sprung. Gelernt habe ich dadurch aber nichts, weil ich bis heute nicht weiß welcher Teil (Files oder Datenbank) eigentlich das Hauptproblem darstellt.

Und mit dem großen Sprung jetzt, hat man einfach mehr Puffer und muss nicht ständig an Optimierungen arbeiten, sondern kann sich auch wieder der Todo-Liste widmen. ;)

Vielleicht reicht es ja diesmal länger als 1-2 Jahre. Aber glauben tue ich nicht dran :P

Danach könnten wir noch auf 1-2 bessere Servergenerationen zugreifen und zuletzt kommt ein Loadbalancer-Konstrukt mit 2 Webservern und einem File- / Datenbankserver in Frage. Wobei ich das Loadbalancing nicht so gerne mag. Da ich glaube, dass es eher die Datenbank sein wird, würde ich eher versuchen mit mehreren Datenbankservern als Inselverbund zu arbeiten. Aber das ist noch Zukunft und wird in der Managedvariante ziemlich teuer (über 1.500,- EUR pro Monat).
Nach obenprofil pn email
Premium-Member 


Name: Woll-E
Geschlecht:
Fahrzeug: Honda CRX ED9 '91
Anmeldedatum: 03.05.2009
Beiträge: 18803
Chats: 781
Wohnort: MaxRev.de - Zweitwohnsitz Köln Porz
27.09.2009, 23:09


Loadbalancing halte ich einfach zu übertrieben für die Größenordnung hier. Naja, hab oben alles geschrieben - wenn du Hilfe brauchst bei der Fehlerlokalisierung, bin ich gern bereit zu helfen. Andernfalls viel Glück beim Umzug. ;)
Nach obenprofil pn
Administrator 


Name: Marc
Geschlecht:
Anmeldedatum: 28.08.2004
Beiträge: 40910
Chats: 11134
Wohnort: Hennef


Meine eBay-Auktionen:
28.09.2009, 06:53


Wie kannst Du denn helfen? Am häufigsten beschäftige ich mich hier mit der Generierung von Zwischenspeichern, um MySQL-Abfragen zu reduzieren.

Dabei bin ich jetzt darauf gekommen neben den Beiträgen in Topics auch die Autorendaten in einen Zwischenspeicher zu schreiben und diese dann minimal zeitversetzt auszuwerfen, falls sie öfter aktualisiert werden (z.B. der Beitragszähler).

Auf die Art sollen z.B. die Topic-Ansichten möglichst ohne DB-Abfragen auskommen.

Das wir kein Loadbalancing brauchen liegt übrigens nur an den zahlreichen Optimierungen, die wir bisher schon durchgeführt haben. Der Server würde sofort abstürzen, wenn ich den Cache deaktiviere :P
Nach obenprofil pn email
Premium-Member 


Name: Woll-E
Geschlecht:
Fahrzeug: Honda CRX ED9 '91
Anmeldedatum: 03.05.2009
Beiträge: 18803
Chats: 781
Wohnort: MaxRev.de - Zweitwohnsitz Köln Porz
28.09.2009, 09:14


Ich könnte dabei helfen, diese Spitzen zu suchen und ggf. zu neutralisieren. Ich glaube nicht, dass das einfach nur normale Besucherzahlen sind. Mich würde es wundern, wenn der jetzige Server unter dieser Last so ans Kotzen käme.

Die Idee mit dem Cache ist gut. Hast du auch einen PHP Cache aktiviert?
Nach obenprofil pn
Administrator 


Name: Marc
Geschlecht:
Anmeldedatum: 28.08.2004
Beiträge: 40910
Chats: 11134
Wohnort: Hennef


Meine eBay-Auktionen:
28.09.2009, 09:42


Ja natürlich. Es läuft aktuell xCache auf dem Server.

Mein Hauptproblem ist die rückwärtige Sortierung von Themen. D.h. die Abfrage auf der Startseite und der Forenansicht, sowie im Civic-Forum, Kleinanzeigen usw. Aber auch auf Profilen und in Feeds, die wir ja neuerdings auch auswerfen.

MySQL kommt nicht mit der Abfrage klar:
   Code:
SELECT t.*
FROM topics t
WHERE t.moved_id = 0
AND t.host_id = 1
ORDER BY t.last_time DESC
LIMIT 10


MySQL gibt als possible keys die aus (last_time hat natürlich auch einen):
moved_id,host_id

und nutzt dann diesen:
host_id

Dabei muss MySQL aber immer noch 92.495 Zeilen abarbeiten und mit where und filesort arbeiten.

Dieses Problem habe ich irgendwie immer, wenn ich rückwärts sortieren muss und parallel eine Where-Bedingung einsetze.

Wenn ich übrigens einen zweispaltigen Index auf moved_id und host_id setze, nutzt er trotzdem nur host_id als Index.

moved_id muss ausgeschlossen werden, damit nicht topics angezeigt werden, die kopiert wurden und auf ein anderes verweisen. Und host_id muss als Vergleichswert herhalten, da ich darüber zwischen topics aus maxrev.de und z.b. carhififorum.de unterscheide.

Ich habe vor lauter Verzweiflung schon überlegt, ob ich noch last_time einbeziehe und nur die Themen herausfiltere, die höchstens 30 Tage alt sind:
   Code:
AND t.last_time >=1251417600


Aber das Problem ist, dass nicht jede host_id Topics zu bieten hat, die innerhalb von 30 Tagen geschrieben wurden. Weiterhin löse ich damit nicht das Problem, dass ich bald in den Unterforen haben werde. Nämlich dann, wenn ein Unterforum ebenfalls 100.000 topics oder mehr enthält. Dann werden auch dort 100.000 Zeilen resultieren, die erstmal rückwärts sortiert werden müssen.

So nun bist Du dran :P

Verfasst am: 28.09.2009, 10:15

Ok, ich arbeite bei MaXReV nun mit einer extra Regel. D.h. da lese ich die letzten Beiträge so aus:
   Code:
AND t.last_time >= ' . intval(round((time() - 86400) / 600) * 600)


Ich runde das jeweils auf 10 Minuten, damit ich den Cache entsprechend lange nutzen kann. Aber das ist nicht ganz so wichtig, da der Cache bei den letzten Beiträgen eh nur 5 Sekunden lang erhalten bleibt ;)

Früher hatte ich da mal Minuten eingestellt, aber dann kamen schnell Beschwerden, dass die eigenen Beiträge nicht gefunden werden konnten.

Jetzt muss ich mal überlegen, wie ich das für die Feeds/Foren umsetze. Das Problem ist nämlich, dass für jede Foren-ID mehrere Rechte gelten, je nachdem wer sich das Forum anschaut (Admin, Mod, Gast, User, Gruppe X etc.).

Ich denke ich könnte den Cache komplett abschaffen, wenn ich eine Lösung finde, die dynamisch auf die Anzahl der möglichen Ergebniszeilen reagiert. D.h. eine Abfrage, die mehr als 100k Zeilen resultiert, muss zusätzlich per Timestamp reduziert werden.

Vielleicht könnte ich das so machen, dass ich in 1:1000 Fällen einen COUNT() auf die Abfrage absetze und wenn es mehr als 1000 Zeilen resultiert, extrahiere ich die älteste last_time und setze die als Mindestwert ein. So sollte das sehr dynamisch funktionieren. Kannst Du mir folgen? :P
Nach obenprofil pn email
Gast 

29.10.2009, 12:59


Mach mit!

Wenn Dir die Beiträge gefallen haben oder Du noch Fragen hast oder Ergänzungen machen möchtest, solltest Du Dich gleich bei uns anmelden:

    » Anmelden

Registrierte Mitglieder genießen die folgenden Vorteile:
✔ kostenlose Mitgliedschaft
keine Werbung
✔ direkter Austausch mit Gleichgesinnten
✔ neue Fragen stellen oder Diskussionen starten
✔ schnelle Hilfe bei Problemen
✔ Bilder und Videos hochladen
✔ und vieles mehr...
Nach oben
Seite 1 von 3 [30 Beiträge]
Seite: 1, 2, 3 Weiter
Neues Thema eröffnenNeue Antwort erstellen
Ähnliche BeiträgeRe:HitsLetzter Beitrag
 der neue Server ist da
Ich habe die Nachricht erhalten, dass der neue Server da ist. D.h. die Techniker werden in den nächsten 2 Tagen den Umzug durchführen. Technische Daten stehen hier: http://www.maxrev.de/neuen-server-bestellt-t31792.htm#955848 Derzeit gehen wir...
Seite 2 [Ankündigungen]von mgutt
10127706.03.2007, 15:25
mgutt
 Speicherplatz und neuer Server
Man glaubt es kaum.. gerade mal zwei Monate online und die ersten 300 MB verbraten.. sowas :o Es kann deswegen sein, dass ihr manchmal beim Anhängen von Dateien eine kleine Meldung erhaltet, dass man nichts mehr anhängen kann. Dann wisst Ihr ja...
Seite 2, 3, 4, 5, 6 [Ankündigungen]von mgutt
54471906.08.2011, 09:14
nfs_freak
Datenbank Problem
Hallo Leute... Ich bin so ein Idiot.... vor ein paar Jahren habe ich mir eine MySQL-Datenbank erstellt, in die Ich ein Forum für eine damalige Homepage gepackt habe... Da ich es nicht besser wusste, habe ich meine Wiki ebenfalls in dieses...
von Indy4
26006.09.2011, 06:40
carchaias
Datenbank zu groß
Hallo zusammen, meine Datenbank für die mediawiki-Version 1.13.2 ist inzwischen 680 MB groß und mein Provider sagt das ist zu groß. Meine Frage an Euch ist nun ob es möglich ist diese DB zu splitten und in Zukunft über mehrere DBs zu benutzen. Ich...
von stefansvw
811228.07.2011, 15:44
carchaias
 Abgasgutachten Datenbank
Hallo, die Dekra bietet eine Datenbank im Internet an, wo sie ihre Gutachten anpreisen: Abgasdatenblätter für Benzinmotoren bieten wir zu einem Stückpreis von 350,00 EUR plus gültiger MwSt. an. Bei Dieselmotoren liegen die Preise bei 750,00 EUR...
[ABE & Gutachten-Sammlung]von mgutt
1119211.12.2010, 23:24
greex_gr
Cabal Amzing-System und dem neuen Server
Der Söldner wird es Spielern erlauben, eine helfende Hand zu beschwören, in Form einer NPC-gesteuerte Charakter, während im Inneren des Dungeons des Spiels. Es öffnet sich ein neues Ziel zu erreichen, mit einer ganzen Reihe von unterschiedlichen Söldner...
von dader
06012.12.2010, 02:40
dader
UTF-8 in ISO-8859-1 konvertieren - MySQL Datenbank
Manche kennen das sicher. Man importiert eine Datenbank und vergisst den Zeichensatz oder die Daten sind aus anderen Gründen in UTF-8 umgewandelt worden. Genau hier greift dieses Script. Es werden die meisten UTF8-Zeichen in ISO konvertiert. Es müssen...
von mgutt
0510730.05.2008, 22:48
mgutt
Alle sind gefordert! Hilf mit bei der FAQ-Datenbank!
Hallo! Wie bereits erwähnt , kann jetzt jedes Thema als FAQ (Häufige Fragen & Antworten) gekennzeichnet werden. Damit wir eine möglichst umfassende Quelle für alle sich wiederholende Fragen bieten können, brauchen wir Deine Hilfe! Als Stammuser...
Seite 2, 3 [Ankündigungen]von mgutt
29201921.03.2009, 19:23
El Splatty
[News]  der neue Accord Tourer und die neue Limousine in Genf 2008
Accord und Accord Tourer 2008 Der Accord wird den Honda-Messestand in Genf dominieren; zehn Modelle des neuen Accord werden in beiden Karosserievarianten - Limousine und Tourer - ausgestellt. Der neue Accord besticht schon auf den ersten Blick durch...
[Accord ab 2008]von mgutt
1387230.01.2008, 12:43
stefansturboej6
2video jetzt auf neuem Server und "Bist Du ein Mensch"-Frage
Hi, ab sofort ist 2video auf einem neuen Server und noch schneller. Zusätzlich haben wir eine Bist Du ein Mensch Frage ins System implementiert. Nicht besonders anspruchsvoll, allerdings sollte das die Scriptkiddies abhalten. Professionelle...
von mgutt
0209211.10.2009, 10:00
mgutt
Sponsor: Tuning Garage NVP
Tuning Garage NVP

© 2004 - 2012 www.maxrev.de (srv02) | Communities | Impressum