Ein neuer Server - schon wieder
Ich will euch eigentlich nicht langweilen 🙂 aber ich habe es schon wieder getan. Ich habe mir einen neuen Server zugelegt bzw. eigentlich eher gebaut. Die Überlegung dazu trug ich schon eine Weile mit mir herum. In diesem Artikel möchte ich mit euch meine diesbezüglichen Überlegungen, den Beschaffungsprozess und ein paar erste Messdaten durchgehen. Vielleicht hilft es dem einen oder anderen im eigenen Entscheidungsprozess.
Das Wieso ist recht schnell erklärt, der „alte“ Server kam an seine Grenzen. Speziell im Bereich Arbeitsspeicher und Prozessorkerne kam es ab und zu zu Engpässen. Gerade beim anfeuern von Windows 10 VMs stieg die Serverlast bzw. das Input/Output Delay enorm an und führte zu merklichen Beeinträchtigungen beim Betrieb der anderen Systeme.
Soviel zum Wieso. Kommen wir zu den Wünschen oder Anforderungen, welche sich über die Jahre ergeben bzw. kristallisiert haben. Als erstes ich habe kein Rack und trotz langer Suche auch keinen Platz für ein solches. Somit war klar, es muss/darf kein 19 Zoll Gehäuse werden. Anstelle wollte ich wieder mit einem normalen PC Gehäuse weitermachen. Ich suchte also nach performanter Technik im ATX Formfaktor und natürlich sollte diese auch noch bezahlbar sein. So fing die Suche an. Schnell war klar, dass dies nur gebraucht zu finanzieren war. Schließlich muss auch ich Rechenschaft ablegen :-). Was soll ich sagen, ich habe bestimmt 2 Monate recherchiert und überlegt und weitere 2-3 Monate das Equipment zusammen gesucht bzw. gekauft. Bei der Recherche und Festlegung der Zusammenstellung kamen noch folgende Anforderungen dazu:
Ich hätte gerne mindestens 10 physische Kerne
Ich möchte DDR4 RAM samt ECC Unterstützung
Am besten sollte dann auch Quad Channel unterstützt werden
Die Boot Platten sollten am besten NVME oder PCIE Anbindung haben
Es sollen mindestens noch 5 weitere Sata Platten unterstützt werden bzw. der Platz dafür da sein
Der Server soll mehrere Netzwerkschnittstellen mit mindestens 1G haben
Als kleine Anfangserklärung ich habe zu diesem Zeitpunkt einen Server mit einem Ryzen 3600 und 32GB DDR4 RAM samt 2 Sata Boot SSDs betrieben. Der neue Server sollte einen ordentlichen Sprung nach vorne machen, damit sich das Upgrade lohnt. Da ich den alten Server maximal noch als Backup Datengrab betreiben wollte, konnte ich mir hier ein paar Teile leihen. Diese musste ich nicht beschaffen und führe sie daher auch nicht weiter auf. Natürlich müssten diese bei einer Gesamtbetrachtung der Kosten mit herangezogen werden. Aus dem alten Server konnte ich sowohl eine 4 Port Intel Netzwerkkarte als auch die 5 x 4TB Seagate IronWolf HDDs entnehmen
Ich habe also angefangen mich nach einem bezahlbaren Prozessor umzuschauen, mit genügend Kernen um mich vorwärts zu bringen. Wenn Mann sich jetzt den Markt anschaut, kommen eigentlich nur die Intel Xeons in Frage. Natürlich wäre ein Epyc oder ein hoher Ryzen auch eine Alternative gewesen aber diese sind einfach nicht zu bezahlen. Die Xeon Prozessoren haben aber auch schon ein paar Jahre mehr auf dem Buckel. Das war mir aber egal. Preis und Leistung stimmen hier einfach Und selbst wenn damit mal etwas sein sollte, aktuell sieht die Marktlage einfach gut aus. Also die Anforderungsliste herausgezogen und verglichen. Quad Channel Unterstützung können die fast alle. Es gibt auch ein paar die mehr als 10 physische Kerne haben. Aufpassen musste ich nur bei der DDR4 Unterstützung (ECC können die alle). DDR4 wird erst ab der Version 4 unterstützt. Aber auch hier sollte sich was passendes finden lassen. Als Kühler habe ich mich für den be quiet! Pure Rock 2 entschieden.
Und somit stand auch der Sockel fest und die Motherboard Suche konnte beginnen. Ich will vorweg schicken, dass dies der mit Abstand schwierigste Part am ganzen Projekt war. Vermutlich werde ich das in dem Abschnitt gar nicht alles wiedergeben können. Ich gebe mir aber Mühe. Der Sockel 2011-3 oder auch LGA 2011-v3 ist schon seit 2014 auf dem Markt, wurde aber vorrangig im Server Bereich eingesetzt. Was uns zum ersten Problem führt. Ich suchte ja nach einem ATX Motherboard! Die gab und gibt es auch aber im Consumer Markt waren diese, meist mit dem X99 Chipsatz ausgestattet, für die ganz krassen Gamer Setups vorgesehen. Sprich die sind auch gebraucht meist sehr teuer und da im Consumer Bereich anscheinend mehr gewechselt wird auch nicht in der Fülle vorhanden. Erschwerend kommt hinzu, dass diese Boards in der Regel keinen Support für ECC RAM haben. Wie ihr euch sicher denken könnt war das Angebot dementsprechend klein. Hier habe ich auch die meiste Zeit versenkt. Trotzdem ist es mir gelungen ein für mich passendes Board zu finden. Als es Online kam, habe ich direkt zugeschlagen und mir ein MSI X99A Raider gesichert. Das Board bietet alles was ich brauche und wollte.
Somit hatte ich mein Motherboard und quasi einen Prozessor, auch wenn der genaue Typ noch nicht feststand. Für alle ungeduldigen, unten in der Auflistung könnt ihr sehen welcher es geworden ist. Also machen wir weiter mit dem Arbeitsspeicher. Hier wollte ich ja DDR4 ECC RAM. Die finale Wahl ist dann auf DDR4-2400 ECC gefallen. Da das MSI Board maximal 128GB RAM unterstützt sollten diese auch ausgereizt werden. Ich habe mich dann für 32GB Module entschieden. Wichtig war mir, dass ich einheitliche Module finde. Ich muss allerdings gestehen, dass ich an diesem Vorsatz fast gescheitert bin. Module dieser Art gehen in der Regel für um die 100€ für 32GB weg. Wenn Mann Glück hat finden sich welche für um die 80€. Ich bin über einen privaten Verkäufer gestolpert, der einen 32GB Riegel des Typs Kingston KTD-PE424/32 in einer Auktion hatte. Startpreis 40€. Ich habe mir gedacht, ich biete einfach mal darauf. Natürlich habe ich diesen Riegel für den Startpreis bekommen. Ich kann euch immer noch nicht sagen warum. Jetzt hatte ich zumindest einen Riegel da um die zu diesem Zeitpunkt schon angeschaffte Technik zu testen. Da ich jetzt einen Riegel da hatte, dachte ich ich schau einfach ob ich einen baugleichen bekommen kann. Ihr werdet es nicht glauben aber der gleiche Verkäufer hatte 5 Tage später einen weiteren Riegel im Angebot. Auch diesen konnte ich für den Startpreis von 40€ ergattern. Natürlich musste ich mir jetzt 2 weitere Module von Kingston suchen. So günstig wie die ersten beiden habe ich diese nicht ergattern können, pro Modul hat der Verkäufer 62€ akzeptiert, aber in Summe war das trotzdem ein guter Deal!
Jetzt wo die Herzkomponenten des Systems quasi komplett waren, konnte ich mich um die Boot Festplatten kümmern. Auf der Anforderungsliste stand ja ich wollte hier auf NVME SSDs setzen. Hier kommt jetzt der zweite kleine Knackpunkt am MSI Board, der erste ist die maximal 128GB RAM Unterstützung. Das Board hat nur einen NVME M.2 Slot. Daher musste ein PCI-E Slot als Ersatz herhalten. Final habe ich mich für die Crucial P2 1TB entschieden, welche ich zweimal geordert habe. Diese habe ich auch neu geholt. Das liegt wohl daran, dass ich bei gebrauchten Festplatten, ehrlich gesagt aber echten HDDs, schon des öfteren daneben gegriffen habe. Da wie gesagt nur ein NVME Slot verfügbar war, habe ich noch einen Adapter von PCI-E auf NVME geholt.
Somit war das Innenleben des neuen Servers komplett. Bitte denkt daran, dass ich die Teile aus dem alten Server nicht gesondert beschreibe. Das Ganze Zeug musste ja noch mit Strom versorgt werden und einfach so auf dem Boden rumliegen sollte es auch nicht. Also mussten sowohl ein Netzteil als auch ein Gehäuse her. Beim Netzteil war ich mir sicher, dass der Server nicht zu hungrig sein würde. Daher ist hier meine Wahl auf das günstige Thermaltake TR2 S 450W gefallen. Hier habe ich mich aber verplant, was ich euch gleich mitgeben möchte. Das Netzteil hat nur 3 SATA Power Anschlüsse. Der Rest sind Molex. Also musste ich hier noch ein paar Adapter kaufen. Da hatte ich nicht aufgepasst! Beim Gehäuse habe ich Probleme gehabt, eines mit genügend Festplattenplätzen zu finden. Natürlich könnte Mann einfach ein monströses Gehäuse für super viel Geld kaufen aber ich denke ihr habt mitbekommen, dass es mir zumindest wo möglich um das Preis-/Leistungsverhältnis geht. Daher habe ich mich für das günstige Antec VSK4000B entschieden.Was soll ich euch sagen, es war kein Spaß dort alles rein zubekommen aber es hat final geklappt. Ich habe bis jetzt keine Probleme mit der Temperatur oder ähnliches festgestellt. Es gibt aber definitiv qualitativ bessere Gehäuse.
Damit sind wir am Ende des Beschaffungsprozesses. Folgend findet ihr nochmal alle Teile samt dem Zustand beim Erwerb als auch den von mir gezahlten Preis (gerundet):
Motherboard: MSI X99a Raider; Gebraucht; 160€
Prozessor: Intel Xeon E5-2680v4; Gebraucht; 90€
CPU Küler: be quiet! Pure Rock 2; Neu; 34€
RAM: 4x 32GB Kingston DDR4-2400 ECC; Gebraucht; 204€
Festplatten + Adapter: 2x Crucial P2 1TB; Neu; 155€
Netzteil + Adapter: Thermaltake TR2 S 450W; Neu; 50€
Gehäuse: Antec VSK4000B; Neu; 40€
Und jetzt der Vollständigkeit halber noch angenommene Preise für die Netzwerkkarte und die Festplatten:
HDD: 5x 4TB Seagate IronWolf; Neu; 550€
Netzwerkkarte: Intel Pro/1000PT Quad GB Adapter; Gebraucht; 30€
Somit habe ich in Summe für das Upgrade knapp 733€ bezahlt. Wenn ich jetzt die beiden „alten“ Bestandteile mit hinein rechne komme ich auf ca. 1313€. Das klingt erst mal viel aber wenn ich jetzt die Eckdaten des Servers aufzähle dann denke ich, ist das ein fairer Kurs.
Quasi um das alles auch vor mir selbst zu rechtfertigen, hier noch die Eckdaten. Mir stehen jetzt 14 physische Kerne mit 28 Threads zur Verfügung. Den Kernen zur Seite stehen 128GB ECC RAM. Auf den beiden NVME SSDs ist Proxmox im ZFS Mirror installiert und mit Unterstützung von etwas RAM merkt man diese Beschleunigung zum Alt-System deutlich. Hier ist jetzt auch genügend Platz für alle möglichen Systeme da. Und zum Schluss habe ich die 5 HDDs an ein TrueNas durchgereicht. Im RaidZ1 kann ich davon noch knapp über 14 Tebibyte nutzen. Die Hoffnung lautet, dass ich mit diesem System eine Weile hinkomme. Mal schauen :-).
Ich habe oben noch ein paar Messdaten angekündigt. Hier ging es mir vor allem um den Stromverbrauch des neuen Systems. Hier sind auch mit viel Recherche wenig Angaben zu bekommen. Natürlich bekommt Mann bei dem Prozessor die maximale Leistungsaufnahme heraus aber wie viel das Ding im Idle oder bei leichter Belastung verbraucht, ist quasi nicht zu finden. Daher habe ich ein Strommessgerät dazwischen gesteckt und gebe euch ein paar dieser Messwerte mit. Damit kann Mann ein Gefühl bekommen, was so ein Server über das Jahr an Strom verbraucht. Ich habe einmal die Aufnahme gemessen ohne Festplatten, sowohl die beiden NVMEs als auch die 5 HDDs, da ich mir vorstellen konnte, dass dies einen merklichen Unterschied macht. Natürlich habe ich dann nochmal das fertige System gemessen.
Stromverbrauch Prozessor E5-2680v4 + 4x 32GB DDR4-2400:
Startup, also kurz nach dem drücken des Powerknopf – 110W
BIOS Idle – 49W
Memtest86, Dauertest der RAM Sticks – 33W
Proxmox VE Idle – 36W
Stromverbrauch Prozessor E5-2680v4 + 4x 32GB DDR4-2400 + 2x 1TB NVME + 5x 4TB HDD:
Startup, also kurz nach dem drücken des Powerknopf – 120W
BIOS Idle – 51W
Proxmox VE Idle – 44W
Proxmox VE mit einigen Containern und VMs laufend – 34W
Wie ihr seht scheint es keinen großen Unterschied zu machen, ob zusätzliche Technik im Server verbaut ist oder nicht. Ich denke als wirklich aussagekräftigen Wert könnte Mann den Startup Wert heranziehen. In diesem Moment wird alles einmal ordentlich mit Strom versorgt, bevor irgendeine Art Regelung eingreift. Hier scheint es einen Unterschied von ca. 10 Watt zu geben, welcher nach ordentlicher Regelung vermutlich fast komplett verschwindet. Ich muss aber ehrlich zugeben, dass ich mir auch nicht erklären kann, warum das System mit mehr Technik, scheinbar weniger Strom aufnimmt. Eine Vermutung von mir lautet, dass es bei den beiden Tests Temperatur Unterschiede gab. Aber das ist nur eine Vermutung.
So das soll es an dieser Stelle auch gewesen sein. Der Beitrag ist ja jetzt schon recht lang. Ich hoffe euch ein paar Einblicke, Ideen bzw. Anregungen für etwaige eigene Projekte gegeben zu haben. Evtl. sind auch einige der hier geteilten Informationen hilfreich und ersparen euch ein wenig Zeit. Wie oben geschrieben, hat mich das Projekt einige Monate gekostet. Ich will aber auch nicht jammern, da ich so etwas gerne mache. Ich denke in der nächsten Zeit wird es sicherlich wieder ein paar neue Artikel mit und über den neuen Server geben. Je nachdem wie ich dazu komme!
