# Intel kühlt Server komplett mit Mineraloil



## Track11 (8. September 2012)

*Intel kühlt Server komplett mit Mineraloil*




			Dieser Inhalt steht nur eingeloggten Mitgliedern zur Verfügung.
        


Unternehmerische Effizienz bedeutet Verschwendung zu eliminieren um maximalen Gewinn einzufahren. In der IT Branche bedeutet dies derzeit die Minderung von Abwärme und die mögliche Stromersparnis. 
Obwohl der PCGH Öl PC für Viele schon ein alter Hut ist, so gab es bisher noch keinerlei Langzeitstudien über diese Art der Kühlung. 
Diesem Bereich hat sich jetzt Intel in Zusammenarbeit mit Green Revolution Cooling gewidmet und ein Jahr lang Server in Ölbädern laufen lassen. Dabei wurde erkannt, dass viele für die Luftkühlung optimierten Komponenten, bei Ölkühlung suboptimal wirken. So wurden neue Kühlkörper und neue Hitzeverteiler ausgetestet um die bestmögliche Lösung zu finden, die Abwärme an das Öl abzuleiten.
Die Zirkulation des Öls wurde mittels einer offenen Umwälzpumpe in Radialformat erzielt. Es erwies sich, dass die Kühlleistung 10 - 24% effizienter ist als herkömmliche luftgekühlte Varianten. Zeitgleich konnte der Stromverbrauch durch die fehlenden Lüfter gesenkt und die Herstellungskosten der einfacherer zu fertigenden Kühlkörpern eingespart werden.
Intel forscht speziell für den Highperformance Bereich und setzt das Projekt weiterhin fort. Laut Bericht will Intel bis zum Jahr 2016 20% der Serverkühlung auf Öl umstellen.

Wo viel Licht ist, ist auch Schatten und diesen findet man in Form der Wartungskosten. Eine Patentlösung zum genauen Modell der Wartung von Komponenten wird in der Studie leider nicht geliefert. Es steht aber außer Frage, dass die Kostenersparnis weitaus höher sein wird als die Summe der Wartungskosten. Wenn die Klimatisierung der Serverräume auch nur 2°C weniger erbringen muss, dürfte sich in Zeiten der explodierenden Stromkosten schnell rentieren. 

-track11 08.09.2012


Bericht auf datacenterknowledge.com


----------



## Research (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Nett, wo soll das erwärmte Öl abgekühlt werden?


----------



## Verminaard (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Schick, endlich mal neue (alte) Wege ind punkto Kuehlung.

Gibt nur ne Riesensauerei, wenn da direkt an den Komponenten was gemacht werden muss.
Wie lange haelt sich so ein Oel?
Muss es getauscht werden irgendwann?
Wie sieht das mit der Entsorgung aus?


----------



## Research (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Mineralöl sollte "ewig" "genießbar" sein.

Öl wird gefiltert und wiederverwendet.


----------



## Track11 (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*



Research schrieb:


> Nett, wo soll das erwärmte Öl abgekühlt werden?


 Das erwärmte Oil steigt an die Oberfläche, welche durch Luftzirkulation abgekühlt wird. Durch die großflächige Verteilung der Abwärme bedarf es keinen zusätzlichen Lüfter. Am sonsten hätten sie es im Bericht erwähnt. 
Würde mich aber dennoch für ein genaus Bild des Aufbaues interessieren.


----------



## Superwip (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

CRAY hat ja schon in den 1980ern HPCs komplett in Flüssigkeitsbädern versenkt- allerdings nicht in Öl sondern in synthetischen Flourcarbonverbindungen (geringere Brandgefahr)

Das Öl kann entweder direkt über einen Radiator, über die Klimaanlage (!) oder über einen Wasserkreislauf gekühlt werden.


----------



## Jochuter (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Hi,

uuuuralter Hut. Dicke Transformatoren für Strom werden schon seit ewigen Zeiten durch Öl gekühlt..

MfG


----------



## Superwip (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Ja, die erst recht ^^

Bei HPCs/Servern ist diese Kühlmethode aber in den letzten Jahren etwas außer Mode gekommen


----------



## Atomtoaster (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Irgendwie nervt mich das "Oil" schreib doch einfach Öl...
Immer hab ich was zu meckern.

Ansonsten ja auch irgendwie nichts neues, wenn dadurch zukünftig aber Energie gespart werden kann haben wir ja alles was davon.


----------



## CrimsoN 2.0 (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Oil kühlung ist ja nun nix neues aber Optimiert auf Server oder sogar Pc Anwendungen ist was "neues".
Ob wohl die Kühlung von IBM Wasserkühlung besser finde die gleich mit in dem Wasserkreislauf des Hauses angebunden ist.


----------



## NetXSR (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*



Atomtoaster schrieb:


> Irgendwie nervt mich das "Oil" schreib doch einfach Öl...
> Immer hab ich was zu meckern.
> 
> Ansonsten ja auch irgendwie nichts neues, wenn dadurch zukünftig aber Energie gespart werden kann haben wir ja alles was davon.



Ich fand auch, dass das "Oil" etwas vom Lesen ablenkt .. Aber sonst, guter und interessanter Beitrag!


----------



## Track11 (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Alles klar. Dann verwende ich jetzt ab sofort nur noch Öl, Mutterbrett, Digitalvideoscheibenbrenner und nicht zu letzt serienmäßiger erweiterter technologie Anschluss 


			Dieser Inhalt steht nur eingeloggten Mitgliedern zur Verfügung.


----------



## Superwip (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*



> Oil kühlung ist ja nun nix neues aber Optimiert auf Server oder sogar Pc Anwendungen ist was "neues".


 
Eigentlich nicht. Bereits der CRAY 1 aus dem Jahr 1976 war in eine Flüssigkeit versenkt... zumindest vereinzelte Versuche gab es sicher auch schon davor.

So gesehen ist diese Kühlmethode im Computerbereich vermutlich sogar älter als die klassische Wasserkühlung...



> Öl, Mutterbrett, Digitalvideoscheibenbrenner und nicht zu letzt serienmäßiger erweiterter technologie Anschluss


 
Was soll denn das heißen?

Mutterbrett?
Wenn du meist, was ich glaube, dann gibt es ein schönes deutsches Wort dafür: _Hauptplatine_

Digitalvideoscheibenbrenner?!
DVD: Digital Versatile Disk -> _Digitale vielseitige Scheibe _bzw_. _etwas freier_ Digitale Mehrzweckscheibe_

Aber was bitte soll ein _serienmäßiger erweiterter technologie Anschluss_ sein?! Du meinst doch nicht etwa den XT-Bus?!


----------



## Atomtoaster (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Entschuldige das ich den Gebrauch das englischen Wortes "Oil" welches keine technische Bezeichnung darstellt im zusammenhang mit einem deutschem Text kritisiert habe.
Ich bedaure zutiefst dich verärgert zu haben.

Zum Abschluss wünsche ich dir noch viel Spaß mit deinem Mutterbrett.


@über mir S-ATA


----------



## Track11 (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*



Atomtoaster schrieb:


> @über mir S-ATA


 Richtig  
War doch nurn Spaß. Mehr nicht


----------



## Superwip (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

SATA steht aber für Serial Advanced Technology Attatchment also ~*Serielle* fortgeschrittliche Technologieschnittstelle

Seriell ist dabei der springende Punkt, das "ATA" ist ja eigentlich relativ sinnlos -und im Englischen wird es nicht viel sinnvoller-, das hat sich historisch entwickelt (geht auf den AT-PC von IBM zurück), die Abkürzung wird einfach praktisch nie ausgeschrieben. "Seriell" bezieht sich aber auf den Unterschied zu ATA und ist eine wichtige Angabe über die Funktionsweise der Schnittstelle.

Du kannst aber gerne Serielles ATA schreiben, das versteht wohl auch jeder ohne weitere Erklärung.


----------



## INU.ID (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Naja, Motherboard/Hauptplatine und Öl/Oil zu vergleichen ist ein bisschen.. näh? 

@Topic: Und was kostet die Anschaffung des Öls inkl. Entsorgung (evtl. Weiterverarbeitung)? Wie lange ist es haltbar? Wird es zwischendurch aufgefrischt?


----------



## Superwip (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*



> @Topic: Und was kostet die Anschaffung des Öls inkl. Entsorgung (evtl. Weiterverarbeitung)? Wie lange ist es haltbar? Wird es zwischendurch aufgefrischt?


 
Verwendet wird anscheinend Paraffinöl.

Kostet etwa 2-3€/Liter

Hält praktisch ewig

Kann einfach recycelt werden; entweder man verwendet es für die selbe Anwendung weiter, gegebenenfalls kann man es auch (eventuell etwas gereinigt) einfach verkaufen; ist ja ein wichtiger Grundstoff der Chemischen Industrie. Wirklich giftig ist es nicht... aber Öl eben... es sollte besser nicht in größeren Mengen in irgendein Gewässer eingeleitet werden aber das sollte ja auch nicht passieren...


----------



## DarkMo (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

is paraffin ned was pflanzliches gewesen? ok, scheinbar nich ^^ Paraffinl - Fragen und Antworten - gesundheit.com -> "Paraffinöl wird in einem mehrstufigen Prozess aus Erdöl gewonnen." gut gut, jedenfalls fragte ich mich grade, wieso man da nu derbste forschung in ein sinkendes schiff investiert? benzin wird immer teurer, transportkosten und aller möglicher krempel steigt, die hiobsbotschaften, wann der letzte tropfen gefördert is, reissen nich ab - aber wir kühlen jetz auch noch server damit? ^^ kann man da ned pflanzliche öle nehmen? nachwachsender rohstoff, bessere (?) verwertbarkeit... aber wieso ausgerechnet mineralöl?


----------



## Superwip (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Pflanzliche Öle sind chemisch anders aufgebaut (Fettsäureester) als Paraffinöl (Alkane) und werden mit der Zeit ranzig.

Außerdem sind sie in der erforderlichen Qualität *teurer* und das wird sich in absehbarer Zukunft nicht ändern.


----------



## Track11 (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*



DarkMo schrieb:


> is paraffin ned was pflanzliches gewesen? ok, scheinbar nich ^^ Paraffinl - Fragen und Antworten - gesundheit.com -> "Paraffinöl wird in einem mehrstufigen Prozess aus Erdöl gewonnen." gut gut, jedenfalls fragte ich mich grade, wieso man da nu derbste forschung in ein sinkendes schiff investiert? benzin wird immer teurer, transportkosten und aller möglicher krempel steigt, die hiobsbotschaften, wann der letzte tropfen gefördert is, reissen nich ab - aber wir kühlen jetz auch noch server damit? ^^ kann man da ned pflanzliche öle nehmen? nachwachsender rohstoff, bessere (?) verwertbarkeit... aber wieso ausgerechnet mineralöl?


 Ich glaube, es besteht ein beträchtlicher Unterschied darin ob du das geförderte Erdöl vebrennst oder als Kühlmittel benutzt. Ich schätze mal, dass die weltweit an einem Tag geförderte Menge für mehrere Jahre Serverkühlung ausreicht oder hab ich dich wirklich so falsch verstanden?


----------



## DarkMo (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

klar wird das zeug länger benutzt, aber irgendwann isses halt weg ^^ finds halt einfach nur seltsam, dass alle welt versucht (zumindest offiziell) vom öl loszukommen und hier urplötzlich "neue technologien" damit aufgezogen werden ><

ps: danke ecksim


----------



## Superwip (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Die Mengen an Erdöl, die hierfür draufgehen, selbst wenn in Zukunft alle Server der Welt damit gekühlt werden, sind relativ gesehen völlig vernachlässigbar.

Für solche Spezialanwendungen wird es auch in 100 Jahren noch genug Öl geben.

Paraffinöl lässt sich auch aus Pflanzlichem Öl oder aus Kohle herstellen, zur Zeit und in absehbarer Zukunft ist das aber nicht wirtschaftlich.


----------



## Research (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Aber warum soll das offene Becken... Kommt doch nur Schmutz rein. Würde das warme, Aufsteigende Öl abpumpen und durch Radiatoren/Heizungen jagen.


----------



## Superwip (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Ich bezweifle, dass das Becken im Betrieb offen ist...

Das Öl wird aktiv umgewälzt, die Wärmekonvektion würde bei modernen CPUs nicht ausreichen. Das Öl wird dann wiederum über einen Wasserkreislauf gekühlt, das ist effizienter als das Öl direkt durch Radiatoren zu pumpen. In vielen Fällen wird wahrscheinlich auch ein offener Wasserkreislauf ganutzt und über irgendeinen Fluss gekühlt.


----------



## beercarrier (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

auf den ersten blick seh ich den größten vorteil in einer gleichmäßigeren wärmeabgabe, schnellerer wärmeabfuhr und weniger beweglichen teilen die strom verwenden, was insgesamt zu einem stabileren betrieb führen sollte. aber die fläche zum wärmetausch könnte sollte größer (für jedes rack ein extra gehäuse wär ja auch übertrieben) werden was dazu führt das man nur noch größere einheiten zusammenstelllen kann, die systeme schwerer z.b. 1stock, daher frag ich mich schon ob sowas nachträglich überhaupt installierbar, oder ob das bisherige modulare system nicht daran zugrunde gehen würden


----------



## Research (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Sorgen würde mir nur machen: Bei nem Serverschrank mal nen Ram-Riegel zu tauschen. Oder ne Platte.


----------



## Superwip (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Laufwerke werden -logischerweise- nicht im Öl versenkt.

Der Tausch von Komponenten ist relativ einfach möglich, man wird dabei nur eventuell etwas ölig; die gebrauchte Hardware ist dann auch ölig aber das ist ja nicht weiter schlimm, vor allem wenn sie aufgrund eines Defekts gekauscht wird.

Das Gewicht des ganzen Aufbaus ist unter Umständen tatsächlich ein Problem; so manches Serverzentrum mit mehreren Stockwerken wird nicht nachträglich auf diese Kühltechnik umgerüstet werden können.


----------



## Research (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Da müsste man dann ein Kammer-Kühler entwickeln. Warum nicht die Laufwerke versenken? Abgedichtet dürfte das kein Problem sein.


----------



## Superwip (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Warum sollte man die Laufwerke versenken?

Ich sehe da keinen Vorteil... extra eigene abgedichtete Festplatten zu entwickeln bzw. Festplatten irgendwie abzudichten wäre ja auch ein völlig unsinniger Aufwand.

Auch SSDs wird man eher nicht versenken einfach um den Aufwand beim Wechseln klein zu halten, außer viellecht PCIe SSDs- warum kühlen, was man nicht kühlen muss?

Und was meinst du mit Kammer-Kühler?


----------



## beercarrier (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

weil die laufwerke zugänglich sein müssen, ok es gibt meistens ein back-up server, aber es eilt trotzdem weil die infrastruktur einfach möglichst schnell wieder stehen muss, da sonst x leute nicht weiter geld verdienen können. davon ab entwickeln die platten im vergleich zu den recheneinheiten nicht so die hitze, ich würde mir auf jedenfall genau vorrechnen lassen was das an kostenersparnis bringt und wie dem gegenüber die ausfallzeit ansteigen kann.

p.s. nur ein beispiel eine platte benötigt unter vollast etwas zwischen 5w-10w, eine server cpu im ungünstigsten fall schon 150w


----------



## Superwip (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Platten muss man nicht kühlen.

Warum sollte man sie dann kühlen?


----------



## Research (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Weil in bestimmten Temperaturbereichen die Sterberate steigt. Abdichten müsste man nichts, die sind schon dicht. Was ich meinte war das "Loch" zum Druck-Feuchtigkeits-Ausgleich. Durch das Öl würde es obsolet werden.
Zumal in unseren Server Platten mit 10k rpm und 15k rmp laufen.
BTW Schon mal ne Platte (3,5 Zoll 7,5k rpm) auf dem Schreibtisch ausgelastet? Die Unterseite wird stellenweise so heiß das du dir die Finger verbrennst.

Die Kammer: So ähnlich wie ein Lufttunnel, nur das durch ihn Öl fließt. So kann man das Gewicht reduzieren. Man muss ja nicht das ganze System Fluten.


----------



## beercarrier (8. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

bevor es ssd´s gab, gab es platten mit über 10000 umin, sollte jemand auf die idee gekommen sein sowas zu verwenden dicht an dicht dann vlt um die haltbarkeit zuverlängern. mmh, du hast recht platten entwickeln nicht genug abwärme.
p.s. in einem gehäuse wo cpu und gpu bzw mehrere, mehrere hundert watt verbraten spielt die kühlung von hdd´s eine rolle, platten selbst sind nur geringe wärmelieferanten.
p.s.s. du kannst aber die punktuelle hitze an den schreibköpfen, bzw scheiben nicht bekämpfen weil das öl ja nicht in die platte soll, und die abwärme wird kein hitzestau vorausgesetzt auch über die luft zügig weitergeleitet, die menge an energie die in wärme umgesetzt wird ist auch begrenzt sonst müssten die platten ja viel mehr strom konsumieren, vlt würde das sinn machen wenn die platten abgedichtet wären und in den hohlräumen zwischen den plattern und der technik ein gas eingeführt wird das einen besseren temperaturleitwert als luft hat?


----------



## NCphalon (9. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Bisher werden die Platten doch auch mit Luft gekühlt und das scheint zu funktionieren. Und gerade die Platten mit 10-15krpm werden zunehmend von SSDs verdrängt, für Lagerung von großen Datenmengen, bei denen es net so auf Geschwindigkeit ankommt kann man (und das macht man auch) langsamere Platten in Raid Verbünden verwenden, die auch problemlos mit Luft gekühlt werden können.

Und soweit ich weiß werden Festplatten und restliche Hardware in großen Zentren getrennt betrieben, weil sonst die Platten klimatisierten raum einnehmen würden den sie net nötig haben.


----------



## Superwip (9. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*



> Weil in bestimmten Temperaturbereichen die Sterberate steigt. Abdichten müsste man nichts, die sind schon dicht. Was ich meinte war das "Loch" zum Druck-Feuchtigkeits-Ausgleich. Durch das Öl würde es obsolet werden.
> Zumal in unseren Server Platten mit 10k rpm und 15k rmp laufen.
> BTW Schon mal ne Platte (3,5 Zoll 7,5k rpm) auf dem Schreibtisch ausgelastet? Die Unterseite wird stellenweise so heiß das du dir die Finger verbrennst.


 
Ein billiger Alukühlkörper drauf, ein sanfter Luftstrom und schon ist jede HDD ausreichend gekühlt, auch 15000U/min Modelle.

Ich  bin mir sicher, das das abdichten und in Öl versenken von Festplatten ein völlig unrentabler aufwand ist. Ich habe auch noch nie von irgendeinem Server/HPC System gehört, bei dem die HDDs Öl- oder Wassergekühlt werden.

Das wäre dann wenigstens was wirklich neues...



> Die Kammer: So ähnlich wie ein Lufttunnel, nur das durch ihn Öl fließt. So kann man das Gewicht reduzieren. Man muss ja nicht das ganze System Fluten.


 
Wenn man so einen Konstruktionsaufwand betreiben will kann man gleich zur WaKü greifen.

Díe Ölkühlung ist nur sinnvoll, wenn sie billiger realisiert werden kann als eine (Komplett-)WaKü- wenn nicht hat sie eigentlich nur Nachteile.


----------



## turbosnake (9. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Afiak fühlen sich HDDs bei 42° am wohlsten, also wozu kühlen. Sie mögen es einfach wärmer, als die HW.


----------



## Research (9. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Naja, noch sind SSDs einfach zu teuer.


----------



## NCphalon (9. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Wenn es um Performance geht is der Preis relativ egal^^


----------



## Research (9. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Nicht wirklich. Im Forschungsbereich ist das Budget rar gesät.

Auch die öffentliche Hand ist meist leer.

Und die Privatwirtschaft braucht Platz. Das ist mit den SSDs noch nicht möglich. Zumal sie noch zu teuer sind.


----------



## NCphalon (9. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Wenn ich mir anguck was die da teilweise reinstecken glaub ich schon dass genug Kohle da is, besonders bei kommerziellen Nutzern wie z.B. facebook oder Google.


----------



## Research (9. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Naj. Mir wäre nur Amazon bekannt die speziell für IO lastige Szenarien SSDs für ihre Cloudkunden anbietet. Einige kleinere Firmen steigen wohl für ihre Datenbanken langsam um.


----------



## rabe08 (9. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*



NCphalon schrieb:


> Und soweit ich weiß werden Festplatten und restliche Hardware in großen Zentren getrennt betrieben, weil sonst die Platten klimatisierten raum einnehmen würden den sie net nötig haben.


 
Das habe ich noch nie erlebt und ich habe schon ein paar große Rechenzentren gesehen. Was ich aber schon öfters erlebt habe ist, dass wir RZ-Räume resp. Racks nicht vollmachen konnten, da wir die Wärmeabführleistung der Klimaanlage bereits erreicht hatten, bevor alle verfügbaren Rackplätze voll waren... Das erhöht gewaltig die die Kosten pro Höheneinheit im Rack, wenn Du nicht den gesamten Rackspace ausnutzen kannst. Hier ein interessanter Artikel dazu Hitzefrei in den Server-Räumen! - computerwoche.de zwar schon etwas angegraut, aber immer noch sehr treffend.

Wenn man jetzt einen Teil der TDP auf einem anderen Weg loswerden kann, an der Klimaanlage vorbei durch einen Flüssigkeitskühlkreislauf, ist das eine schöne Sache. Vom Konzept her gefällt mir aber die Heißwasserkühlung vom SuperMUC besser Erster IBM-Supercomputer mit Heißwasserkühlung vorgestellt.. 

Auch bzgl. Luftkühlung sind einige Sachen zu bedenken. Stell Dir vor, Du hast einen Lambertz-Raum mit 4.000 Servern. Ich hatte mal 8 davon in einem Keller... Jetzt setzen wir mal ganz niedrig an, dass jeder Server 2 Lüfter hat. Serverlüfter drehen in der Regel sehr schnell, Lautstärke spielt keine Rolle. Und jetzt setzen wir an, dass jeder Lüfter eine TDP von 0,5 Watt hat. Das ist auch sehr niedrig angesetzt. 4.000 Server x 2 Lüfter x 0,5 W x 8 Räume = 32 kW TDP. Nur für die Lüfter... Wenn Du Dir überlegst, dass ein größeres mobiles Klimagerät eine typische Kühlleistung von 4,5 kW hat, brauchst Du nur um die Abwärme der Lüfter abzuführen ca. 7 von diesen Geräten. Sagen wir 8, für jeden Raum eins. Wie gesagt, nur für die Wärme, die die Lüftkühler selbst produzieren.

Kühllung im DC ist ein komplexes und teures Thema, da werden oft neue Ansätze überlegt. Am Ende entscheiden die Gesamtkosten, Euro/HE.


----------



## Superwip (10. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Dir sollte klar sein, dass man beim Einsatz einer Ölkühlung überhaupt keine klassischen Racks verwendet... sondern eben wie auch immer geartete Tanks, in denen die Hardware versenkt ist.

Naturgemäß sind diese -im Gegensatz zu Racks- so gebaut, das man von oben auf sie zugreifen kann/muss.

Will man ein skalierbares Rechenzentrum bauen kann man maximal versuchen die Tanks irgendwie so auszulegen das ein Tank eine bestimmte Anzahl an Racks ersetzt.


----------



## JimSim (10. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Vielleicht für Supercomputer, für die dann auch ein eigenes Gebäude gleich mit gebaut wird... Aber im normalen Rechenzentrum wird man das nicht sehen.
Schon allein weil die Blades nicht dicht sind.  Aber wäre schon schön wenn man sich nicht mehr zu Tode schwitzen müsste, wenn man im Wärmegang mal wieder nen paar Kabel umstecken muss und nen paar Stunden quasi in der Sauna steht.


----------



## Superwip (10. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*



> Aber wäre schon schön wenn man sich nicht mehr zu Tode schwitzen müsste, wenn man im Wärmegang mal wieder nen paar Kabel umstecken muss und nen paar Stunden quasi in der Sauna steht.


 
Dafür ist das Öl eine ziemliche Sauerei...

Am angenehmsten ist wohl eine WaKü.


----------



## Research (10. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

@ rabe: Bei uns sind die "getrennt". Ein Schrank Hradware, im Nebenschrank die Platten.



JimSim schrieb:


> Vielleicht für Supercomputer, für die dann auch ein eigenes Gebäude gleich mit gebaut wird... Aber im normalen Rechenzentrum wird man das nicht sehen.[]


 Uns wurde dafür extra ein "Bunker" gebaut. So abwegig ist das nicht. Wobei mir die Lösung mit der Server-Heizung am Besten gefällt. Ich selber bin am überlegen ob man nicht Radiatoren draußen aufstellen kann um im Winter und der Nacht ohne Klimaanlage zu kühlen.


----------



## mülla1 (10. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*



Superwip schrieb:


> Dafür ist das Öl eine ziemliche Sauerei...
> 
> Am angenehmsten ist wohl eine WaKü.


 
ach ist doch quatsch... Öl hat viele Vorteile.. in diesem Fall kannst du gesamtheitlich kühlen. Bei einer wakü werden auch nur einzelne Komponenten gefühlt. 
abgesehen davon ist die Sache mit dem Öl relativ unproblematisch. hohe wärmeKapazitäten bei gleichzeitig niedrigen leitwerten. ist doch das optimalste was du haben kannst... 
wird seit Jahren im transformatorenbau verwendet. das Öl dient hier gleichzeitig zur  Kühlung und Isolation. 
sogar in Kabeln wird Öl verwendet um zu isolieren und die wärme besser an das erdreich abzugeben. also ich kann mir schon vorstellen das eine ölkühlung sehr wirtschaftlich arbeiten kann.. je nachdem wie gross die Anlage halt ist. 
sollte natürlich alles pcb frei sein, was jedoch in der heutigen Zeit kein Problem mehr darstellt.. und noch ein Vorteil: Öl Altert nicht wirklich. ich Arbeite bei einem Grossen Energieversorger und wir haben hier ölisolierte Transformatoren die noch aus braunen zeiten stammen und immer noch unauffällig ihren Dienst verrichten  

und: musst du mal die Hardware wechseln kannst dir die handcreme sparen. Isolationsöl macht wunderbar weiche Hände


----------



## Research (10. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Was willst du denn noch kühlen? Die Platine? Zumal das trotzdem eine Sauerei bleibt.


----------



## rabe08 (10. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*



Superwip schrieb:


> Dir sollte klar sein, dass man beim Einsatz einer Ölkühlung überhaupt keine klassischen Racks verwendet... sondern eben wie auch immer geartete Tanks, in denen die Hardware versenkt ist.
> 
> Naturgemäß sind diese -im Gegensatz zu Racks- so gebaut, das man von oben auf sie zugreifen kann/muss.
> 
> Will man ein skalierbares Rechenzentrum bauen kann man maximal versuchen die Tanks irgendwie so auszulegen das ein Tank eine bestimmte Anzahl an Racks ersetzt.



Das bezweifel ich. Hast du Dir die Konstruktion im SuperMUC mal angeschaut? Das ist zwar eine Wasserkühlung, keine Ölkühlung, aber anders macht es keinen Sinn. Denken wir mal an ein mittleres RZ von irgendeinem Dienstleister. Da stehen 10.000 Systeme drin, nur mal Beispiel. Der Dienstleister ist Preisorientiert, setzt also hauptsächlich auf 2-Sockel-Systeme. Viele Cores für relativ wenig Geld. Macht 20.000 Sockel = CPUs. Zu jedem System gehören zwei Systemplatten = 20.000 Platten. Dazu kommt natürlich noch Storrage, irgendwo müssen die Daten liegen. Setzen wir mal ganz niedrig auf 10 Systeme 2x 14 Storrageplatten an (doppelte Redundanz wg. Verfügbarkeit) macht nochmal 56.000 Platten. Wie zur Hölle willst du das warten, wenn alles getaucht ist? Wie kommt die Energie aus den Racks raus, willst Du nur auf Konvektion setzen? Ich gehe davon aus, dass das Öl in Kreisläufen über ein Leitungssystem läuft, ganz klassisch durch Kühlkörper. Wenn Du es dann schaffst, ausgehend von 60W TDP pro CPU, die laufen nicht nur unter Volllast, 20.000 x 60W = 1.200 kW TDP an der Klimaanlage vorbei rauszubringen, ist das schon grandios.

Festplatten gehen häufig kaputt, ausgehend von 300.000 h MTBF dauert es bei 76.000 HDDs knapp 4 Stunden, bis eine Platte einen Fehler wirft, rein statistisch gesehen. RAM-Riegel neigen auch zum kaputtgehen, bei 10.000 Systemen kommen ganz schnell 80.000 RAM-Riegel zusammen... Ich gehe immer von 1 Promille schlechter Ware aus, zeigt die Erfahrung, d.h. von 80.000 Riegeln gehen 80 im ersten Jahr kaputt. Alle 5 Tage in einem Block Öl ablassen, um einen Riegel zu tauschen?


----------



## Superwip (10. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*



> und: musst du mal die Hardware wechseln kannst dir die handcreme sparen. Isolationsöl macht wunderbar weiche Hände


 
Hardwarewechseln ist aber Alltag... und jedes Mal musst du dann mit öliger Hardware hantieren... auch nicht unbedingt lustig.



> . Denken wir mal an ein mittleres RZ von irgendeinem Dienstleister. Da stehen 10.000 Systeme drin, nur mal Beispiel. Der Dienstleister ist Preisorientiert, setzt also hauptsächlich auf 2-Sockel-Systeme. Viele Cores für relativ wenig Geld. Macht 20.000 Sockel = CPUs. Zu jedem System gehören zwei Systemplatten = 20.000 Platten. Dazu kommt natürlich noch Storrage, irgendwo müssen die Daten liegen. Setzen wir mal ganz niedrig auf 10 Systeme 2x 14 Storrageplatten an (doppelte Redundanz wg. Verfügbarkeit) macht nochmal 56.000 Platten. Wie zur Hölle willst du das warten, wenn alles getaucht ist? Wie kommt die Energie aus den Racks raus, willst Du nur auf Konvektion setzen? Ich gehe davon aus, dass das Öl in Kreisläufen über ein Leitungssystem läuft, ganz klassisch durch Kühlkörper. Wenn Du es dann schaffst, ausgehend von 60W TDP pro CPU, die laufen nicht nur unter Volllast, 20.000 x 60W = 1.200 kW TDP an der Klimaanlage vorbei rauszubringen, ist das schon grandios.
> 
> Festplatten gehen häufig kaputt, ausgehend von 300.000 h MTBF dauert es bei 76.000 HDDs knapp 4 Stunden, bis eine Platte einen Fehler wirft, rein statistisch gesehen. RAM-Riegel neigen auch zum kaputtgehen, bei 10.000 Systemen kommen ganz schnell 80.000 RAM-Riegel zusammen... Ich gehe immer von 1 Promille schlechter Ware aus, zeigt die Erfahrung, d.h. von 80.000 Riegeln gehen 80 im ersten Jahr kaputt. Alle 5 Tage in einem Block Öl ablassen, um einen Riegel zu tauschen?


 
1) HDDs werden nicht im Öl versenkt

2) Zum Tausch der Hardware muss das Öl nicht abgelassen werden; die Boards/Blades werden einfach nach oben hinausgezogen

3) Das Öl wird nich durch Wärmekonvektion sondern aktiv umgewälzt; Wärmekonvektion würde bei weitem nicht ausreichen.

4) Das Öl wird wiederum über einen Wasserkreislauf gekühlt

5) Wenn du auf einen klassischen Kreislauf setzen willst ist Wasser IMMER besser. Wasser hat eine höhere Wärmekapazität, eine höhere Wärmeleitfähigkeit, lässt sich leichter pumpen und verdunstet einfach, wenn es verschüttet wird. ABER wenn du auf Wasser setzen willst brauchst du eben Wasserkühlkörper auf Kupfer. Und die sind in Summe teuer.

Der einzige Vorteil einer Ölkühlung gegenüber einer Wasserkühlung ist der unter Umständen geringere Preis.


----------



## Stockmann (11. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Was passiert eigentlich wenn es ein Leck gibt? 
Kann austredendes Öl zu 100% wieder aufgefangen werden?


----------



## Domowoi (11. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Ich gehe mal fest davon aus dass die Tanks in denen das Öl gelagert wird so konzipiert sind dass sie in den nächste paar Jahrzehnten nich auslaufen werden. Evtl. sind sie sogar in Beton oder sowas eingelassen.


----------



## Research (11. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*



Stockmann schrieb:


> Was passiert eigentlich wenn es ein Leck gibt?
> Kann austredendes Öl zu 100% wieder aufgefangen werden?


 
Kann man aufsaugen. Außer du hast Teppich verlegt.


----------



## JimSim (11. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*

Der Teppich ist aber ein muss. Sonst wirkt trotz offenem Kaminfeuer das Ölbecken so kalt und steril. Mit dem Teppich kommt da viel mehr Atmosphäre in die Bude.


----------



## Research (12. September 2012)

*AW: Intel kühlt Server komplett mit Mineraloil*



JimSim schrieb:


> Der Teppich ist aber ein muss. Sonst wirkt trotz offenem Kaminfeuer das Ölbecken so kalt und steril. Mit dem Teppich kommt da viel mehr Atmosphäre in die Bude.


 
Wenn das geht müsst ihr unbedingt eure Löschanlage überprüfen.


----------



## Brez$$z (1. Mai 2013)

*AW: Intel kühlt Server komplett mit Mineraloil*

 ja schön ausgegraben, aber Theo. sollte Destilliertes/Entminiralisiertes Wasser Funktionieren.
Nachteil ist das bei verschmutzung das wasser "leitend" werden kann.


----------

