Wkuno

Hvordan bygge en superdatamaskin

Er du i behov av en maskin som kan levere hundrevis av billioner av flyttall beregninger per sekund? Eller er du i behov av en bar historie om hvordan superdatamaskin i kjelleren knipset en breaker? Bygg din egen High Performance Compute klynge, aka superdatamaskin, er en utfordring noen ekspert geek med en helg ledig tid og litt penger å brenne kan takle. Teknisk sett er en moderne, multi-prosessor superdatamaskin et nettverk av datamaskiner som arbeider sammen i parallell for å løse et problem. Denne artikkelen vil kort beskrive hvert trinn i prosessen, med fokus på hardware og software.

Trinn

Hvordan bygge en superdatamaskin. Først bestemme maskinvarekomponenter og ressurser som trengs.
Hvordan bygge en superdatamaskin. Først bestemme maskinvarekomponenter og ressurser som trengs.
  1. 1
    Først bestemme maskinvarekomponenter og ressurser som trengs. Du trenger ett hode node, minst et dusin identiske datanoder, en Ethernet-svitsj, en Power Distribution Unit, og et stativ. Bestem det elektriske etterspørselen, kjøling og plassbehov. Også bestemme hvilken IP-adresse du ønsker for dine private nettverk, hva nevne nodene, hvilke programvarepakker du vil installere, og hvilken teknologi du ønsker å gi parallell databehandling evner (mer om dette senere).
    • Selv om maskinvaren ikke kan fritt lastes ned, all programvaren som er oppført i denne how-to er gratis og de ​​fleste er åpen kildekode.
  2. 2
    Bygg datanoder. Du må montere datanoder eller anskaffe pre-build servere.
    • Velg en datamaskin server chassis som maksimerer plass, kjøling og energieffektivitet.
    • Eller du kan bruke et dusin eller så brukes, utdaterte servere - som helhet vil oppveie summen av sine deler likevel spare deg for en betydelig klump av kontanter. Alle prosessorer, nettverkskort og hovedkort bør være identisk for hele systemet til å spille sammen pent. Selvfølgelig, ikke glemme RAM og lagring for hver node, og minst en optisk stasjon for hodet noden.
  3. 3
    Installere servere i rack. Starte fra bunnen, slik at stativet ikke er topptung. Du trenger en venn til å hjelpe deg med dette - de tette servere kan være svært tung og veilede dem inn skinnene som holder dem i stativet er vanskelig.
  4. 4
    Installere ethernet bryter over server chassis. Ta dette øyeblikk å konfigurere bryteren: tillate jumbo framestørrelser på 9000 bytes, angi IP-adressen til den statiske adressen du bestemt deg for i trinn 1, og slå av unødvendige ruting protokoller som SMTP snusing.
  5. 5
    Installer PDU (Power Distribution Unit). Avhengig av hvor mye strøm dine noder kan trenge ved maksimal belastning, kan det hende du trenger 220 volt for tungregning.
  6. 6
    Med alt installert, kan du begynne konfigureringen. Linux er de facto OS for HPC klynger, ikke bare er det et ideelt miljø for vitenskapelig databehandling, men det koster ikke noe å installere det på hundrevis eller kanskje tusenvis av noder. Tenk hvor mye det ville koste å installere Windows på alle disse nodene?
    • Begynn med å installere den nyeste versjonen av hovedkortets BIOS og firmware, som skal være den samme på alle noder.
    • Installerer du ønsket linux distro på hver enkelt node, med et grafisk brukergrensesnitt for hodet node. Populære valg inkluderer CentOS, openSUSE, Scientific Linux, RedHat, og SLES.
    • Denne forfatteren anbefaler på det sterkeste å bruke Rocks Cluster Distribution. I tillegg til å installere alle nødvendige verktøy for en databehandlingsklyngen å fungere, bruker Rocks en flott metode for 'distribusjon' mange tilfeller av seg selv til nodene svært raskt ved hjelp av PXE boot og Red Hat 'Kick Start prosedyre.
  7. 7
    Installer meldingspasseringsgrensesnitt, ressurs-manager, og andre nødvendige biblioteker. Hvis du ikke har installert Rocks i forrige trinn, må du manuelt sette opp den nødvendige programvaren for å aktivere parallell databehandling mekanismer.
    • Først trenger du en bærbar bash management system, slik som Torque Resource Manager, som lar deg bryte opp og fordele arbeidsoppgaver til flere maskiner.
    • Pair Torque med Maui Cluster Scheduler for å fullføre installasjonen.
    • Neste du må installere meldingen passerer grensesnittet, er nødvendig for de enkelte prosesser på de separate datanoder å dele de samme dataene. OpenMP er en no-brainer.
    • Ikke glem multi-threading matematiske biblioteker og kompilatorer å bygge din parallell databehandling programmer. Sa jeg nevne at du bør bare installere Rocks?
  8. 8
    Nettverk datanoder sammen. Hodet node sender beregne oppgavene til de datanoder, som igjen må sende resultatet tilbake, samt sende meldinger til hverandre. Jo raskere jo bedre.
    • Bruk en privat Ethernet-nettverk for å koble alle nodene i klyngen.
    • Hodet node kan også fungere som en NFS, PXE, DHCP, TFTP, og NTP server over Ethernet-nettverket.
    • Du må skille dette nettverket fra offentlige nettverk, som sikrer at broadcast pakker ikke forstyrrer andre nettverk i lokalnettet.
  9. 9
    Test klyngen. Det siste kan være lurt å gjøre før du slipper alt dette datakraft til brukerne er å teste den ytelse. Den HPL (High Performance Lynpack) benchmark er et populært valg for å måle beregningsorientert hastighet av klyngen. Du må kompilere den fra kilden med alle mulige optimaliseringer din kompilatoren tilbyr for arkitekturen du valgte.
    • Du må selvsagt bygges fra kildekode med alle mulige optimaliseringsalternativer for din plattform. For eksempel, hvis du bruker AMD prosessorer, kompilere med Open64 med-0fast optimalisering nivå.
    • Sammenligne resultatene på TOP500.org å sammenligne klynge de raskeste 500 superdatamaskiner i verden!

Tips

  • IPMI kan gjøre administrasjon av en stor klynge en lek ved å gi KVM-over-IP, ekstern strøm sykling, og mer.
  • Bruk Ganglia å overvåke beregningsorientert belastninger på nodene.
  • For virkelig høye nettverk hastigheter, se inn i InfiniBand nettverksgrensesnitt. Være forberedt på å betale premium pris skjønt.

Advarsler

  • Sørg for at infrastrukturen kan håndtere belastningen