DEMAC, 3Dtištěný modulární klastr Beowulf: 23 kroků (s obrázky)

2024 Autor: John Day | [email protected]. Naposledy změněno: 2024-01-30 08:20

High Performance Computation (HPC) je schopnost zpracovávat data a provádět složité výpočty vysokou rychlostí, je to aplikace „superpočítačů“na výpočetní problémy, které jsou buď příliš velké pro standardní počítače, nebo by jejich dokončení trvalo příliš dlouho. Top500 je seznam, který vychází dvakrát ročně, a řadí se mezi jedny z nejrychlejších a nejvýkonnějších počítačů na světě. Země a velké organizace vynakládají miliony prostředků na zprovoznění těchto systémů pro vědce, aby mohli využívat nejmodernější technologie a řešit složité problémy.

Počítače před lety zlepšovaly svůj výkon zvýšením rychlosti procesoru. Poté, co jsme čelili zpomalení tohoto druhu přístupu, se vývojáři rozhodli, že k pokračování ve zvyšování výkonu počítačů by mělo být zabaleno více jader (nebo výpočetních jednotek). Agregace více výpočetních zdrojů a mechanismů k ovládání těchto zdrojů je to, čemu v informatice říkáme „paralelismus“. Více jader dělat více úkolů zní jako dobrý přístup ke zlepšení výkonu počítače … ale otevírá se tím velká otázka: jak tyto zdroje efektivněji využívat?

Tyto otázky zaměstnávaly počítačové vědce, existuje několik způsobů, jak říct počítači, jak věci dělat, a ještě více způsobů, jak říci více počítačům, jak mají věci dělat. Tento projekt si klade za cíl vyvinout cenově dostupnou platformu, kde by každý mohl experimentovat s vysoce paralelním strojem, testovat stávající modely pro použití ve vašich vlastních projektech, vyvíjet nové a kreativní způsoby řešení výpočetních problémů nebo je použít pouze jako způsob, jak učit ostatní o počítačích. Doufáme, že si práci s DEMAC můžete užít stejně jako my.

DEMAC

Cluster Delaware Modular Assembly Cluster (DEMAC) je rozšiřitelná řada vestavěných systémů (počítače velikosti karet) a sada rámců 3Dtištěných pro obložení desek a dalšího hardwaru, který poskytuje napájení, chlazení a přístup k síti.

Každé zařízení nebo vestavěný systém je malý počítač, deska Parallella, která kombinuje zdroje dvoujádrového procesoru ARM, 16jádrového koprocesoru s názvem Epiphany a integrovaného FPGA s flexibilitou kompletního open-source zásobníku. Držák je doma vyrobený 3D vytištěný rám, který umožňuje levnou implementaci a eskalovatelnou strukturu. Je navržen tak, aby se do něj vešly 4 jednotky stojanu standardní velikosti (jako ty, které najdete v místnostech počítačových serverů).

Tento návod obsahuje:

- Seznam požadovaných materiálů

- Pokyny k 3D tisku rámů

- Pokyny k sestavení a připojení dílů

- Průvodce pro stažení a instalaci požadovaného softwaru

- Popis způsobu připojení a interakce s clusterem

- A "Proč to děláme?" sekce

Kdo jsme?

Jsme CAPSL (Computer Architecture and Parallel Laboratory) z University of Delaware. Věříme, že budoucnost výpočtu by měla mít silnou základnu v teorii toku dat (což vám vysvětlíme později v tomto návodu, pokud vás to zajímá).

Zásoby

Tento seznam popisuje materiály potřebné k vytvoření clusteru se 4 deskami

- 4 desky Parallella (můžete je získat od DigiKey nebo jiných prodejců, více informací najdete na jejich webových stránkách

-4 karty micro-SD s alespoň 16 Gb (zde je velmi levné balení 10 nebo něco podobného jako flexibilnější kombinace)

- 4 kabely micro USB s minimální délkou 30 cm (doporučuji tyto)

- USB nabíječka [s alespoň 4 porty typu A] (doporučuji tuto se 6 porty nebo se stejným tvarovým faktorem, protože napájecí skříň je na to určena)

- Chladicí ventilátor [maximální velikost 100 mm x 100 mm x 15 mm] (doporučuji tento, protože je levný a funguje, ale jiné s podobnou velikostí a konfigurací kabelu fungují)

- Napájení chladicího ventilátoru (Pokud je vaše konfigurace pro více než 8 desek, doporučuji tuto nebo něco podobného [AC 100 V/ 240 V až DC 12 V 10 A 120 W], které má pěkné kovové pouzdro a lze jej také připojit k přepínači) (Pokud se chystáte připojit pouze dva ventilátory nebo méně, můžete použít libovolných 12 V s alespoň 1 A výstupním napájecím zdrojem, který můžete mít položený kolem)

- 5 ethernetových kabelů (4 mohou být takto krátké, v závislosti na vzdálenosti od přepínače k deskám, a jeden by měl být dostatečně dlouhý pro připojení přepínače k počítači nebo modemu pro přístup ke klastrové síti)

>> Důležitá poznámka: Je vyžadován chladicí systém, jinak se desky mohou přehřát! <<<

3D vytištěné díly

- 4 deskové podnosy (Frame_01)

- 1 pouzdro desky (Frame_02)

- 1 skříň ventilátoru (Frame_03_B & Frame_03_T)

- 1 napájecí skříň (Frame_04)

Krok 1: O systému DEMAC

DEMAC je součástí širšího obrazu, flexibilní a snadno přístupné platformy, která nám umožňuje vyvíjet a testovat nové modely spouštění programování (PXM) pro paralelní výpočet. PXM je více než jen způsob, jak popsat výpočet, představuje páteř, která poskytuje shodu mezi způsobem, jakým je program vyjádřen, a tím, jak je přeložen do společného jazyka, který může stroj provádět. Popisujeme sadu prvků, které umožňují uživateli generovat programy a způsob, jak organizovat provádění programu. Program může být optimalizován tak, aby cílil na konkrétní architekturu uživatelem nebo automatizovaným nástrojem založeným na tomto společném pozadí.

Další informace o tomto projektu se můžete dozvědět na konci tohoto pokynu, kliknutím sem také získáte další informace o DEMAC nebo zde získáte další informace o CAPSL)

Krok 2: 3D tisk DEMAC

V této části najdete průvodce 3D tiskem rámů, které obklopují ostatní součásti a poskytují strukturální podporu. I když jste mistrem 3D tisku, zde je několik tipů, které můžete při tisku těchto rámců zvážit. Všechny rámečky lze tisknout pomocí trysky 0,4 mm s výškou vrstvy 0,3 nebo 0,2 (můžete také použít adaptivní). Vytiskl jsem vše pomocí PLA, ale na tom nezáleží, pokud chcete použít jiné materiály (pokud poskytují strukturální stabilitu a mohou tolerovat vyšší nebo stejné teploty než PLA).

Soubory STL:

www.thingiverse.com/thing:4493780

cults3d.com/en/3d-model/various/demac-a-mo…

www.myminifactory.com/object/3d-print-dema…

Deskový panel (Frame_01)

Nevyžadují se žádné další podpory. Tenhle je docela přímočarý, stačí jej umístit rovným povrchem směrem k tiskové ploše.

Skříň desky (Frame_02)

Ten může vyžadovat určitou oporu ve středních nosnících. Můžete tvrdit, že dobře vyladěný stroj/kráječ dokáže tyto mosty vytisknout bez další podpory. Pokud chcete tisknout bez podpor, zkuste nejprve nějaké zátěžové testy můstku, protože myšlenka byla, že je nebude vyžadovat. Na druhé straně postranní sloupy a stěny poskytují dostatečnou podporu pro tisk bez dalších podpůrných struktur.

Skříň ventilátoru (Frame_03_B & Frame_03_T)

Nevyžadují se žádné další podpory. Stačí přiložit obě části rovným povrchem k tiskové ploše.

Power Case (Frame_04)

Podobně jako u Frame_02 i tento může vyžadovat určitou podporu středních paprsků. Můžete se také pokusit vytisknout tento bez dalšího podpůrného materiálu (jak bylo zamýšleno). Boční sloupy a stěny poskytují dostatečnou podporu pro tisk bez dalších podpůrných struktur.

Skříň chlazení výstupu (Frame_05_B & Frame_05_T)

Nevyžadují se žádné další podpory. Stačí přiložit obě části rovným povrchem k tiskové ploše.

Krok 3: Sestavte DEMAC

Nyní, když máte všechny požadované součásti, je čas začít sestavovat cluster.

Nezapomeňte odstranit podpůrný materiál, který můžete mít na rámech.

Krok 4: Umístěte ventilátor na skříň

Jednoduše zasuňte ventilátor dovnitř Frame_03_B (s kabelem v pravém dolním rohu), spodní část by se měla vejít dovnitř malých zakřivených stěn, které drží ventilátor na svém místě.

Umístěte Frame_03_T malými zakřivenými stěnami směrem dolů na Frame_03_B (s ventilátorem již na svém místě). Dávejte pozor, aby nejširší víko Frame_03_T směřovalo k širší (zadní) ploše Frame_03_B. Rámy by měly cvaknout a víčka by je měla držet na svém místě.

Krok 5: Připojte se k pouzdru desky s pouzdrem Power

Umístěte Frame_02 na rám Frame_04, tyto dva jsou navrženy tak, aby se k sobě přichytily. Ve spodní části Frame_02 je malá prohlubeň, která odpovídá konektorům v horní části Frame_04. Spojte je jemnou silou.

Krok 6: Nainstalujte chladicí jednotku

Frame_03 (B&T) jsou navrženy tak, aby zapadly dohromady s Frame_02, umístěte ventilátor čelem k deskám (proudění vzduchu by mělo jít dovnitř Frame_02). Na sloupcích Frame_02 jsou malá promáčknutí, která by měla odpovídat značkám v Frame_03_B. Působte mírným tlakem na boční plochy konstrukce, dokud rámy nezaklapnou.

Krok 7: Umístěte desky na desky

Frame_01 má 4 piny, které odpovídají otvorům v desce Parallella. Deska by se měla snadno vejít do zásobníku. V závislosti na kalibraci vaší 3D tiskárny mohou být příliš velké nebo příliš malé. Můžete použít trochu tekutého silikonového lepidla, abyste je drželi na místě, nebo je trochu přitlačte kleštěmi, abyste zmenšili průměr.

>> Důležitá poznámka: Nezapomeňte umístit chladiče na desku <<<

Krok 8: Zasuňte deskové desky do pouzdra desky

Frame_01 poskytují sloty, které se vejdou do kolejnic Frame_02 pro každou úroveň. Všimněte si, že je zde pouze jedna otevřená strana pro přijetí desky desky. Existuje také malá nerovnost, která pomáhá udržet Frame_01 na svém místě (upřímně řečeno, tyto by mohly v budoucí verzi využít určité vylepšení).

Posuňte všechny 4 desky desek s již položenými deskami, 1 na každou úroveň.

Krok 9: Umístěte napájecí zdroj do skříně napájení

Umístěte napájecí zdroj USB do Frame_04 porty USB směrem ven. Na druhé straně je malý otvor pro napájecí kabel, který napájí rozbočovač.

Krok 10: Připojte ventilátor k napájecímu zdroji chlazení

Nyní by měl být ventilátor připojen k napájecímu zdroji 12 V, který dodává energii do chladicí jednotky.

>> Důležitá poznámka: Nechte chladicí systém pracovat po celou dobu, dokud máte desky připojené k napájecímu zdroji <<<

Krok 11: Konfigurace operačního systému

1. Stáhněte si doporučený OS (Parabuntu) zde

Existují dvě revize čipů (z7010 [P1600/P1601] a z7020 [P1602/A101040], které vyžadují různé soubory.

Pro obě revize existuje verze bez hlav (žádné grafické uživatelské rozhraní) a verze, která poskytuje podporu HDMI a grafické uživatelské rozhraní)

Pokud chcete použít výstup HDMI, nezapomeňte si pořídit kabel mini-HDMI.

S bezhlavou verzí můžete komunikovat prostřednictvím sítě.

Více informací a podrobné vysvětlení naleznete zde na oficiálních stránkách.

Zde jsou kroky k instalaci operačního systému pomocí distribuce založené na Linuxu. K dalším krokům můžete použít příkazy v terminálu (bez symbolu $) nebo zkontrolovat další postupy na webu.

2. Nainstalujte

- Vložte kartu micro-SD do běžného počítače- Rozbalte obrázek Ubuntu. Změňte [releasename] pro název obrázku.

$ gunzip -d [název vydání].img.gz

3. Ověřte cestu k zařízení na kartě SD

Přesná cesta zařízení k vaší SD kartě závisí na vaší distribuci Linuxu a nastavení počítače. Pomocí níže uvedeného příkazu získáte správnou cestu. Pokud z výstupu není jasné, která cesta je správná, zkuste příkaz s vloženou kartou SD i bez ní. V Ubuntu může být vrácená cesta něco jako ‚/dev/mmcblk0p1‘.

$ df -h

4. Odpojení karty SD Před vypálením karty budete muset odpojit všechny oddíly na kartách SD. [SD-partition-path] pochází z příkazu „df“v kroku 3.

$ umount [sd-partition-path]

5. Vypálte obraz disku Ubuntu na kartu micro-SD

Vypálte obrázek na kartu SD pomocí nástroje „dd“zobrazeného v příkladu příkazu níže. Buďte opatrní a ujistěte se, že jste zadali cestu správně, protože tento příkaz je nevratný a přepíše cokoli v cestě! Příklad příkazu v Ubuntu by byl: ‘sudo dd bs = 4M if = my_release.img of =/dev/mmcblk0‘. Buďte trpěliví, může to chvíli trvat (mnoho minut) v závislosti na používaném počítači a kartě SD.

$ sudo dd bs = 4M if = [releasename].img of = [sd-partition-path]

6. Zkontrolujte, zda byly dokončeny všechny zápisy na kartu SD

$ sync

7. Vložte kartu SD do slotu pro kartu SD na desce

Krok 12: Připojte desku k napájecímu zdroji

Pomocí kabelu miniUSB na USB-A připojte jednu z desek k rozbočovači USB. Můžete označit porty a kabely nebo definovat pořadí připojení pro případ, že byste později desku chtěli odpojit.

Krok 13: Nastavení routeru

Pokud provádíte bezhlavou instalaci operačního systému, když jste ve velké síti, budete muset použít router a připojit jej k internetu, deskám Parallella a osobnímu počítači.

Pokud se nemůžete připojit k routeru, můžete desku připojit také přímo k počítači pomocí ethernetového kabelu, tento postup může být trochu složitější a nebyl by zahrnut v tomto pokynu.

Jakmile je vše připojeno, otevřete rozhraní routeru a zjistěte, jaká IP adresa je ve výchozím nastavení přidělována vaší Parallella. Vyhledejte kartu s názvem Síť. Poté najděte sekci s názvem Seznam klientů DHCP. Tam byste měli vidět vaši desku Parallella a její IP adresu.

S touto IP adresou můžete SSH do Parallella nastavit a nastavit statickou IP adresu.

Krok 14: Připojení k Parallella Board pomocí SSH

Poznámka: V této části je [default_IP] dynamická adresa IP, kterou jste našli v seznamu klientů DHCP.

Zkontrolujte připojení k desce

$ ping [default_IP]

SSH do desky poprvé (výchozí heslo je paralelní)

$ ssh parallella@[default_IP]

Krok 15: Nastavení sítě

- Změnit název hostitele: upravit /etc /hostname

Zde můžete přiřadit libovolné jméno, doporučujeme použít NOPA ##

Kde ## identifikuje číslo desky (tj. 01, 02, …)

- Nastavit IP adresy ostatních desek: upravit /etc /hosts

Nastavit statickou IP adresu: přidejte níže uvedený text pro /etc/network/interfaces.d/eth0

#Primární síťové rozhraníeauto eth0

iface eth0 inet static

adresa 192.168.10.101 #IP by měla být v dosahu routeru

síťová maska 255.255.255.0

brána 192.168.10.1 #Toto by měla být adresa routeru

nameserver 8.8.8.8

nameserver 8.8.4.4

Jakmile přiřadíte IP desce, můžete restartovat připojení pomocí příkazu

$ ifdown eth0; ifup eth0

nebo restartujte desku

Krok 16: Nastavení přístupu Keygen a přístupu bez hesla na deskách

Nastavte pár soukromých veřejných klíčů na každém uzlu (včetně hlavního uzlu). Vytvořte dočasnou složku, vygenerujte nový klíč a udělejte z něj autorizovaný klíč a přidejte všechny NOPA ke známým hostitelům, jak je uvedeno níže.

mkdir tmp_sshcd tmp_ssh ssh -keygen -f./id_rsa

#Stiskněte dvakrát Enter pro nastavení a potvrzení prázdného hesla

cp id_rsa.pub authorized_keys

pro i v `seq 0 24`; do j = $ (echo $ i | awk '{printf "%02d / n", $ 0}');

ssh-keyscan NOPA $ J >> known_hosts; Hotovo

Krok 17: Instalace Sshfs

- Použití sshfs umožňuje sdílení souborů mezi deskami v clusteru. Spusťte následující příkaz:

$ sudo apt -get install -y sshfs

- Kontrola / Vytvoření skupiny pojistek

Zkontrolujte, zda existuje skupina pojistek:

$ cat /etc /group | grep 'pojistka'

Pokud skupina existuje, proveďte následující příkaz

$ bash sudo usermod -a -G pojistka paralelně

- Pokud skupina neexistuje, vytvořte ji a přidejte do ní uživatele

$ sudo groupadd pojistka

$ sudo usermod -a -G pojistka paralelně

- Odkomentujte řádek user_allow_other v souboru fuse.config

$ sudo vim /etc/fuse.conf

Krok 18: Konfigurace složky NFS

- Upravte soubor /etc /fstab

$ sudo vim /etc /fstab

- Nahraďte obsah níže uvedeným textem

# [souborový systém] [bod připojení] [typ] [možnosti]

sshfs#parallella@NOPA01:/home/parallella/DEMAC_nfs/home/parallella/DEMAC_nfs fuse comment = sshfs, noauto, users, exec, rw, uid = 1000, gid = 1000, allow_other, reconnect, transform_symlinks, BatchMode = yes, nonempty, _netdev, identityfile =/home/parallella/.ssh/id_rsa, default_permissions 0 0

Krok 19: Připojte desku k přepínači

Umístěte přepínač pod cluster nebo někde poblíž, pomocí ethernetových kabelů připojte desku, kterou jste již nakonfigurovali, k přepínači. Můžete také připojit přepínač a počítač k routeru, abyste získali přístup ke clusteru.

Měli byste být schopni ping a ssh do desky, která je nyní připojena k přepínači se statickou IP.

Do souboru /etc /hosts můžete také přidat IP a název hostitele. Místo zadávání celé IP adresy budete moci použít název hostitele.

Krok 20: Opakujte kroky 11 až 19 pro každou desku

Při konfiguraci operačního systému a sítě pro každou desku postupujte podle následujících pokynů.

>> Důležitá poznámka: Pro každou desku použijte různá jména hostitelů a IP! Měly by být jedinečné prostřednictvím sítě! <<<

Krok 21: Připojte periferie

Ujistěte se, že ventilátor funguje:

Ujistěte se, že ventilátor dostává energii a proudění vzduchu směřuje dovnitř do skříně desky. Připojení by mělo být stabilní a nezávislé na ostatních prvcích. Pamatujte, že desky se mohou přehřát, pokud nejsou správně chlazeny.

Ujistěte se, že jsou desky připojeny k přepínači:

V tomto okamžiku byste měli nakonfigurovat každou desku samostatně. Desky by měly být také připojeny k přepínači. Manuál přepínače by měl poskytovat informace, které lze použít ke kontrole správného dokončení procesu spouštění, mohou existovat některé LED diody, které indikují stav.

Připojte desky k napájecímu zdroji:

Pomocí kabelu micro-USB na USB-A připojte každou desku k rozbočovači USB. Porty můžete označit štítkem nebo definovat objednávku v případě, že potřebujete odpojit jednu desku.

Krok 22: Připojte napájení

1. Ventilátor by měl fungovat.

2. Desky by měly být připojeny k ethernetovému přepínači.

3. Zkontrolujte, zda jsou desky připojeny k rozbočovači USB.

4. Zajistěte napájení rozbočovače USB.

5. Povolte DEMAC!

6. Zisk!

Krok 23: Zdroje softwaru

MPI (Message Passing Interface)

MPI je komunikační protokol pro programování paralelních počítačů. Podporována je jak komunikace point-to-point, tak kolektivní komunikace.

www.open-mpi.org/

OpenMP (Open Multi-Processing)

Aplikační programovací rozhraní (API) OpenMP (Open Multi-Processing) podporuje multiplatformní multiprocesové programování se sdílenou pamětí v C, C ++ a Fortran na mnoha platformách. Skládá se ze sady směrnic kompilátoru, rutin knihovny a proměnných prostředí, které ovlivňují chování za běhu.

www.openmp.org/

Software Parallella

Vývojáři poskytují balíček softwaru s otevřeným zdrojovým kódem, včetně sady SDK pro rozhraní s akcelerátorem.

www.parallella.org/software/

Můžete také najít manuály a podrobnější informace.

Mají také úložiště GitHub:

github.com/parallella

Nebojte se stáhnout a spustit některé z příkladů, jedním z mých oblíbených je hra o život podle slavné Conwayovy hry o život.

Disclaimer: Definice mohou být zkopírovány z wikipedie