Odborná sekcia
Diskové pole Hitachi pro Video Post Produkci a vizuální efekty
18.12.2018, 20:48
Společnost 3S.cz jako Atorizovaný Servisní Partner a Platinum Parter společnosti Hitachi realizovala úspěšně projekt ukládání dat u jedné z nejvýznamnějších českých společností v oblasti postprodukce a vizuálních efektů pro film, reklamní, animační a herní průmysl.
Datové služby
Prostředí zákazníka bylo založeno z hlediska úložných systémů na dvou službách:
- Souborové sdílení CIFS/NFS pro řádově stovky uživatelů s konektivitou 1Gbps a 10Gbps
- Souborové sdílení CIFS/NFS pro farmu výpočetních serverů s konektivitou 10Gbps
- Blokový přístup FibreChannel 12x16Gbps pro filmové projekce
Konkurenční řešení
Zákazník testoval několik konkurenčních řešení. Některá byla postavena na klasickém přístupu, tj, použití diskového systému s x86 NAS Gateway postavené na Linuxu. Jiné řešení bylo postaveno na použití distribuovaného filesystému v rámci multinodového clusteru.
Obě konkurenční řešení obsahovala SSD tier a vytvářela tak očekávání vysokého výkonu. Přesto se tato řešení nepotkala se specifickými potřebami prostředí filmové postprodukce a vizuálních efektů. Očekávání nebyla naplněna.
Řešení 3S a Hitachi Vantara
Základním bodem bylo sloučení datových struktur do jednoho diskového systému VSP G370.
Jde o moderní diskové pole společnosti Hitachi disponující transakčním výkonem přes 1,2 milionu Input/Output transakcí za sekundu. Propustnost pak přesahuje 10.000 MB/s. Takto dimenzovaný diskový systém s dostatečným množství SDD a SAS kapacity poskytoval dostatečný fundament pro blokové i souborové služby.
Active Fash Funkcionalita diskového pole
SSD kapacita VSP G370 byla společně s „točivou“ SAS kapacitou svázána pomocí automatického tieringu, kdy diskové pole vyhodnocuje často používané datové bloky a preferuje je umístěním na rychlá SSD média. Naopak málo používaná data propadávají na pomalejší SAS kapacit. Workflow v oblasti filmové produkce se s vlastnosti tieringu potkává velmi dobře – pracuje se zejména na aktuálních projektech (hot data), starší projekty nad kterými je sporadický provoz propadávají na točivé disky (cold data).
Nicméně tiering není nic, co by neuměla řada výrobců. Specifikem technologie diskových polí VSP Gxxx je takzvaná „Active Flash“ technologie. Standardní implementace tieringu reaguje na změny se zpožděním (teprve poté, co vyhodnotí změny četnosti přístupů k datům). To může mít výrazně negativní dopad při masivním přístupu do spících dat, která z důvodu neaktivity propadla na točivé disky. V oblasti postprodukce tato situace nastává například při znovuotevření projektu, na kterém se delší dobu nepracovalo.
Hitachi technologie „Active Flash“ doplňuje klasický tiering schopností reagovat v reálném čase na skokové změny příchozí zátěže. Je tak schopna se přizpůsobit workflow v oblasti postprodukce a vizuálních efektů.
Hardwarová implementace NAS služeb
Hitachi NAS řešení používá hardwarovou akceleraci NFS a CIFS operací. Operace s metadaty a přesun datových bloků mezi síťovým rozhraním NAS a blokovým rozhraním jeho disků jsou prováděny nikoli klasickými Intel CPU x86, ale paralelně soustavou čtyř FPGA (Field Programmable Gate Array), česky programovatelných hradlových polí.
Motherboard CPU je pak k dispozici pro management a data management funkce. Použití FPGA zásadním způsobem zlepšuje schopnost paralelně zpracovávat operace. Výkon masivní sady 820 tisíc hradel násobně převyšuje výkon dosažitelný CISC instrukcemi Intel CPU. Každé FPGA má navíc integrováno až 24 transceiverů naprogramovatelných na 10GE a 8Gb FC, vlastní DDR paměťovou sběrnici a také PCI interface. Implementace filesystému uvnitř sady FPGA se nazývá Hitachi Data Systems „SiliconFS“.
Tierovaný filesystém SILICON FS
Použití tierovaného filesystému v Hitachi NAS (HNAS) bylo řešením zákaznického požadavku na velmi rychlé služby vyhledávání v rámci filesystémů, na browsing napříč adresářovými strukturami s mnoha soubory apod. Další oblíbenou aplikací je tierovaný filesystém, tedy oddělení místa uložení metadat od místa uložení datových bloků. Strukturální metadata zpracovávaná FPGA se ukládají na Full Flash kapacitě, což dále zrychluje skeny adresářů.
Datové bloky mohou skončit na běžných rotujících discích či hybridních iterovaných poolech a nejžádanější operace jsou provedeny rychlostí křemíku.
Závěr
Integrace služeb sdíleného filesystému a blokové storage do jednoho boxu umožnila postavit jedno výkonné řešení a neplatit za dva samostatné "úložné boxy". Použití Hi-Performance NAS řešení od společnosti HITACHI, které je interně postaveno na masivně paralelní architektuře RISC procesorů umožnilo předejít necnostem x86 řešení. Zákazník získlal řešení s velmi krátkými latencemi jak pro uživatele, tak pro výpočení enginy, které mu dává prostor pro růst služeb a efektivnější využití lidského potenciálu.