Best Practices: I/O-konfiguration. Thomas Damgaard, Chefkonsulent, SAS Institute

Transkript

1 Best Practices: I/O-konfiguration Thomas Damgaard, Chefkonsulent, SAS Institute

2 Indhold Introduktion SAS -I/O generelt SAS-dataområder Filsystemstyper Spinning disks vs. Flash Test og tuning Konklusion

3 Introduktion Best practice guidelines for konfiguration af I/O på SAS på: Windows Linux UNIX Ikke omfattet: Z/OS Hadoop MPP-miljøer

4 SAS -I/O generelt 1 SAS-session per SAS user/sas Job/application SAS-sessioner er uafhængige = forskellige workloads SAS-datasæt: alm. filer Primært sekventiel I/O Store blokke: 64K, 128K, 256K og 512K IOPS-orienteret aktivitet ved bl.a.: Indekserede filer, som gennemløbes tilfældigt SAS OLAP-kuber SAS Solutions

5 SAS -I/O generelt Læser og skriver via Host System File Cache Ingen direkte I/O (som standard) Vær opmærksom på begrænsninger i OS Ingen præallokering af diskplads SAS Enterprise Excellence Center (EEC) sizing Generelle anbefalinger: > 100 MB/s per core for light analytics, datamanipulation > 150 MB/s per core for heavy analytics, STAT-procedurer m.m.

6 SAS -dataområder Minimum tre dataområder: SASDATA SASWORK UTILLOC Desuden: OS SWAP SAS Software + config

7 SASDATA Persistente data SAS -output I/O-profil: % læsning % skrivning Typisk RAID5 eller RAID1+0 Minimum MB/s per core

8 SASWORK Temporært arbejdsområde Single-threaded SAS PROCs I/O-profil: % læsning % skrivning Kan evt. være RAID-0 Minimum MB/s per core

9 UTILLOC Temporært arbejdsområde Multi-threaded SAS PROCs I/O-profil: % læsning % skrivning Kan evt. være RAID-5 Minimum MB/s per core Default: placeret under SASWORK

10 Ledig plads Overvåg pladsforbrug Aldrig < 20 % ledig plads ved peak-forbrug Bestil ekstra plads i god tid Test I/O efter tildeling af ekstra plads

11 SAS og filsystemer (local) OS Solaris AIX HP-UX Linux Windows Filsystem ZFS JFS2 JFS XFS, Ext4 (XFS foretrukket) NTFS READ-ahead slås til WRITE-behind/WRITE-through slås til

12 SAS og filsystemer (shared) Shared file systems IBM General Parallel File System (GPFS) Red Hat GFS2 Quantum StorNext Veritas Clustered File System Amazon Lustre M.m. NFS? Vendor-specifik tuning Husk test!

13 Konventionelle diske Mange små diske er bedre end få store diske SAS -diske foretrækkes Undgå SATA Typisk god størrelse: 300 GB 15k RPM SAS Stripe over mange diske Gå efter stor aggregeret båndbredde F.eks.: RAID-5 eller RAID LUNs på hvert filsystem (eller flere) 1 writer thread per LUN

14 Flash storage Mange Flash-typer SLC, MLC, emlc m.m. SSD, PCIe, appliances m.m. Stripe over LUNs via Volume Manager Brug Volume Manager Aggregeret båndbredde er vigtigt IOPS er sjældent vigtigt Aligning af blokke Ledig plads er meget vigtigt Mere end 20 % ledig Undgå garbage collection write cliff Hold øje med slitage Random placement Hash tables Indekserede tables

15 Test!

16 Test I/O-throughput Test performance! Grundlæggende: MB/s per core Utilstrækkelig I/O = største kilde til performanceproblemer på SAS Hvordan tester jeg?

17 Værktøjer til test: Windows SAS IO Test Utility Inkluderet i SAS (fra SAS 9.2) \SASHome\SASFoundation\9.4\sasiotest.exe Skriver og læser filer på samme måde som SAS Skriver gennem Windows API: WriteFile() Læser gennem Windows API: ReadFile() Lukker filer via Windows API: CloseFile()

18 Værktøjer til test: Linux/UNIX dd-script for UNIX SAS Note: KB51660 Script lavet af SAS Technical Support Bruger UNIX dd-kommando til at lave I/O-tests Kan køres, uden at SAS er installeret Læs KB51660 før brug

19 Tuning Ekskludér SAS -filtyper fra antivirus Windows: SAS Paper SAS Note: KB39615 Generelt: SAS Note: KB42197 Match SAS BUFSIZE med stripe-størrelse eller multiplum deraf

20 Dårlig performance, hvad gør jeg? Kontakt SAS Bed om et SAS Performance Review Thomas Damgaard

21 Konklusion MB/s per core Sekventielle reads/writes Separation af SASWORK, UTILLOC og SASDATA Stripe over flere LUNs Ledig plads vigtigt især på Flash Test!

22 Kilder og læsestof Best Practices for Configuring Your I/O Subsystem for SAS 9 Applications Frequently Asked Questions Regarding Storage Configurations Configuration and Tuning Guidelines for SAS 9 in Microsoft Windows Server 2008 Testing Throughput for your SAS 9 File Systems: UNIX and Linux platforms A list of papers useful for troubleshooting system performance problems Input/output performance in SAS is degraded due to excessive memory usage on Windows eedings15/sas pdf eedings15/sas pdf owsserver2008configurationandtuning.pdf

23 Spørgsmål?

24 Tak for opmærksomheden!