SAS GRID MANAGER THOMAS DAMGAARD, CHEFKONSULENT, SAS INSTITUTE Copyr i g ht 2016, SAS Ins titut e Inc. All rights res er ve d.

Transkript

1 SAS GRID MANAGER THOMAS DAMGAARD, CHEFKONSULENT, SAS INSTITUTE

2 INDHOLD Hvad kan Grid Manager? Hvordan virker SAS Grid Manager? Spørgsmål

3 HVAD KAN GRID MANAGER?

4 Jobstyring Central administration af job, maskiner og brugere Prioritering, skedulering af job Identificer, alloker og administrer ressourcer

5 Øget oppetid Opdag hardware-fejl håndter fejl automatisk Automatisk genstart af job ved systemfejl Genstart af job med checkpointing

6 Forbedret performance Hurtigere jobafvikling Opdel job for parallel kørsel Muliggør analyse på større mængder data

7 FLERE FORDELE Desuden: Bedre brugeroplevelse Bedre udnyttelse af hardware Skalerbarhed

8 SAS GRID MANAGER Hvordan virker grid? Køer Parallelisering Fejltolerance

9 KØSTRUKTURER

10 KØER OG SKEDULERING Job sendes til en kø Når der er ledige ressourcer, tages et job fra køen Køer giver mulighed for regler og prioritering: Priority Preemtion Dispatch and run windows Hosts and hosts groups Users and user groups

11 KØER OG SKEDULERING Fordeler arbejde mellem flere forskellige maskiner Køer har tilknyttet regler Prioriteter Specifikke ressourcer M.m. Sikrer at vigtige kørsler får prioritering over mindre vigtige kørsler Central monitorering af hardware ressourcer

12 FORDELE Sikre at tidskritiske kørsler kommer igennem hurtigt Adskil batch fra interaktiv brug Bedre brugeroplevelse Undgå at én bruger forbruger alle ressourcer Finkornet styring af hardware-ressourcer Udnyt ledig hardware uden for peak hours

13 PARALLELISERING

14 PARALLELISERING Ingen parallelisering: Single core systemer Kun et program kan køre ad gangen Timesharing kan give illusion af samtidighed Symmetrisk multiprocessering (SMP): Multi-core/multi-CPU systemer Flere programmer kan køre samtidigt Et program kan udnytte mere end én CPU kerne Et program kan kun afvikles på én maskine Massiv multiprocessering (MPP): SAS Grid Manager Et job kan udnytte kerner på flere maskiner samtidigt

15 PARALLELISERING AFVIKLING AF PROGRAMMER I GRID Eksisterende SAS programmer kan køre i et SAS Grid De fleste programmer kan køre uændret på grid Nogle programmer kan kræve mindre modifikationer for at kunne køre Det kan være en fordel af omskrive enkelte programmer til grid

16 PARALLELISERING Uændrede programmer: Kører på én maskine ad gangen (kan udnytte flere kerner) Drager fordel af skedulering, køstrukturer og fejltolerance

17 PARALLELISERING Programmer (om)skrevet til grid: Kan køre på flere maskiner samtidigt Drager fordel af skedulering, køstrukturer og fejltolerance

18 PARALLELISERING Hvilke programmer skal skrives om? Ingen krav De fleste programmer er paralleliserbare Tommelfingerregel: Dem som tager længst tid

19 FEJLTOLERANCE

20 FEJLTOLERANCE Single point of failures bør elimineres Risikoen for en maskinfejl øges med antallet af servere SAS Grid arkitektur håndterer maskinfejl, så job kører videre, selvom en eller flere maskiner fejler Genstarte services på andre maskiner Genstarte afbrudte job (forfra) Genoptage kørsel af delvist færdigt program (Checkpointing) Metadata og middle tier services kan også gøres fejltolerante (uden grid)

21 FORDELE Fordele ved fejltolerance: Forbedret oppetid Gladere brugere Mere for pengene

22 AFRUNDING

23 AFRUNDING Hvad kan Grid? Styre jobafvikling, prioritering og skedulering centralt (køstrukturer) Afvikle programmer på mere end én maskine samtidig (parallelisering) Forøge oppetid (fejltolerance) Bedre udnytte hardware (parallelisering) Hurtigere jobafvikling (parallelisering) Bedre brugeroplevelse (fejltolerance + køstrukturer)

24 SPØRGSMÅL?

25 KILDER Kilder SAS Grid Manager Grid Computing in SAS SAS Grid Architecture

26 TAK