SAS Scalable Performance Data Server

Transkript

1 SAS Scalable Performance Data Server Charlotte Pedersen, seniorkonsulent Claus Ørskov, konsulent PS Banking

2 SPD Server Skalerbar Hastighed 2

3 Hastighed og skalerbarhed Mindre fil I/O og parallel processing Datasæt opdeles i filer: metadata, kolonneindeks, træstrukturindeks og datapartitioner. Alle disse filer kan placeres på forskellige enheder partitioner, diske og servere. Direkte eller over netværk Herved kan forespørgsler via indeks på data lagres separat på de forskellige partitioner og diske Anvender kerner og tråde på serveren Mulighed for at anvende RAID (Redundant Array of Independent Disks) og disk stripes 3

4 SPD Server serverne SPD Server Name Server er en ultratynd klient, som varetager bindeleddet mellem de definerede libname domains og SPD Server Data Server SPD Server Name Server SAS Client Data Server Snet Server ODBC Non-SAS Client 4

5 Klientforespørgsler på serveren Pass-through SQL eller almindelig SAS-kode Et libname i Base SAS kan se således ud til SPD Server: libname test SASSPDS prv host= kocloxp2 serv= 5400 user= sdkclo passwd= SAS91pw ; Og til SPD Engine: libname mitlib SPDE c:\temp\' ; Herefter SAS-kode direkte eller via SAS Data Integration Studio Alternativt til SPD Server kan SAS Scalable Performance Data Engine anvendes, hvor teknologien anvendes lokalt på en klient i Base SAS. Det kræver ikke særskilt licens. Data kan så kun tilgås med direkte adgang til disken 5

6 Eksempel med dynamisk cluster Et cluster fremstår som en tabel, når der forespørges, men udgøres af en række tabeller Muligt at flytte tidsvindue Meget begrænset nedetid Læsehastighed øges, hvis der forespørges på tværs af clusterets medlemmer, ligesom det enkelte medlem er partitioneret Eksempel Jan Elever jan-apr Feb Mar Apr 6

7 Håndtering af data Metoder Præ-sorteret data rettet mod by-sortering Optimering efter delmængdeforespørgsler (fx WHERE) Stjerneskema Teknologier Parallel sortering/gruppering Index Dynamisk cluster 7

8 Egenskaber Parallel processing i multible tråde (symmetric multiprocessing) Organiserer data i partitioner Udnytter indeks med store hastighedsfordele Kan tilgås direkte af andre produkter (end SAS) Reducerer netværkstrafik, da en del af databehandlingen som f.eks. summering og udvælgelse af delmængder ligger hos SPD Serveren Er ikke underlagt eventuelle begrænsninger af filstørrelser i operativsystemet Understøtter specifik adgangskontrol på tabel- og kolonneniveau 8

9 Henvisninger Dokumentation: The SAS Scalable Performance Data Server Controlling the Beast! (hardware og config): Managing large Data with SAS SPD Server : Scalability Solution for SAS Dynamic Cluster Tables: Parallel Join with Enhanced GROUP BY Processing (undertitel): 9

10 Charlotte Pedersen og Claus Ørskov 10