Autoload i Visual Analytics. Torben Skov, Chefkonsulent, SAS Institute

Transkript

1 Autoload i Visual Analytics Torben Skov, Chefkonsulent, SAS Institute

2 Autoload - overblik En folderstruktur (drop zone), hvor brugeren blot skal placere datafiler, som ønskes loaded til SAS Visual Analytics. SAS-datasæt Excelfiler (første faneblad) Delimited filer Primært anvendeligt ved enkeltserver-installationer, men kan godt anvendes ved distribuerede miljøer, hvis man ønsker at give mulighed for direkte load til memory af mindre datasæt.

3 Autoload - overblik Data loades direkte til memory og metadata registreres automatisk Data kan opdateres ved at placere en ny datafil i drop zone Full load eller append Load styres af tidshændelser (default hver 15. min) En autoload implementering pr. folder, der skal loades data til.

4 Autoload - Fordele Nemt for brugeren Hvis SAS LASRTM-serveren ikke er startet starter autoload den Upload udføres kun, hvis fil i drop zone er nyere end data i memory Ingen begrænsning på filstørrelse (som tilfældet er ved browserbaseret upload, hvor der maksimalt kan uploades 4 GB).

5 Autoload hvad skal man passe på Husk oprydning I data I logfiler placeret i Scripts/Logs I datasættet, der indeholder logfiler, placeret i Autoload/Logs Ressourceforbrug CPU Disk

6 Folderstrukturen set fra brugerens vinkel Loadfolderen Her placeres data som skal loades til memory Appendfolderen Her placeres data som appendes til data loaded til memory Unloadfolderen Her placeres data som skal fjernes fra memory

7 Opsætning af Autoload scriptsfolderen C:\SAS\Config94\Lev1\Applications\SASVisualAnalytics\VisualAnalyticsAdministrator\VALIBLA Scriptsfolderen Indeholder de filer som kontrollerer en implementering af autoload.

8 Extended attributes sættes på SAS LASR TM libnamet

9 To muligheder for at komme igang Brug out-of-the-box predefineret opsætning Data: C:\SAS\Config94\Lev1\AppData\SASVisualAnalytics\VisualAnalyticsAdministrator\AutoLoad Scripts: C:\SAS\Config94\Lev1\Applications\SASVisualAnalytics\VisualAnalyticsAdministrator\VALIBLA Loader til Public SAS LASR TM server Eller tilføj nyt loadområde Frit valg mht. sti til data- og scriptfolder Typisk kopierer jeg scripts ind under autoloadfolderen og kalder den scripts Frit valg mht. SAS LASR TM server / Libname Jeg anbefaler dette! Begge muligheder er beskrevet i administrationsguiden.

10 Ti trin til ny autoload implementering Opret drop zone folderstruktur Lav en kopi af en eksisterende scriptsfolder fx. C:\SAS\Config94\Lev1\Applications\SASVisualAnalytics\VisualAnalyticsAdministrator\VALIBLA Opret LASR libname i metadata Tilret extended attributer på library (kan først gøres når library er gemt første gang) Tilret scripts Autoload.sas indsæt navn på det nye library du lige har oprettet Autoload.cfg tilret sti til ny placering runsas.bat tilret sti til ny placering af scriptsfolderen schedule.bat tilret med nyt unikt navn* og placering af runsas.bat unscheduled.bat tilret med nyt unikt navn* Kør schedule.bat, så autoload startes *Windows specifikt

21 En note om brugeren, der kører autoload Brugeren angives i task-scheduleren (Windows), eller ved at køre schedule.bat med relevant bruger. Det skal være en bruger, hvor password ikke udløber. Husk at ændre job til at køre uden at brugeren er logget ind. Brugeren skal have adgang til at læse og skrive i de fysiske autoload foldere. Brugeren skal have adgang til at læse og skrive i metadata. Opret metadata bruger for autoload brugeren Eller indsæt følgende i autoload jobbet (så bruges sasadm@saspw) %include "C:\SAS\Config94\Lev1\SASMeta\MetadataServer\metaparms.sas ; options metarepository=foundation; (Autoload vil have metarepository uden )

22 Det er super let at sætte op Så hvad kan gå galt under implementering? Meget! Her er min top 4

23 Fejl 1 Der sker ingen ting! Det du observerer: Du kan se, at jobbet er kørt i taskskeduleren, men der dannes ingen saslog i Scripts/Log folderen. Det skyldes typisk at der er angivet en forkert fil i taskskeduleren, eller at der er fejl i runsas.bat filen, så den slet ikke får startet sas autoload-jobbet. Kør runsas.bat manuelt og se hvad der sker. Virker den er det sandsynligvis stien i skedulereren, der er forkert (sættes i schedule.bat).

24 Fejl 2 LASR library MISSING Du ser det her i loggen Det kan skyldes at: der er angivet forkert navn på LASR library i autoload.sas brugeren har ikke ret til at læse metadata.

25 Fejl 3 Kører fint manuelt, men ikke skeduleret Autoload-folderen er placeret på et netværksdrev, som er tilknyttet VA-serveren og når du er logget på maskinen kan du fint se netværksdrevet i stifinderen, men når autoload kører, er der ikke adgang. Sørg for at netværksdrevet er mountet på serveren, så det ikke er bundet op på enkeltbrugere, der skal tilknyttes netværksdrevet. Autoload kører uden at brugeren logger ind og derved tilknytter netværksdrevet.

26 Fejl 4 Ikke adgang til DBLOG.AUTOLOAD.DATA Du ser det her i loggen: ERROR: User does not have appropriate authorization level for file DBLOG.AUTOLOAD.DATA. Det skyldes, at: Brugeren, der kører autoload, har ikke skriveadgang til autoload-folderne.

27 Happy loading