Database Implementering

Transkript

1 Database Implementering 1

2 Database Implementering Er det ikke nemt at implementere et database system? Gemme relationer Parse statements Print resultater Ændre relationer 2

3 Må vi præsentere Database Management System Sidste skrig fra DanLabs Indarbejder den nyeste teknologi Linux compatibelt 3

4 DanDB 3000 Implementerings Detaljer Relationer gemt i filer (ASCII) Relation R gemt i /var/db/r Eksempel: Peter # Erd.We. Lars # Od.Cl.. 4

5 DanDB 3000 Implementerings Detaljer Directory file (ASCII) gemt i /var/db/directory For relation R(A,B) med A af typen VARCHAR(n) og B af typen integer: R # A # STR # B # INT Eksempel: Favorite # drinker # STR # beer # STR Sells # bar # STR # beer # STR #.... 5

6 DanDB 3000 Eksempel Session % dandbsql Velkommen til DanDB 3000! >. > quit % 6

7 DanDB 3000 Eksempel Session > SELECT * FROM Favorite; > drinker # beer ################## Peter # Erd.We. Lars # Od.Cl. (2 rows) 7

8 DanDB 3000 Eksempel Session > SELECT drinker AS snob FROM Favorite, Sells WHERE Favorite.beer = Sells.beer AND price > 25; > snob ###### Peter (1 rows) 8

9 DanDB 3000 Eksempel Session > CREATE TABLE expensive (bar TEXT); > INSERT INTO expensive (SELECT bar FROM Sells WHERE price > 25); > Opret relation med dyre barer 9

10 DanDB 3000 Implementerings detaljer Udføre: SELECT * FROM R WHERE betingelse : 1. Læs /var/db/dictionary, find linje startende med R # 2. Print resten af den linie 3. Læs /var/db/r filen, for hver linie: a. Check betingelsen b. Hvis OK, print linien 10

11 DanDB 3000 Implementerings detaljer Udføre CREATE TABLE S (A1 t1, A2 t2); : 1. Map t1 og t2 til interne typer T1 og T2 2. Tilføj ny linie: S # A1 # T1 # A2 # T2 til /var/db/directory Udføre INSERT INTO S (SELECT * FROM R WHERE condition); : 1. Udfør select som før 2. I stedet for at printe, tilføj linien til filen /var/db/s 11

12 DanDB 3000 Implementerings detaljer Udføre SELECT A,B FROM R,S WHERE betingelse; : 1. Læs /var/db/dictionary for at finde schema for R og S 2. Læs /var/db/r filen, for hver linie: a. Læs /var/db/s filen, for hver linie: i. Opret den joinede tupel ii. Check betingelse iii. Print hvis OK 12

13 DanDB 3000 Problemer Tupel layout på disk Ret string fra Od.Cl. til Odense Classic og vi skal genskrive hele filen ASCII storage er dyrt Sletninger er dyre Søgning er dyre ingen indexes! Kan ikke finde en tupel med en given key hurtigt Skal altid læse hele relationen 13

14 DanDB 3000 Problemer Brute force processering Eksempel: SELECT * FROM R,S WHERE R.A=S.A AND S.B > 1000; Skal vi lave select først? Er natural join mere effektivt? Ingen concurrency control 14

15 DanDB 3000 Problemer Ikke pålideligt Kan miste data Kan efterlade operationer halvt færdige Ingen sikkerhed Usikkerhed for filsystemet Filsystemets sikker ikke finkornet nok Ingen application program interface (API) Hvordan kan et klient-program tilgå data? 15

16 DanDB 3000 Problemer Kan ikke kommunikere med andre DBMS Meget begrænset support af SQL Ingen constraint håndtering etc. Ingen admin interface, ingen grafisk brugerflade,... Ret dårlig sælger! 16

17 Data Storage 17

18 Computer System CPU RAM SATA Secondary & Tertiary Storage 18

19 latency The Memory Hierarchy a lot/mb Cache 0.3 ns 30/GB RAM primary 1.5 ns Pris 8/GB Solid-State Disk secondary 0.1 ms 0.4/GB Harddisk tertiary 7.5 ms 19

20 DBMS og Storage Databaser ofte for store til at holde i primary storage Tabeller typisk gemt i secondary storage Store mængder data der kun tilgåes sjældent gemmes på tertiary storage (eller på bånd) Indexes og tabeller i brug caches i primary storage 20

21 Harddisk N roterende magnetiske plader 2xN hoveder til læsning og skrivning Opdelt i track, cylinder, sector, gap 21

22 Harddisk Access Access time: Hvor lang tid tager det at loade en block fra harddisken? Seek time: Hvor lang tid tager det at flytte læsehovedet til den rigtige cylinder? Rotational delay: Hvor lang tid tager det før disken har drejet den rigtige sektor om til læsehovedet? Transfer time: Hvor lang tid tager det at læse den ønskede block? access = seek + rotational + transfer 22

23 Seek Time Gennemsnitlig seek time = ½ tid for at flytte hovedet fra den yderste til den inderste cylinder 23

24 Rotational Delay Gennemsnitlig rotational delay = ½ rotation Læsehoved Ønsket block 24

25 Transfer Time Transfer time = 1/n rotation når der er n blocks på et track til her fra her 25

26 Access Time Typisk harddisk: Max seek time: 10 ms Rotational speed: 7200 rpm Block size: 4096 bytes Sectors (512 bytes) per track: 1600 (average) Average access time: Gns. seek time: 5 ms Gns. rotational delay: 60/7200/2 = 4.17 ms Gns. transfer time: 0.04 ms 9.21 ms 26

27 Random vs Sequentiel Access Random access for blocks: 1/ s * 4096 byte = 0.42 Mbyte/s Sequentiel access for blocks: 120/s * 200 * 4096 byte = 94 Mbyte/s Performance af DBMS er domineret af antallet af random accesses 27

28 On Disk Cache CPU RAM SATA cache cache Sekundær & Tertiær Storage 28

29 Problemer med Harddiske Selv med cache, er harddisken stadig flaskehals for DBMS performance Harddiske kan fejle: Intermittent failure Media decay Skrive fejl Disk crash Intermittent failures kan håndteres ved at genindlæse den block der er tvivlsom 29

30 Detekte læse fejl Brug checksum til at detekte fejl Simplest form er paritets bit: 0 hvis antallet af 1'ere i en block er lige 1 hvis antallet af 1'ere i en block er ulige Detekterer alle 1-bit fejl Detekterer 50% af mange-bit fejl Ved at bruge n bits, kan vi reducere chance for ikke at detektere en fejl til 1/2^n 30

31 Disk Arrays Brug mere end en disk for større pålidelighed og/eller performance RAID (Redundant Arrays of Independent Disks) logisk som en disk 31

32 RAID 0 Skiftevis blocke mellem to eller flere disks ( Striping ) Forøger performance både for læsning og skrivning Ingen forske i pålidelighed Disk Gem blockene 0-5 i de første tre blocke af disk 1 & 2 32

33 RAID 1 Dupliker blocks på to eller flere diske ( Mirroring ) Forøger performance for læsning Forøger pålidelighed betragteligt Disk Gem blocke 0-2 i de første tre blocke af disk 1 & 2 33

34 RAID 5 Fordel blocke på n+1 diske hvor der for hver block, er paritets information på en af diskene Bedre performance ved skrivning end RAID 1 Forbedret pålidelighed i forhold til RAID 0 Disk P 2 5 P P 3 4 Gem blockene 0-5 i de første tre blocke af disk 1, 2 & 3 34

35 RAID Capacitet Antag disks med capacitet 1 TByte RAID 0: N disks = N TByte RAID 1: N disks = 1 TByte RAID 5: N disks = (N-1) TByte RAID 6: N disks = (N-M) TByte... 35

36 Storage af værdier Basis enhed af storage: Byte Integer: 4 bytes Example: 42 is 8 bits Real: n bits for mantissa, m for exponent Characters: ASCII, UTF8,... Boolean: og

37 Storage af værdier Datoer: Dage siden Jan 1, 1900 DDMMYYYY (not DDMMYY) Time: Sekunder siden midnat HHMMSS Strings: Null terminerede Længde angivet L a r s 4 L a r s 37

38 DBMS Storage Overblik Værdier Records Blocks Files Memory 38

39 Record Samling af relaterede data elementer (Fields) Typisk brugt til én tupel Eksempel: Sells record består af bar field beer field price field 39

40 Record Metadata For fixed-length records, schemaet indeholder følgende information: Antal af fields Type af hver field Rækkefølgen i record For variable-length records, hver record indeholder denne information i dets header 40

41 Record Header Reserveret del i starten af en record Typisk indeholder: Record type (hvilket Schema?) Record længde (for hurtig skipping) Time stamp (last access) 41

42 Filer Filer består af blocke som indeholder records Hvordan paceres records ind i blocke? antag fixed length blocke Antag en enkelt fil 42

43 Filer Valg når records gemmes i blocke: 1. Hvordan adskilles de enkelte records 2. Spanned vs. unspanned 3. Rækkefølge/sortering 4. Indirection 43

44 1. Adskille Records Block R1 R2 R3 a. Unødvendig fast størrelse records. b. Speciel marker c. Giv record længde (eller offsets) i. i hver record ii. i block header 44

45 2. Spanned vs Unspanned Unspanned: records skal være i én block R1 R2 R3 R4 R5 Spanned: En record i to eller flere blocke R1 R2 R3 (a) Unspanned simpel, men spilder plads R3 (b) R4 R5 R6 Spanned essential hvis record size > block size R7 (a) 45

46 3. Rækkefølge/sortering Sorterede records i en fil (og i blockene) i henhold til et/flere fields Kan bruges til binær søgning Valgmuligheder: a. Næste record er fysisk efterfølger R1 Next (R1)... a. Records linkede sammen R1 Next (R1) 46

47 4. Indirection Hvordan refererer vi til records? a. Fysisk adresse (disk id, cylinder, head, sector, offset i block) b. Logisk record id'er og en mapping tabel Tradeoff mellem flexibility og pris 47

48 Modifikationer af Records Hvordan håndterer vi de følgende operationer som records? 1. Indsættelse 2. Sletning 3. Opdatering 48

49 1. Indsættelse Lette tilfælde: records ikke sorteret Indsæt ny record I slutningen af filen Hvis records er fixed-length, indsæt ny record i et slettet mellemrum Vanskelige tilfælde: records er sorterede Find position og flyt efterfølgende records Hvis records er organiseret via linking, indsæt overflow blocke 49

50 2. Sletning a. Omgående genanvendelse af pladsen ved at flytte efterfølgende records eller slette overflow blocke b. Marker som slettet og list som fri til senere genbrug Tradeoffs: Hvor dyrt er det at genanvende omgående? Hvor meget plads spilder man? 50

51 Problem med sletning Dangling pointers: R1? Når fysiske adresse anvendes: Kan ikke genbruges Kan genbruges Når logiske adresse anvendes: ID 7788 LOC Kan ikke genbruge ID 7788 eller pladsen i tabellen 51

52 3. Opdatering Hvis records er fixed-length og rækkefølgen ikke er påvirket: Find record, opdater den, skriv den Ellers: Slet den gamle record Indsæt den nye record og overskriv gravstenen fra den gamle 52

53 Pointer Swizzling Swizzling = Restatning af fysiske adresser med memory adresser, når blocken loades ind i memory Automatic Swizzling: swizzle alle adresser når en block loades (skal swizzle alle pointere fra og til blocken) Swizzling on Demand: Brug adresser der er ugyldige som memory adresser 53

54 Data Organisering Der er massevis af måder at organisere data på disken Fleksibilitet Plads udnyttelse Kompleksitet Performance 54

55 Resume 10 Ting vi nu ved noget om: Memory Hierarchy Storage på harddiske Values, Records, Blocks, Filer Gemme og opdatere records 55