Filsystemer: Implementation. dopsys

Transkript

1 Filsystemer: Implementation 1

2 Hvor lagres filer?... filer lagres typisk på en harddisk head, track, sector, cylinder... Rotationshastighed fx RPM, Læse/skrivehast. 50 MB/s 2

3 Adgang til harddisken en harddisk er et block device, adgang via device driver Logiske disk-blokke af f.eks. 1KB Disk device driver... bloknummer oversættes til (head,track,sector,cylinder)... Disk controller 3

4 Filsystemer... en disk opdeles i partitions som hver har et filsystem... BOOT: indlæs og kør kode fra MBR indlæs og kør kode fra boot block på aktiv partition opbygger datastrukturer i kernen jvf. super block 4

5 Administration af ledige blokke Filsystemet skal også holde styr på ledige blokke, samme problematik som ved lageradministration... Kædet liste Bitmap over ledige blokke En kæde af enkelt blokke er ineffektivt... Blokke allokeres og frigøres oftest i sammenhængende grupper Lav kæde af grupper af sammenhængende blokke... Ledige blokke kan også samles i en speciel fil... 5

6 Organisering af filer: samlet blok... en fil er en samling blokke på disken... Ide nr. 1: en fil lagres i sammenhængende blokke... 6

7 Organisering af filer: samlet blok... en fil er en samling blokke på disken... Ide nr. 1: en fil lagres i sammenhængende blokke simpelt, effektivt at læse en fil, men ved dynamisk brug fås fragmentering og spildt plads... 6

8 Organisering af filer: FAT Ide nr. 2: en fil lagres som en kædet liste af blokke... 7

9 Organisering af filer: FAT Ide nr. 2: en fil lagres som en kædet liste af blokke god udnyttelse af diskplads kun den sidste blok i en fil kan være delvis tom... 7

10 Hvor lagres den kædede liste? Hvis pointere gemmes som en del af blokkene: random access: ekstremt langsomt - kræver gentagne opslag på disken Hvis pointere gemmes i en FAT som indlæses i RAM: random access kræver nu kun gentagne opslag i RAM tabellens størrelser svarer til antal blokke på disken 8

11 Organisering af filer: i-nodes Ide nr. 3: en fil lagres som en træ-struktur af blokke 9

12 Organisering af filer: i-nodes Ide nr. 3: en fil lagres som en træ-struktur af blokke... filens attributter og blokke beskrives af dens i-node... 9

13 UNIX i-node i-node fra UNIX V7's filsystem... ialt 64 bytes... 10

14 UNIX i-node i-node fra UNIX V7's filsystem... ialt 64 bytes... i-nodes for åbne filer gemmes i lageret random access kræver få søgninger på disk 10

15 [Q/A] Hvilke attributter kan flyttes til kataloget, for en UNIX V7 i-node? We iz cute, can play with all files 11

16 Hierarki af blokke med i-nodes Hvor mange blokke kan en fil bestå af?... afhænger af blokstørrelsen og antal bytes i en disk-adresse... 12

17 Implementation af kataloger (1)... et katalog knytter navne til filer... i-node... i UNIX V7 er en indgang i et katalog 16 bytes... 13

18 Implementation af kataloger (2) To måder at tillade lange filnavne 14

19 File descriptors... en file descriptor udpeger i-node og info om filposition file descriptors er lokale for en proces, men info skal deles... 15

20 Filsystemer med journalisering Ide: forøg sikkerhed for konsistens i filsystemer. Operationer som fjerner en fil i UNIX: Fjern en fil fra dens katalog Frigiv dens i-node til listen af frie i-nodes Frigiv alle dens diskblokke til listen af frie blokke Ved crash undervejs: Enhver ordning er dårlig... Ide: gør alle operationer idempotente, skriv log på disk Efter crash: Gentag alt som måske ikke blev gjort 16

21 [Click] Konsistensbrud hvad går galt? Fjern en fil fra dens katalog Frigiv dens i-node til listen af frie i-nodes [CRASH!] [CRASH!] Frigiv alle dens diskblokke til listen af frie blokke A. Diskplads går tabt B. Fare for at skade indhold af en anden fil C. Fare for at læse forkerte data D. Ved ikke 17

22 Virtuelle filsystemer (1) Udtræk alle de dele som er ens for alle typer filsystemer 18

23 Virtuelle filsystemer (2) Vejen gennem VFS: brug en operation (read) på en fil 19

24 Blokstørrelse: lille vs stor (1) Flere undersøgelser over 20 år: filer er små, men disken er fyldt med store filer! 20

25 Blokstørrelse: lille vs stor (2) Fuldt optrukken kurve: space utilization; stiplet kurve: data rate. Alle filer 4KB. (NB: bogen er noget forvirret her) 21

26 Frie blokke: lænket liste vs bitmap 22

27 Frie blokke: håndter næsten fuld Hvis en blok B med friblok-pointere er næsten fuld (a) kan man komme til at vippe omkring grænsen (a-b-a-b...); en løsning (c): lad B være halvfuld 23

28 Disk-kvotaer Man kan indføre kvotaer per bruger (hard/soft): Maksimum diskplads (antal processer, stakplads,..). NB: vedligeholdes.. 24

29 Backup (1) Det er ofte langt værre at miste et filsystem end at miste hardware. Derfor backup! Anvendelse: håndtering af katastrofe / brugerfejl Et selvstændigt emne ikke bare cp : snapshot udvalg af filer (minus /proc, /dev, /bin, pipe, link) inkrementel backup (archive bit; time stamp) fysisk vs. logisk dump gzip? bad blocks 25

30 Backup (2) Grå knuder: skal med i backup; numre: i-nodes; cirkler/kvadrater: filer/kataloger 26

31 Backup (3) En typisk algoritme (med i-nodes); 4 faser: marker dir og ændrede filer; afmarker dirs uden æn.f.; gem dirs; gem filer 27

32 Filsystemets konsistens (1) Basis: Fejl sker faktisk! Checkes fx af fsck / scandisk. Konsistens for filer: Gennemløb alle kataloger Optæl hard links per i-node Check mod data i i-node For mange: spild af plads ( disk leak ) For få: farligt! (genbrug af blok i fil) 28

33 Filsystemets konsistens (2) Block number Block number (c) (d) Konsistens for blokke: (a) OK, (b) blok 2 tabt, (c) blok 4 dobbelt-fri, (d) blok 5 dobbelt-brugt 29

34 [Click] Backup status hvad gør du? Backup kan benytte speciel applikation eller generelle værktøjer Konsistencheck kræver speciel applikation/utility (fsck.ext4, scandisk, Disk Utility,...) Kan køres regelmæssigt af bruger eller system Kan køres on demand af system A. Backup + konsistenscheck køres regelmæssigt B. Backup køres regelmæssigt C. Backup køres af og til, konsistenscheck efter behov D. Backup eller konsistencheck køres ikke eller undtagelsesvist E. Ved ikke ;-) 30

35 Buffer cache (1) At finde en blok: Hashtable; desuden: eviction Som RAM, men kan bruge LRU dog: udskriv metadata 31

36 Buffer cache (2) En i-node skal gemmes (konsistens), og bruges iøvrigt sjældent to gange i træk. Derfor: LRU med modifikationer: forventes blokken at blive brugt snart igen? er blokken essentiel? (metadata - alt undtagen data blokke) Andre teknikker som hjælper performance: pre-fetch sørg for at sammenhørende blokke ligger sammen ( defrag ) gælder endda i-nodes vs. datablokke... 32

37 At holde læsehovedet i ro Placering af i-nodes: (a) Traditionel placering: ved starten; (b) fordelt på disken, stadig en logisk helhed 33

38 Konkrete filsystemer Et par eksempler på typer af filsystemer som spiller (har spillet) en stor rolle i praksis: CD-ROM (ISO 9660) FAT (MS-DOS) i-nodes (UNIX V7) 34

39 ISO 9660 Gammelt (1988), simpelt (portabelt!) Strengt format for navne: FILENAME.EXT Kataloger i højst 8 niveauer, DIR_NAME Filallokering: fortløbende ( contiguous ), udnytter R/O Masser af udefinerede el. ubrugte elementer: System use 16 blokke i starten 2^16 diske both-endian 35

40 ISO 9660 udvidelser: Rock Ridge Rock Ridge understøtter UNIX: PX - POSIX attributter (rwxrwxrwx, uid, gid) PN - Major/minor device numbers (/dev) SL - Symbolsk link NM - Alternativt navn CL - Child location, PL - Parent loc., RE - Reloc.: muliggør kataloger med dybde >8 TF - Tidsstempler (creation/change/access) 36

41 ISO 9660 udvidelser: Joliet Joliet udvidelser generaliserer Windows filsystemer: Lange filnavne Unicode Kataloger i dybde >8 Katalognavne med extensions ;-) 37

42 MS-DOS filsystemer (1) MS-DOS filsystemer (FAT) bruges meget! embedded systemer USB, memory cards kameraer Meget simpelt, fungerer fint med sine grænser begrænset total diskplads begrænset format for navne Mange ugly hacks! 38

43 MS-DOS filsystemer (2) En logisk blokstørrelse (flere diskblokke) muliggør større filsystemer med samme antal adresser 39

44 UNIX V7 filsystemet (1) En katalogindgang er ekstremt simpel: i-node! 40

45 UNIX V7 filsystemet (2) Vist før - men det var til UNIX V7 det blev opfundet... 41

46 UNIX V7 filsystemet (3) Eksempel på et opslag: /usr/ast/mbox 42

47 Opsummering Implementation af filsystemer: Styring af diskblokke, inkl. ubrugte i-nodes, indirect/double/triple blocks Implementation af kataloger Journalisering VFS Blokstørrelse, håndtering af frie blokke Kvotaer, backup, konsistens Buffer caches Konkrete filsystemer: CD, FAT, UNIX V7 43