Gisp Global Internet Service Provider Bilag 2 Driftshåndbog Aalborg Universitet Master i IIT - Systemadministration
1 Indledning Formålet med dette dokument er at introducere nogle værktøjer som kan bruges i det daglige arbejde med driften af GISP eller andre tilsvarende servere. Dokumentet må ikke betragtes som fyldesgørende men blot som en introduktions til arbejdsmetoder. Dette dokument fokuserer ikke udelukkende på de værktøjer som er almindelige på Redhat men fortæller også om de muligheder som er på alternative operativsystemer. Dette dokument skal læses som en forsættelse af det tilsvarende fra GISP1 (de deri anførte vejledninger vil ikke blive gentaget.) GISP Global Internet Service Provider Side 2 af 17
2 Indholdsfortegnelse 1 Indledning... 2 2 Indholdsfortegnelse... 3 3 Klargøring og installation... 4 3.1 Pakkeinstallation... 4 3.2 Hvordan kan en pakke laves... 4 3.2.1 rpm... 4 3.2.2 Solaris pkg.... 5 3.3 Automatisk opstart af programmer... 6 4 Hjæ lpevæ rktøjer... 7 4.1 Dokumentation... 7 4.1.1 man pages... 7 4.1.2 Html filer... 7 4.1.3 Programmets hjemmeside... 7 4.1.4 Søgemaskiner... 7 4.1.5 Maillister... 7 4.1.6 Nyhedsgrupper... 7 4.2 Overvågning... 7 4.2.1 Bigbrother... 7 4.2.2 MRTG... 8 4.2.3 RRDtools... 8 4.2.4 Monit... 8 5 Imageserver... 9 6 Kompileremaskine... 9 7 Logfiler... 10 7.1 syslogd... 10 7.2 separat logserver... 10 8 Remote X... 11 9 ssh uden password... 11 10 Automatisering af installation... 12 10.1 Krav til Pc en.... 12 10.2 Krav til netvæ rket.... 12 10.3 Opsæ tning af FreeBSD-bootserver... 13 10.4 Procedure for opstart af erstatningsmaskine... 14 11 Performance tuning / overvågning... 15 11.1 iostat... 15 11.2 vmstat... 15 11.3 top... 16 12 Microsoft klienter til Unix servere... 17 12.1 Cygwin... 17 12.2 Samba... 17 12.3 NFS... 17 12.4 Browser... 17 12.5 E-mailklient... 17 GISP Global Internet Service Provider Side 3 af 17
3 Klargøring og installation. Selve installationen er beskrevet i dokumentet Installationsguide Nogle af de nedenstående beskrevet væ rktøjer er anvendt under installationen. 3.1 Pakkeinstallation De fleste operativ systemer har i dag mulighed for at installere pakker uden at skulle kompilerer dem fra grunden. På Solaris bruges pkgadd På Redhat bruges rpm På Debian bruges apt-get På FreeBSD bruges pkg_add På FreeBSD kan også bruges /usr/ports/ (ports collection, kræ ver dog kompiler da dette system henter kildekode sammen med tilpassede konfiguration) På Windows er der div. pakkevæ rktøjer (her er det faktisk unormalt selv at kompilere sine programpakker) 3.2 Hvordan kan en pakke laves Til hver pakkesystem findes en tilsvarende metode til at genere pakker. Som eksempel er beskrevet Redhat og Solaris s metoder. 3.2.1 rpm rpm pakker generes med rpm-build, men inden den kan bruges skal der laves nogle generelle opsæ tninger. Flg. Antager at man vil bruge en non-root bruger til at lave pakkerne. (Såfremt man ønsker at bruge root skal dette ikke gøres men man kan finde tilsvarende sti i /usr/src/redhat/) mkdir $HOME/rpm_build mkdir $HOME/rpm_build/SOURCES mkdir $HOME/rpm_build/SPECS mkdir $HOME/rpm_build/BUILD mkdir -p $HOME/rpm_build/RPMS/i386 mkdir $HOME/rpm_build/SRPMS echo "%_topdir $HOME/rpm_build" >> $HOME/.rpmmacros Herefter er der 2 hoved metoder der bruges ved generering af rpm pakker 3.2.1.1 Tar pakker Såfremt man får kildekoden i en tar forberedt for rpm kan man køre kommandoen rpmbuild -ta filname.tar Denne metode er brugt ved generering af Courier rpm pakker, den kan derfor ses anvendt i praksis i installationsbilaget. 3.2.1.2 Spec fil Den anden metode er at bruge en spec fil. Her placerer man sin kildekode i $HOME/rpm_build/SOURCES og en spec fil i $HOME/rpm_build/SPECS rpmbuild -ba filname.spec Denne metode bruges til at genere postfix rpm pakker og kan ligeledes ses i installationsbilaget. GISP Global Internet Service Provider Side 4 af 17
3.2.2 Solaris pkg. Denne beskrivelse kan findes i fuld læ ngde på http://www.sunfreeware.com/pkgadd.html. Processen for at genere Solaris pakker som er noget mere manuel er ret omfattende. Derfor er denne kun beskrevet i hovedtræ k, men såfremt man arbejder med Solaris kan det klart anbefales at aflæ gge ovennæ vnte hjemmeside et besøg. Første skridt er at kompilere de dele som man ønsker med i pakken. Herefter oprettes en liste over de filer som skal i pakken. Så laver nogle filer med information om pakkens indhold, og om hvad pakken ellers skal lave (rettigheder, brugere og lign.) Herefter køres programmet som generer pakken. GISP Global Internet Service Provider Side 5 af 17
3.3 Automatisk opstart af programmer. Scripts til opstart af programmer placeres i /etc/init.d (dette sker som regel automatisk når programmet installeres, ligesom der efter installation af maskinen er en ræ kke script klar til brug.) Script bør som minimum understøtte flg. options start, restart og stop Såfremt programmerne skal starte automatisk når maskinen booter kan der lave et symbolsk link fra /etc/rc3.d til det relevante script i /etc/init.d navnet skal starte med S samt et tal som angiver hvornår scriptet skal køres i forhold til de øvrige scripts eks. cd /etc/rc3.d ln s../init.d/nfs S99nfs vil starte nfs når alle script med mindre væ rdi end 99 er startet. (såfremt der er flere scripts med samme væ rdi vil disse scripts blive startet i alfabetisk ræ kkefølge.) Det er meget vigtigt at scriptet afsluttes korrekt da de efterflg. scripts ellers ikke vil blive kørt. (Dette gæ lder på system V baserede systemer som Solaris og Linux, mens der på andre bruges lignende principper) #!/bin/sh BBUSER=bb BBHOME=/home/bb RUNBB=$BBHOME/bb/runbb.sh # if [! -f /$RUNBB ]; then exit 0 fi # See how we were called. case "$1" in start) # Start daemons. su - $BBUSER -c $RUNBB start ;; stop) # Stop daemons. su - $BBUSER -c $RUNBB stop ;; status) ;; restart) $0 stop $0 start ;; reload) $0 stop $0 start ;; probe) ;; *) echo $"Usage: $0 {start stop restart}" exit 1 esac exit 0 eks. for at Bigbrother skal starte automatisk laves flg. med ln s laves et symbolsk link fra det runlevel hvor man vil have startet processen til ovenstående script. GISP Global Internet Service Provider Side 6 af 17
4 Hjælpeværktøjer 4.1 Dokumentation Såfremt man mangler information hvordan et program virker eller hvilke option der skal på kan man finde hjæ lp fra blandt andet flg kilder 4.1.1 man pages startes med man <program> hvor program er det program som man ønsker hjæ lp til. Hvis man ikke ved hvilket program der skal bruges kan man søge i man databasen med man k <søgeord> 4.1.2 Html filer Ofte bliver der sammen med programmet installeret nogle html filer som giver hjæ lp til programmet. Da der desvæ rre ikke er nogen standard for hvor disse filer placeres må man selv finde dem. Læ ses i browseren. 4.1.3 Programmets hjemmeside De fleste programmer har en hjemmeside hvor der ofte kan findes en håndbog. 4.1.4 Søgemaskiner Der er flere søgemaskiner på nettet, hvor man kan søge efter løsninger til div. problemer. Den for tiden bedste er http://www.google.com (bliver ofte næ vnt som at google efter en løsning ) Ved søgning skal man med få ord beskrive problemet bedst muligt. 4.1.5 Maillister Til alle væ sentlige programmer findes der en tilhørende mailliste hvor brugerne af programmet / systemet hjæ lper hinanden. 4.1.6 Nyhedsgrupper Virker som maillisterne, men man skal aktivt følge med i om der kommer svar på ens spørgsmål. 4.2 Overvågning Da det ikke er muligt manuelt at holde øje med alle dele af et system som GISP er det vigtigt at have et automatisk overvågningssystem som løbende monitorer alle væ sentlige dele af setupet. - kapacitet forbrug (som minimum trafik, disk, cpu og ram) - sikkerhed - log scanning - fejl - oppetid - kørende processer Det er dog vigtigt at man nøje overvejer hvad man vil overvåge, da overvågningssystemet hurtigt læ gger beslag på en stor del af ressourcerne på serverene. 4.2.1 Bigbrother Bigbrother er god til at give et øjebliksbillede af tilstanden på systemet, hvor det på en enkelt webside er muligt at få et overblik over hele systemet. GISP Global Internet Service Provider Side 7 af 17
4.2.2 MRTG MRTG kan tegne grafer som viser tilstanden over tid. Dette er specielt anvendeligt til kapacitetsplanlæ gning da det er muligt at aflæ se trends. Bruger SNMP til at kommuniker over netvæ rket 4.2.3 RRDtools er en udvidelse af MRTG med nogle stæ rke væ rktøjer. 4.2.4 Monit Er en lille applikation som overvåger og automatisk genstarter døde processer. GISP Global Internet Service Provider Side 8 af 17
5 Imageserver For at kunne installere en server hurtigt og smertefrit er det nødvendigt at have styr på hvad der skal installeres på serveren og have den nødvendige software lige ved hånden. Til det formål er det praktisk at have en filserver med alle fæ rdige software pakker. Denne imageserver skal beskyttes grundigt for adgang udefra, da det vil væ re en drøm for en hacker at kunne placere trojanske pakker i de software pakker der bruges på tvæ rs af alle serverne. I afsnit 10 beskrives hvordan en imageserver kan bruges i forbindelse med installation af erstatningsservere. Således bør man fra serverne kun kunne tilgå pakkerne med læ seadgang f.eks. via en webserver. (Det vil så væ re muligt at hente pakkerne med wget.) 6 Kompileremaskine Af sikkerhedshensyn er det fornuftigt ikke at installere mere end højest nødvendigt på produktionsmaskinerne og der bør f.eks. ikke installeres kompileringsvæ rktøjer. Derfor kan der væ re behov for at have en kompileremaskine som kan bruges til at genere installationspakker som let kan pakkes ud på produktionsmaskinerne. (Hermed belastes produktionsmaskinerne hellere ikke unødigt når der skal installeres nye pakker.) For at sikre fejlfri installation er det nødvendigt at kompileremaskinen og produktionsmaskinerne er så ens som muligt. Kompileremaskinen bør ikke placeres i produktionsmiljøet. GISP Global Internet Service Provider Side 9 af 17
7 Logfiler Logfiler er et vigtigt redskab til at analysere forbrug samt til fejlfinding, af samme grund er det vigtigt at få et overblik over hvor applikationens logfiler er placeret og hvordan man kan få de ønskede informationer i logfilerne. De fleste logfiler skrives til /var/log/ Her bør man specielt væ re opmæ rksom på /var/log/messages /var/log/maillog generelt kan man dog finde de nyeste logfiler med kommandoen ls lart /var/log 7.1 syslogd De fleste logninger sker gennem syslog et kig i /etc/syslog.conf giver et godt overblik over hvad der sker. 7.2 separat logserver Såfremt man ønsker sine logfiler samlet på en central server kan dette sæ ttes op vha. syslog GISP Global Internet Service Provider Side 10 af 17
8 Remote X I et setup som GISP kan der væ re behov for at kunne browse rundt på setupet bag firewalen, her kan man ved at installere en X server og en browser eks. Mozilla på den server som fungerer som ssh jumpstation.. ssh startes med X og C (X giver x forwardting og C giver komprimering) herefter kan browseren startes som på en lokal maskine. 9 ssh uden password Såfremt man ønsker at ssh fra en server til en anden uden angivelse af password kan dette gøres ved at man fordeler de rigtige kopier af ssh nøglerne. På klienten generes et nøglepar til den bruger som skal kunne logge ind ssh-keygen -t rsa Dette generer 2 filer $HOME/.ssh/id_rsa $HOME/.ssh/id_rsa.pub Førstnæ vnte er brugerens private nøgle, som skal behandles med største omhu. Sidstnæ vnte er den offentlige som skal kopieres til serveren eks. med kommandoen (pas på hvis filen eksisterer i forvejen. scp.ssh/id_rsa.pub root@server:.ssh/authorized_keys Herefter skulle det væ re muligt at ssh uden brug af password. Bemæ rk dog at proceduren kan variere afhæ ngig af hvilken ssh der bruges, det viste eksempel er OpenSSH. GISP Global Internet Service Provider Side 11 af 17
10 Automatisering af installation Mange af de operativsystemer der er lavet til Intel-platformen har en automatisk installationsprocedure der bygger på nogenlunde de samme principper for alle. I det følgende beskrives dette område, hvor de konkrete eksempler er taget fra FreeBSD men der findes som minimum tilsvarende procedurer for de fleste Linux varianter og Solaris, Denne automatiseringsmulighed giver gode muligheder for at erstatte nedbrudte maskiner samt udvide kapaciteten uden manuel installation. Med lidt scriptting kan det faktisk lade sig gøre at få overvågningssystemerne til at automatisk at bygge nye maskiner. For at automatisere processen er der visse krav til den Pc er og netvæ rk. 10.1 Krav til Pc en. Ud over de hardwarekrav, der stilles til serveren for at kunne løse opgaven, skal serverens netkort væ re PXE- og WOL-kompatibelt. Netkortets Mac-adresse skal væ re kendt. Derudover skal hardwaren væ re understøttet af styresystemet med hensyn til drivere 10.2 Krav til netvæ rket. På det netvæ rk der skal servicere den installerende server skal der væ re følgende serviceydelser: DHCP-server, der kan tildele maskinen IP-adresse, host navn, samt oplysninger til installationen. TFTP-server der kan overføre de første bootfiler til den nye server NFS el. SMB server der overfører de resterende filer, når den nye server har bootet på de første filer. GISP Global Internet Service Provider Side 12 af 17
10.3 Opsæ tning af FreeBSD-bootserver Serveren der levere installationfilerne forberedes på følgende måde: Installations Cd-rom kopieres ind på serveren i mappen /usr/data/freebsd/cdrom Installationsdisketterne (kern.flp og msfroot.flp) udpakkes og kopieres ind i /usr/tftproot Tftp-serveren aktiveres ved at fjerne udkommateringen i inet.conf og tilpasse ROOT-mappen til ovenstående. DHCP-serveren installeres fra portscollection /usr/ports/net/isc-dhcp3 make make install Konfigurationsfilen dhcpd.conf ligger i: /usr/local/etc: ddns-update-style none; default-lease-time 600; max-lease-time 7200; option domain-name "klaphat.biz"; option domain-name-servers 192.168.129.1; subnet 192.168.129.0 netmask 255.255.255.0 { } subnet 172.17.0.0 netmask 255.255.255.0 { range 172.17.0.100 172.17.0.150; option routers 172.17.0.1; } group { next-server 172.17.0.1; option root-path "/usr/data/freebsd/cdrom"; filename "pxeboot"; host test.klaphat.biz { hardware ethernet 00:50:70:51:62:04; fixed-address 172.17.0.200; } } host test1.klaphat.biz { hardwar e ethernet 00:D0:B7:9E:FE:55; fixed-ad dress 172.17.0.201; } Kodeeksempel 10-1: Eksempel på konfigurationsfil for DHCP-server DHCP-serverens configuration indlæ ses ved /usr/local/etc/rc.d/isc-dhcpd.sh restart GISP Global Internet Service Provider Side 13 af 17
10.4 Procedure for opstart af erstatningsmaskine Når der fra overvågningen kommer meddelelse om at der skal indsæ ttes en erstatningsmaskine skal følgende procedure gennemgås: - maskintypen identificeres SMTP, POP3 osv. - standbymaskinen HW-adresse kendes - konfigurering af DHCP-server med følgende oplysninger til denne maskine: o hostnavn o hardwareadresse o IP-adresse o rootpath til installationfilerne forskellig path til de forskellige maskintyper - genstart af DHCP-server - opstart af ny server ved hjæ lp af WOL - installation - overførsel af konfigurationsfiler - genstart af server for at sæ tte i produktion GISP Global Internet Service Provider Side 14 af 17
11 Performance tuning / overvågning De flg 3 appl. er en del af sysstat pakken på RedHat, men de kan genfindes på de fleste Unix varianter. På redhat installeres de med kommandoen rpm -Uvh sysstat-4.0.5-3.i386.rpm 11.1 iostat Iostat bruges til at monitore belastningen af i/o devices. iostat x 1 1000 -x giver device navn samt oplysninger i kb/s i stedet for antal blokke eks [letager@install letager]$ iostat Linux 2.4.18-14 (install.klaphat.biz) 05/20/2003 avg-cpu: %user %nice %sys %idle 1.34 0.49 0.66 97.51 Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn dev3-0 0.44 1.28 7.40 2035438 11805476 dev3-1 0.01 0.08 0.07 125056 107780 dev22-2 0.01 0.05 0.05 72808 78312 [letager@install letager]$ iostat -x Linux 2.4.18-14 (install.klaphat.biz) 05/20/2003 avg-cpu: %user %nice %sys %idle 1.34 0.49 0.66 97.51 Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkb/s wkb/s avgrq-sz avgqu-sz await svctm %util /dev/hdc 0.00 0.01 0.00 0.00 0.05 0.05 0.02 0.02 13.19 0.24 21.19 444.13 0.32 /dev/hdc1 0.00 0.01 0.00 0.00 0.05 0.05 0.02 0.02 13.20 0.00 21.19 6.81 0.00 /dev/hda 0.09 0.57 0.08 0.35 1.28 7.40 0.64 3.70 20.38 0.27 6.96 6.36 0.27 /dev/hda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 8.46 0.00 51.59 31.55 0.00 /dev/hda2 0.08 0.56 0.07 0.35 1.23 7.35 0.61 3.67 20.54 0.02 5.81 1.80 0.08 /dev/hda3 0.00 0.01 0.00 0.00 0.05 0.06 0.02 0.03 12.66 0.01 65.83 8.81 0.01 /dev/hdb 0.00 0.01 0.01 0.00 0.08 0.07 0.04 0.03 12.70 0.24 33.13 276.16 0.32 /dev/hdb1 0.00 0.00 0.00 0.00 0.03 0.02 0.02 0.01 11.63 0.00 18.36 3.27 0.00 /dev/hdb2 0.00 0.01 0.00 0.00 0.04 0.05 0.02 0.02 13.41 0.00 42.98 8.46 0.01 Væ r opmæ rksom på at iostat kan give forkerte tal ved første udlæ sning, det er derfor vigtigt at man kører flere udlæ sninger i træ k. Det viste eksempel laver en læ sning hvert sekundt 1000 gange. Af samme grund bør man ikke bruge watch da denne laver 1 læ sning af gangen. 11.2 vmstat wmstat giver et overblik over cpu og hukommelses forbrug, anvendt sammen med watch får man et roligt billed som løbende opdateres kommandoen watch -n1 -d vmstat Giver dette output Every 1s: vmstat Tue May 20 20:53:24 2003 procs memory swap io system cpu r b w swpd free buff cache si so bi bo in cs us sy id 0 0 0 2284 34268 44876 23856 0 0 0 7 9 6 0 0 3 GISP Global Internet Service Provider Side 15 af 17
11.3 top top giver et overblik over hvilke processer der bruger cpu- og hukommelsesressourcerne. top opdateres automatisk indtil den stoppes med q 9:05pm up 41 days, 2:26, 1 user, load average: 0.04, 0.03, 0.00 47 processes: 45 sleeping, 2 running, 0 zombie, 0 stopped CPU states: 0.1% user, 0.5% system, 0.0% nice, 99.2% idle Mem: 126180K av, 94388K used, 31792K free, 0K shrd, 45260K buff Swap: 530064K av, 2284K used, 527780K free 25404K cached PID USER PRI NI SIZE RSS SHARE STAT %CPU %MEM TIME COMMAND 20704 root 15 0 1056 1056 840 R 0.5 0.8 0:00 top 1 root 15 0 472 436 420 S 0.0 0.3 0:05 init 2 root 15 0 0 0 0 SW 0.0 0.0 0:00 keventd 3 root 15 0 0 0 0 SW 0.0 0.0 0:00 kapmd 4 root 34 19 0 0 0 SWN 0.0 0.0 0:00 ksoftirqd_cpu0 5 root 15 0 0 0 0 SW 0.0 0.0 0:18 kswapd 6 root 15 0 0 0 0 SW 0.0 0.0 0:00 bdflush 7 root 15 0 0 0 0 SW 0.0 0.0 0:01 kupdated 8 root 15 0 0 0 0 SW 0.0 0.0 0:00 mdrecoveryd 15 root 25 0 0 0 0 SW 0.0 0.0 0:00 scsi_eh_0 20 root 15 0 0 0 0 SW 0.0 0.0 11:24 raid5d 21 root 15 0 0 0 0 SW 0.0 0.0 0:13 kjournald 82 root 16 0 0 0 0 SW 0.0 0.0 0:00 khubd 180 root 15 0 0 0 0 SW 0.0 0.0 0:00 kjournald 181 root 15 0 0 0 0 SW 0.0 0.0 9:28 kjournald 463 root 15 0 540 528 488 S 0.0 0.4 0:08 syslogd 467 root 15 0 408 360 360 S 0.0 0.2 0:00 klogd 484 rpc 15 0 520 452 452 S 0.0 0.3 0:00 portmap GISP Global Internet Service Provider Side 16 af 17
12 Microsoft klienter til Unix servere Hvis man af en eller anden grund foretræ kker at have en Microsoft baseret klient kan man sagtens administrer sine Unix servere herfra. Til det formål er der udviklet en ræ kke væ rktøjer. De væ sentligste er flg. 12.1 Cygwin Cygwin er en Linux emulator til Windows som gør at man kan køre de fleste standard Unix væ rktøjer i en shell. F.eks. køres både bash og ssh fint fra Cygwin. Det er også muligt at starte en X-server således at man kan køre grafisk væ rktøjer. (Også remote X se afsnit 8 ) 12.2 Samba Ønsker man at udveksle filer I et større omfang end muligt med scp (secure copy) kan man vha. Samba share eller mounte windows-like shares på Linux serveren. 12.3 NFS Omvendt kan man få applikationer til Windows som gør det muligt at mounte nfs-shares 12.4 Browser En de vigtigste væ rktøjer er dog en browser, som bør virke ens uafhæ ngigt af det underlæ ggende operativsystem. Således kan man let vedligeholde en unixbaseret server fra en Windows klient såfremt serveren har et webbaseret administrationsinterface. 12.5 E-mailklient Stort set alle e-mail klienter kan hente mails fra en Unix server det kræ ver dog at Unix serveren kører pop3 eller imap. GISP Global Internet Service Provider Side 17 af 17