Apache 2 Tutorial. Mads Toftum mads@apache.org

Transkript

1 Apache 2 Tutorial Mads Toftum mads@apache.org

2 Intro Arbejdet for landets største ISP Admin af Apache siden 96 aktiv mod_ssl bruger committer på httpd-docs medlem af Apache Software Foundation Infrastructure Incubator Drift af outsourcede enterprise unix systemer

3 Intro - bøger Apache Cookbook (Ken Coar & Rich Bowen) The Definitive Guide to Apache mod_rewrite (Rich Bowen)

4 Dagens Program 1. time: Installation og grundlæggende konfiguration. (15-15:50) 2. time: Virtual hosts, moduler og optimering (16-16:50) 3. time: Filtre, cache, proxy_balancer og andre nyheder i Apache 2.2 (17-18)

5 Dagens Program Kan vi virkelig nå alt det? Sikkert ikke Går det for hurtigt? Stil spørgsmål

6 Hvad er Apache - versioner Apache httpd httpd

7 Hvad er Apache - historie Vi vender tilbage til de nærmere detaljer i 3. time meeeen (April 95) <- Første release 1.0 (1/12 95) 2.2 (1/12 05) <- Seneste release

8 Hvad er Apache - 2.x Første planer lagt i 1996 apr mpm Filtre mange andre smarte features

9 Installation Apache er opensource Hent source på De fleste unix varianter har deres egne apache pakker

10 Installation - download hent source httpd tar.gz Verificer signatur

11 Installation - shortcut # tar -xvzf httpd tar.gz # cd httpd-2.2.0/ #./configure # make # make install # /usr/local/apache2/bin/apachectl start Er det virkelig alt?

12 Installation - detaljer configure tager options (og der er mange!)./configure help #./configure prefix=/path/httpd-2.2.0/ \ --with-mpm=worker \ --enable-modules=all \ --enable-mods-shared=all All dækker ikke alle moduler!

13 Installation MPM --with-mpm=mpm MPM={beos event worker prefork mpmt_os2}

14 Installation - moduler --enable-module --enable-modules='module list' all eller most kan bruges --disable-module --enable-ssl=shared --enable-mods-shared='module list' all eller most kan bruges

15 Installation hvad / hvor Det hele ender under prefix bin include build lib cgi-bin logs conf man error manual htdocs modules icons

16 Installation - pakker Man kan selvfølgelig også nappe en pakke fra sit os / dist. Andre lokationer til filer omdøber binaries backporter security fixes

17 videre... Nok om installation Videre til konfiguration

18 Konfiguration - hvad/hvor HTTPD_ROOT/conf httpd.conf Fra også HTTPD_ROOT/conf/extra Kommenteret bort httpd-autoindex.conf httpd-languages.conf httpd-ssl.conf httpd-dav.conf httpd-manual.conf httpd-userdir.conf httpd-default.conf httpd-mpm.conf httpd-vhosts.conf httpd-info.conf httpd-multilang-errordoc.conf

19 Konfiguration - grundregler Kommentarer #Kommentar Direktiv [option] [option] [option] SSLRequireSSL Servername Note: Lister adskilles med mellemrum Allow from /16 Note: samles med Alias /x c:/eksempel 1/x

20 Konfiguration - dokumentation

21 Konfiguration - sektioner <SectionName [options] > # </SectionName> <Directory> <Files> <IfDefine> <Location> <Proxy> <VirtualHost> <DirectoryMatch> <FilesMatch> <IfModule> <LocationMatch> <ProxyMatch> <IfVersion>

22 Konfiguration sektioner 2 <Directory /var/www/hemmeligt> Deny from all </Directory> <Location /hemmeligt> Deny from all </Location> DocumentRoot /var/www

23 Konfiguration sektioner 3 <LocationMatch /images/ > ForceType image/png </LocationMatch> <FilesMatch "\.(gif jpe?g png)$">

24 Konfiguration - basis ServerRoot "/linuxforum/httpd-2.2/" DocumentRoot "/linuxforum/httpd-2.2/htdocs" Listen 80 User daemon Group daemon ServerAdmin you@example.com ServerName

25 Konfiguration basis 2 <Directory /> Options FollowSymLinks AllowOverride None Order deny,allow Deny from all </Directory>

26 Konfiguration basis 3 <Directory "/linuxforum/httpd-2.2/htdocs"> Options Indexes FollowSymLinks AllowOverride None Order allow,deny Allow from all </Directory>

27 Konfiguration basis 4 DirectoryIndex index.html <FilesMatch "^\.ht"> Order allow,deny Deny from all </FilesMatch> ErrorLog logs/error_log LogLevel warn

28 Konfiguration basis 5 ScriptAlias /cgi-bin/ "/linuxforum/httpd-2.2/cgibin/" DefaultType text/plain LogFormat "%h %l %u %t \"%r\" %>s %b" common CustomLog logs/access_log common

29 .htaccess samme effekt som <Directory > </Directory> Husk AllowOverride Ændres dynamisk uden genstart af httpd Ikke godt for performance /.htaccess /var/.htaccess /var/www/.htaccess /var/www/noget/.htaccess

30 Bonus apachectl httpd -V htaccess debug forskellige fejl http status koder logfiler SPØRGSMÅL?

31 Næste time: 16:00-16:50 Virtual Hosts, moduler og performance

32 2. time Virtual hosts Moduler Performance

33 Virtual hosts Flere websites på samme maskine ip baserede port baserede navne baserede (Name-based) <VirtualHost addr[:port] [addr[:port]]...>... </VirtualHost>

34 Virtual hosts ip baserede <VirtualHost > ServerAdmin DocumentRoot /www/docs/host.foo.com ServerName host.foo.com ErrorLog logs/host.foo.com-error_log </VirtualHost>

35 Virtual hosts ip-baserede Listen :80 Listen :8080 <VirtualHost :80> ServerName </VirtualHost> <VirtualHost :8080> ServerName </VirtualHost>

36 Virtual Hosts navne baserede NameVirtualHost *:80 <VirtualHost *:80> ServerName DocumentRoot /var/ <VirtualHost *:80> ServerName linuxforum.example.com DocumentRoot /var/www/linuxforum

37 Virtual Hosts noter global host forsvinder Arver indstillinger fra global host SSL på ip / port baserede vhosts name based muligt men giver fejl ServerAlias flere navne i samme vhost ikke kun til vhost

38 Virtual Hosts liste bin/httpd -S VirtualHost configuration: wildcard NameVirtualHosts and _default_ servers: *:80 is a NameVirtualHost default server example.com (/usr/local/apache2/conf/httpd.conf:1085) port 80 namevhost example.com (/usr/local/apache2/conf/httpd.conf:1085) port 80 namevhost othersite.example.com (/usr/local/apache2/conf/httpd.conf:1096)

39 Virtual Hosts mod_vhost_alias VirtualDocumentRoot /usr/local/apache/vhosts/%0/htdocs VirtualScriptAlias /usr/local/apache/vhosts/%0/cgi-bin Mange vhosts %0 ~ servernavn en del begrænsninger

40 Virtual Hosts - tv køkken

41 Moduler store dele af koden er skilt ud i moduler --enable-module[=shared] --disable-module --enable-modules='module list' kan bygges separat med apxs (se senere) konfiguration kan pakkes ind i IfModule <IfModule mime_module>

42 Moduler - hvilke Der er mange./configure help slået til som default hvis disable-module slået fra som default hvis enable-module næsten alt hvad hjertet kan begære... Dokumenteret på

43 Moduler typer 2 hovedtyper Content generatorer Filtre

44 moduler - filtre Bestemmer placering i filter stak AP_FTYPE_RESOURCE (SSI, PHP, case filter) AP_FTYPE_CONTENT_SET (deflate, cache) AP_FTYPE_PROTOCOL (HTTP,POP3,SMTP,FTP) AP_FTYPE_ TRANSCODE (chunk) AP_FTYPE_CONNECTION (mod_ssl) AP_FTYPE_NETWORK (core_in, core_out) se include/util_filter.h

45 filtre - demo ExtFilterDefine shout-filter \ mode=output \ intype=text/html \ cmd="/bin/tr [a-z] [A-Z]" AddOutputFilter INCLUDES;shout-filter shtml ExtFilterDefine talk-filter mode=output \ cmd="/usr/bin/kraut"

46 Moduler - standard authn-file authn-default authz-host authz-groupfile authz-user authz-default auth-basic include filter charset-lite log-config env setenvif mime status

47 Moduler - standard autoindex asis cgid (worker/event) cgi (prefork) negotiation dir actions userdir alias

48 Moduler eksempler mod_include <!--#include virtual="/cgi-bin/counter.pl" --> <!--#flastmod file="index.html" --> mod_log_config LogFormat CustomLog mod_autoindex lister indhold i et directory Options Indexes

49 Moduler - eksempler mod_dir a.dk/dir -> a.dk/dir/ DirectoryIndex index.html index.htm mod_userdir UserDir public_html mod_alias Alias /mp3 /et/andet/sted Redirect /xyz

50 Sidespor - CGI Common Gateway Interface mod_cgi (--with-mpm=prefork) mod_cgid (--with-mpm=worker event) Eksekverer script Variable via environment POST body via STDIN

51 Sidespor - CGI Hello world i cgi: #!/bin/ksh echo Content-type: text/plain echo echo Hello World! ScriptAlias /cgi-bin /var/www/cgi-bin Alternativt <Directory...> Options +ExecCGI cgi-bin/test-cgi og cgi-bin/printenv

52 moduler installerede httpd -l viser indbyggede moduler ex: Compiled in modules: core.c prefork.c http_core.c mod_so.c httpd -M viser alle moduler inkl shared so_module (static) authn_file_module (shared) authn_dbm_module (shared)... se også HTTPD_ROOT/modules/

53 moduler - aktivering LoadModule foo_module modules/mod_foo.so bemærk: foo_module mod_foo.so fjernes med # skal genstarte bagefter!

54 moduler 3. parts Kendte moduler php mod_perl byg selv apxs -cia mod_noget.c

55 performance mpm opsætning diverse tips

56 performance - mpm Multi Processing Modules Styrer antallet af processer (og tråde) multiproces (prefork som 1.3) hybrid multiproces multitrådet

57 performance - mpm prefork multiproces event (vender vi tilbage til i 3. time) multiproces / multitrådet worker multiproces / multitrådet winnt / os2 /netware...

58 performance prefork samme model som 1.3 <IfModule mpm_prefork_module> StartServers 5 MinSpareServers 5 MaxSpareServers 10 MaxClients 150 MaxRequestsPerChild 0 </IfModule>

59 performance - worker hybdrid <IfModule mpm_worker_module> StartServers 2 MaxClients 150 MinSpareThreads 25 MaxSpareThreads 75 ThreadsPerChild 25 MaxRequestsPerChild 0 </IfModule>

60 mpm - noter Maxclients er det interessante Korrigeres over tid MaxSpare = MaxClients hvis maskinen ikke laver andet Multitrådet fordele mindre memory hurtigere på solaris, aix og linux med ntpl kan være problematisk med php og mod_perl ingen nemme svar mod_status til hjælp

61 performance - KeepAlive KeepAlive On Off KeepAliveTimeOut sekunder Lader klienten genbruge en forbindelse sparer overhead på start af forbindelsen (endnu større gevinst med ssl) binder en http proces i op til sekunder Tommelfingerregel: jo tungere httpd, jo kortere timeout mod_status igen - K event mpm (mere om den senere)

62 performance - htaccess Simpelt svar: AllowOverride none Nuanceret svar: Begræns brugen mest muligt begræns scope /0/1/2/3/4/5/6/7/8/9/

63 performance - diverse undgå dns opslag HostnameLookups off Deny from ip lav batch konvertering fra ip -> hostname med logresolve (adnslogres) symlinks FollowSymlinks (usikkert & hurtigt) SymlinksIfOwnerMatch (sikkert & langsomt)

64 Næste time: 17:00-17:50 Filtre, cache, proxy_balancer og andre nyheder

65 3. time Filtre cache proxy_balancer andre nyheder i Apache 2.2

66 Hvad er Apache - versioner Apache httpd httpd

67 Hvad er Apache - historie Vi er nu i 3. time oversigten fra første time: (April 95) <- Første release 1.0 (1/12 95) 2.2 (1/12 05) <- Seneste release

68 Hvad er Apache - historie 1995 april - første release (0.6.2) 1. december juni marts - Apache 2.0 Alpha april - første 2.0.x beta (2.0.18)

69 Hvad er Apache - historie april - første 2.0.x release (2.0.35) november dev 2004 november december

70 kode statistik linier C kode.c filer.h filer : : : /srclib: ret ubrugelig statistik men det er ikke blevet færre linier kode over tid

71 2.X.X major.minor.patch Ulige = dev / alpha / beta 2.1.x og 2.3.x Lige = stabil / release (GA) 2.0.x og 2.2.x

72 2.2.x Regler 3* +1 (RTC / Review Then Commit) må ikke bryde kompatibilitet Modul API Binært API konfiguration

73 2.2.x mål core er tæt på 2.0 mindre ændring end 1.3 til 2.0 de fleste 2.0 moduler virker stadig nye features

74 Nye / opdaterede moduler mod_version mod_ssl RFC 2817 (TLS upgrade) mod_auth... vender vi tilbage til mod_imap -> mod_imagemap mod_info?config

75 nye moduler - mod_dbd provider modul connection pool håndterer en pulje af database forbindelser database drivere via apr postgres mysql (3.parts) sqllite oracle

76 nye moduler - mod_dbd

77 filtre (gentagelse) Bestemmer placering i filter stak AP_FTYPE_RESOURCE (SSI, PHP, case filter) AP_FTYPE_CONTENT_SET (deflate, cache) AP_FTYPE_PROTOCOL (HTTP,POP3,SMTP,FTP) AP_FTYPE_ TRANSCODE (chunk) AP_FTYPE_CONNECTION (mod_ssl) AP_FTYPE_NETWORK (core_in, core_out) se include/util_filter.h

78 filtre arkitektur

79 filtre - mod_filter Normalt AddOutputFilter mod_filter Declare Filters Register Providers Configure the Chain FilterDeclare gzip CONTENT_SET FilterProvider gzip inflate req=accept-encoding!$gzip FilterChain gzip Hvad gør de 3 linier?...

80 mod_filter FilterProvider unpack jpeg_unpack Content-Type $image/jpeg FilterProvider unpack gif_unpack Content-Type $image/gif FilterProvider unpack png_unpack Content-Type $image/png FilterProvider downsample downsample_filter Content-Type $image FilterProtocol downsample "change=yes" FilterProvider repack jpeg_pack Content-Type $image/jpeg FilterProvider repack gif_pack Content-Type $image/gif FilterProvider repack png_pack Content-Type $image/png <Location /image-filter> FilterChain unpack downsample repack </Location>

81 Cache ikke længere eksperimentel kode 2.0.x cache kode er ikke meget bevendt HTTP RFC Compliant Storage moduler mod_disk_cache htcacheclean mod_mem_cache brug disk cache i stedet

82 Cache - hvorfor cache? Hastighed... proxy langsom backend dynamisk indhold slippe for at regenerere for alle hits mod_disk_cache io i stedet for cpu begrænsning sendfile

83 CacheEnable disk / CacheRoot /var/cache/apache CacheDirLevels 5 CacheDirLength 3 CacheIgnoreCacheControl off CacheIgnoreHeaders None CacheIgnoreNoLastMod On CacheDefaultExpire 600 CacheMaxExpire 3600

84 mod_proxy forward og reverse proxy (indgående og udgående) protokoller HTTP 0.9, 1.0, 1.1 FTP CONNECT AJP

85 mod_proxy - nyheder Connection Pooling AJP protokol til at snakke med tomcat afløser mod_jk, mod_jk2, mod_webapp mod_proxy_balancer Load Balancer

86 ProxyPass Simpel/gammel model ProxyPass / ProxyPass /xyz/! ProxyPass / Nye muligheder ProxyPass / \ smax=5 max=20 ttl=120 retry=300

87 ProxyPass / balancer://xyz/ <Proxy balancer://xyz/> BalancerMember BalancerMember BalancerMember </Proxy> max=10 max=20 max=5 ProxyPass /balancer-manager! <Location /balancer-manager> SetHandler balancer-manager </Location>

88

89 mod_proxy_balancer 2 metoder antal requests trafikmængde vægtfaktor se y_balancer.html

90 Auth Omskrivning af auth systemet kortvarigt i > 2.1.x delt i metoder og providers nemmere at skrive providers kodegenbrug Basic og Digest bruger providers filer, db og ldap er providers

91 Auth - oversigt Authentication type Authorization mod_auth_basic mod_authnz_ldap mod_auth_digest mod_authz_dbm Authentication provider mod_authz_default mod_authn_dbd mod_authz_groupfile mod_authn_dbm mod_authz_owner mod_authn_default mod_authz_user mod_authn_file mod_authnz_ldap

92 Auth eksempel <Location /hemli> AuthType Basic AuthName "gaa vaek" AuthBasicProvider file AuthUserFile passwd/htpasswd Require user hest </Location>

93 Auth flere eksempler Digest med: AuthType Digest AuthDigestProvider file Ldap med: AuthBasicProvider file ldap AuthUserFile /example/.htpasswd AuthLDAPURL ldap://ldap.example.com/o=asf \ Require valid-user require ldap-group cn=administrators, o=asf require ldap-dn cn=mads Toftum, o=asf

94 Auth - mod_authn_dbd DBDriver pgsql DBDParams "dbname=pw user=web password=abc" DBDMin 1 DBDKeep 2 DBDMax 10 DBDExptime 60

95 Auth - mod_authn_dbd <Location /hemli> AuthType Basic AuthName "gaa vaek AuthBasicProvider dbd Require valid-user AuthDBDUserPWQuery "select password from authn where username = %s" </Location>

96 Event MPM libevent lignende virker på Solaris BSD / OSX (Kqueue) Linux 2.6 (Epoll) virker ikke med ssl løser mange af problemerne med keep-alive

97 Har jeg glemt noget? se 2_2.html

98