linux日志管理

petterla

1、日志简介
日志对于安全来说，非常重要，他记录了系统每天发生的各种各样的事情，你可以通过他来检查错误发生的原因，或者受到攻击时攻击者留下的痕迹。日志主要的功能有：审计和监测。他还可以实时的监测系统状态，监测和追踪侵入者等等。
在Linux系统中，有三个主要的日志子系统：
连接时间日志--由多个程序执行，把纪录写入到/var/log/wtmp和/var/run/utmp，login等程序更新wtmp和utmp文件，使系统管理员能够跟踪谁在何时登录到系统。进程统计--由系统内核执行。当一个进程终止时，为每个进程往进程统计文件（pacct或acct）中写一个纪录。进程统计的目的是为系统中的基本服务提供命令使用统计。
错误日志--由syslogd（8）执行。各种系统守护进程、用户程序和内核通过syslog（3）向文件/var/log/messages报告值得注意的事件。另外有许多UNIX程序创建日志。像HTTP和FTP这样提供网络服务的服务器也保持详细的日志。常用的日志文件如下：
access-log纪录HTTP/web的传输
acct/pacct纪录用户命令
aculog纪录MODEM的活动
btmp纪录失败的纪录
lastlog纪录最近几次成功登录的事件和最后一次不成功的登录
messages从syslog中记录信息（有的链接到syslog文件）
sudolog纪录使用sudo发出的命令
sulog纪录使用su命令的使用
syslog从syslog中记录信息（通常链接到messages文件）
utmp纪录当前登录的每个用户
wtmp一个用户每次登录进入和退出时间的永久纪录
xferlog纪录FTP会话
utmp、wtmp和lastlog日志文件是多数重用UNIX日志子系统的关键--保持用户登录进入和退出的纪录。有关当前登录用户的信息记录在文件utmp中；登录进入和退出纪录在文件wtmp中；最后一次登录文件可以用lastlog命令察看。数据交换、关机和重起也记录在wtmp文件中。所有的纪录都包含时间戳。这些文件（lastlog通常不大）在具有大量用户的系统中增长十分迅速。例如wtmp文件可以无限增长，除非定期截取。许多系统以一天或者一周为单位把wtmp配置成循环使用。它通常由cron运行的脚本来修改。这些脚本重新命名并循环使用wtmp文件。通常，wtmp在第一天结束后命名为wtmp.1；第二天后wtmp.1变为wtmp.2等等，直到wtmp.7。
每次有一个用户登录时，login程序在文件lastlog中察看用户的UID。如果找到了，则把用户上次登录、退出时间和主机名写到标准输出中，然后login程序在lastlog中纪录新的登录时间。在新的lastlog纪录写入后，utmp文件打开并插入用户的utmp纪录。该纪录一直用到用户登录退出时删除。utmp文件被各种命令文件使用，包括who、w、users和finger。
下一步，login程序打开文件wtmp附加用户的utmp纪录。当用户登录退出时，具有更新时间戳的同一utmp纪录附加到文件中。wtmp文件被程序last和ac使用。
2、具体命令
wtmp和utmp文件都是二进制文件，他们不能被诸如tail命令剪贴或合并（使用cat命令）。用户需要使用who、w、users、last和ac来使用这两个文件包含的信息。
who：who命令查询utmp文件并报告当前登录的每个用户。Who的缺省输出包括用户名、终端类型、登录日期及远程主机。例如：who（回车）显示
chyangpts/oAug1815:06
ynguopts/2Aug1815:32
ynguopts/3Aug1813:55
lewispts/4Aug1813:35
ynguopts/7Aug1814:12
yloupts/8Aug1814:15
如果指明了wtmp文件名，则who命令查询所有以前的纪录。命令who/var/log/wtmp将报告自从wtmp文件创建或删改以来的每一次登录。
w：w命令查询utmp文件并显示当前系统中每个用户和它所运行的进程信息。例如：w（回车）显示：
以下为引用的内容：
:36pmup1day,22:34,6users,loadaverage:0.23,0.29,0.27　　
　　
　　[email=USERTTYFROMLOGIN@IDLEJCPUPCPUWHAT]USERTTYFROMLOGIN@IDLEJCPUPCPUWHAT[/email]
　　chyangpts/0202.38.68.2423:06pm2:040.08s0.04s-bash
　　ynguopts/2202.38.79.473:32pm0.00s0.14s0.05w
　　lewispts/3202.38.64.2331:55pm30:390.27s0.22s-bash
　　lewispts/4202.38.64.2331:35pm6.00s4.03s0.01ssh/home/users/
　　ynguopts/7simba.nic.ustc.e2:12pm0.00s0.47s0.24stelnetmail
　　yloupts/8202.38.64.2352:15pm1:09m0.10s0.04s-bash
users：users用单独的一行打印出当前登录的用户，每个显示的用户名对应一个登录会话。如果一个用户有不止一个登录会话，那他的用户名将显示相同的次数。例如：users（回车）显示：chyanglewislewisylouynguoynguo
　　
　　last：last命令往回搜索wtmp来显示自从文件第一次创建以来登录过的用户。例如：
以下为引用的内容：
　　chyangpts/9202.38.68.242TueAug108:34-11:23(02:49)
　　cfanpts/6202.38.64.224TueAug108:33-08:48(00:14)
　　chyangpts/4202.38.68.242TueAug108:32-12:13(03:40)
　　lewispts/3202.38.64.233TueAug108:06-11:09(03:03)
　　lewispts/2202.38.64.233TueAug107:56-11:09(03:12)
　　如果指明了用户，那么last只报告该用户的近期活动，例如：lastynguo（回车）显示：
以下为引用的内容：
　　ynguopts/4simba.nic.ustc.eFriAug416:50-08:20(15:30)
　　ynguopts/4simba.nic.ustc.eThuAug323:55-04:40(04:44)
　　ynguopts/11simba.nic.ustc.eThuAug320:45-22:02(01:16)
　　ynguopts/0simba.nic.ustc.eThuAug303:17-05:42(02:25)
　　ynguopts/0simba.nic.ustc.eWedAug201:04-03:161+02:12)
　　ynguopts/0simba.nic.ustc.eWedAug200:43-00:54(00:11)
　　ynguopts/9simba.nic.ustc.eThuAug120:30-21:26(00:55)
　　
ac：ac命令根据当前的/var/log/wtmp文件中的登录进入和退出来报告用户连结的时间（小时），如果不使用标志，则报告总的时间。例如：ac（回车）显示：total5177.47
以下为引用的内容：
　　ac-d（回车）显示每天的总的连结时间
　　Aug12total261.87
　　Aug13total351.39
　　Aug14total396.09
　　Aug15total462.63
　　Aug16total270.45
　　Aug17total104.29
　　Todaytotal179.02
　　ac-p（回车）显示每个用户的总的连接时间
　　ynguo193.23
　　yucao3.35
　　rong133.40
　　hdai10.52
　　zjzhu52.87
　　zqzhou13.14
　　liangliu24.34
　　total5178.24
lastlog：lastlog文件在每次有用户登录时被查询。可以使用lastlog命令来检查某特定用户上次登录的时间，并格式化输出上次登录日志/var/log/lastlog的内容。它根据UID排序显示登录名、端口号（tty）和上次登录时间。如果一个用户从未登录过，lastlog显示\"**Neverlogged**。注意需要以root运行该命令，例如：　　
　　
以下为引用的内容：
　　rong5202.38.64.187FriAug1815:57:01+08002000
　　dbb**Neverloggedin**
　　sinchen**Neverloggedin**
　　pb9511**Neverloggedin**
　　xchen0202.38.64.190SunAug1310:01:22+08002000
另外，可一加一些参数，例如，last-u102将报告UID为102的用户；last-t7表示限制上一周的报告。
3、进程统计
UNIX可以跟踪每个用户运行的每条命令，如果想知道昨晚弄乱了哪些重要的文件，进程统计子系统可以告诉你。它对还跟踪一个侵入者有帮助。与连接时间日志不同，进程统计子系统缺省不激活，它必须启动。在Linux系统中启动进程统计使用accton命令，必须用root身份来运行。Accton命令的形式acctonfile，file必须先存在。先使用touch命令来创建pacct文件：touch/var/log/pacct，然后运行accton：accton/var/log/pacct。一旦accton被激活，就可以使用lastcomm命令监测系统中任何时候执行的命令。若要关闭统计，可以使用不带任何参数的accton命令。
lastcomm命令报告以前执行的文件。不带参数时，lastcomm命令显示当前统计文件生命周期内纪录的所有命令的有关信息。包括命令名、用户、tty、命令花费的CPU时间和一个时间戳。如果系统有许多用户，输入则可能很长。下面的例子：
　　
以下为引用的内容：
　　crondFroot??0.00scsSunAug2000:16
　　promisc_check.sSroot??0.04scsSunAug2000:16
　　promisc_checkroot??0.01scsSunAug2000:16
　　greproot??0.02scsSunAug2000:16
　　tailroot??0.01scsSunAug2000:16
　　shroot??0.01scsSunAug2000:15
　　pingSroot??0.01scsSunAug2000:15
　　ping6.plFroot??0.01scsSunAug2000:15
　　shroot??0.01scsSunAug2000:15
　　pingSroot??0.02scsSunAug2000:15
　　ping6.plFroot??0.02scsSunAug2000:15
　　shroot??0.02scsSunAug2000:15　　
　　
　　pingSroot??0.00secsSunAug2000:15
　　ping6.plFroot??0.01secsSunAug2000:15
　　shroot??0.01secsSunAug2000:15
　　pingSroot??0.01secsSunAug2000:15
　　shroot??0.02secsSunAug2000:15
　　pingSroot??1.34secsSunAug2000:15
　　locaterootttyp01.34secsSunAug2000:15
　　acctonSrootttyp00.00secsSunAug2000:15
进程统计的一个问题是pacct文件可能增长的十分迅速。这时需要交互式的或经过cron机制运行sa命令来保持日志数据在系统控制内。sa命令报告、清理并维护进程统计文件。它能把/var/log/pacct中的信息压缩到摘要文件/var/log/savacct和/var/log/usracct中。这些摘要包含按命令名和用户名分类的系统统计数据。sa缺省情况下先读它们，然后读pacct文件，使报告能包含所有的可用信息。sa的输出有下面一些标记项：
avio--每次执行的平均I/O操作次数
cp--用户和系统时间总和，以分钟计
cpu--和cp一样
k--内核使用的平均CPU时间，以1k为单位k*sec--CPU存储完整性，以1k-core秒re--实时时间，以分钟计
s--系统时间，以分钟计
tio--I/O操作的总数
u--用户时间，以分钟计例如：
　　
以下为引用的内容：
　　842173.26re4.30cp@avio358k
　　210.98re4.06cp@avio299kfind
　　924.80re0.05cp@avio291k***other
　　10530.44re0.03cp@avio302kping
　　10430.55re0.03cp@avio394ksh
　　1620.11re0.03cp@avio413ksecurity.sh*
　　1540.03re0.02cp@avio273kls
　　5631.61re0.02cp@avio823kping6.pl*
　　23.23re0.02cp@avio822kping6.pl
　　350.02re0.01cp@avio257kmd5sum
　　970.02re0.01cp@avio263kinitlog
　　120.19re0.01cp@avio399kpromisc_check.s
　　150.09re0.00cp@avio288kgrep
　　110.08re0.00cp@avio332kawk
用户还可以根据用户而不是命令来提供一个摘要报告。例如sa-m显示如下：
以下为引用的内容：
　　885173.28re4.31cp0avk
　　root879173.23re0.4.31cp0avk
　　alias30.05re0.00cp0avk
　　qmailp30.01re0.00cp0avk
4.Syslog设备
Syslog已被许多日志函数采纳，它用在许多保护措施中--任何程序都可以通过syslog纪录事件。Syslog可以纪录系统事件，可以写到一个文件或设备中，或给用户发送一个信息。它能纪录本地事件或通过网络纪录另一个主机上的事件。
Syslog设备依据两个重要的文件：/etc/syslogd（守护进程）和/etc/syslog.conf配置文件，习惯上，多数syslog信息被写到/var/adm或/var/log目录下的信息文件中（messages.*）。一个典型的syslog纪录包括生成程序的名字和一个文本信息。它还包括一个设备和一个优先级范围（但不在日之中出现）。
每个syslog消息被赋予下面的主要设备之一：
LOG_AUTH--认证系统：login、su、getty等
LOG_AUTHPRIV--同LOG_AUTH，但只登录到所选择的单个用户可读的文件中
LOG_CRON--cron守护进程
LOG_DAEMON--其他系统守护进程，如routedLOG_FTP--文件传输协议：ftpd、tftpd
LOG_KERN--内核产生的消息
LOG_LPR--系统打印机缓冲池：lpr、lpd
LOG_MAIL--电子邮件系统
LOG_NEWS--网络新闻系统
LOG_SYSLOG--由syslogd（8）产生的内部消息
LOG_USER--随机用户进程产生的消息
LOG_UUCP--UUCP子系统
LOG_LOCAL0~LOG_LOCAL7--为本地使用保留
　　
Syslog为每个事件赋予几个不同的优先级：
LOG_EMERG--紧急情况
LOG_ALERT--应该被立即改正的问题，如系统数据库破坏
LOG_CRIT--重要情况，如硬盘错误
LOG_ERR--错误
LOG_WARNING--警告信息
LOG_NOTICE--不是错误情况，但是可能需要处理
LOG_INFO--情报信息
LOG_DEBUG--包含情报的信息，通常旨在调试一个程序时使用
syslog.conf文件指明syslogd程序纪录日志的行为，该程序在启动时查询配置文件。该文件由不同程序或消息分类的单个条目组成，每个占一行。对每类消息提供一个选择域和一个动作域。这些域由tab隔开：选择域指明消息的类型和优先级；动作域指明syslogd接收到一个与选择标准相匹配的消息时所执行的动作。每个选项是由设备和优先级组成。当指明一个优先级时，syslogd将纪录一个拥有相同或更高优先级的消息。所以如果指明\"crit\"，那所有标为crit、alert和emerg的消息将被纪录。每行的行动域指明当选择域选择了一个给定消息后应该把他发送到哪儿。例如，如果想把所有邮件消息纪录到一个文件中，如下：
#Logallthemailmessagesinoneplace
mail.*/var/log/maillog
其他设备也有自己的日志。UUCP和news设备能产生许多外部消息。它把这些消息存到自己的日志（/var/log/spooler）中并把级别限为\"err\"或更高。例如：
#Savemailandnewserrorsoflevelerrandhigherinaspecialfile.uucp,news.crit/var/log/spooler
当一个紧急消息到来时，可能想让所有的用户都得到。也可能想让自己的日志接收并保存。#Everybodygetsemergencymessages，pluslogthemonanthermachine*.emerg**.emerg@linuxaid.com.cn
alert消息应该写到root和tiger的个人账号中：
#RootandTigergetalertandhighermessages
*.alertroot,tiger
有时syslogd将产生大量的消息。例如内核（\"kern\"设备）可能很冗长。用户可能想把内核消息纪录到/dev/console中。下面的例子表明内核日志纪录被注释掉了：
#Logallkernelmessagestotheconsole
#Loggingmuchelsecluttersupthescreen
#kern.*/dev/console
　　
用户可以在一行中指明所有的设备。下面的例子把info或更高级别的消息送到/var/log/messages，除了mail以外。级别\"none\"禁止一个设备：
#Loganything（exceptmail）oflevelinfoorhigher
#Don'tlogprivateauthenticationmessages!
*.info:mail.none;authpriv.none/var/log/messages
在有些情况下，可以把日志送到打印机，这样网络入侵者怎么修改日志都没有用了。通常要广泛纪录日志。Syslog设备是一个攻击者的显著目标。一个为其他主机维护日志的系统对于防范服务器攻击特别脆弱，因此要特别注意。
有个小命令logger为syslog（3）系统日志文件提供一个shell命令接口，使用户能创建日志文件中的条目。用法：logger例如：loggerThisisatest！它将产生一个如下的syslog纪录：Aug1922:22:34tiger:Thisisatest!
它将产生一个如下的syslog纪录：Aug1922:22:34tiger:Thisisatest!注意不要完全相信日志，因为攻击者很容易修改它的。
5.程序日志
许多程序通过维护日志来反映系统的安全状态。su命令允许用户获得另一个用户的权限，所以它的安全很重要，它的文件为sulog。同样的还有sudolog。另外，想Apache有两个日志：access_log和error_log。
6.其他日志工具
以下为引用的内容：
chklastlog
　　ftp://coast.cs.purdue.edu/pub/tools/unix/chklastlog/
　　chkwtmp
　　ftp://coast.cs.purdue.edu/pub/tools/unix/chkwtmp/
　　dump_lastlog
　　ftp://coast.cs.purdue.edu/pub/tools/unix/dump_lastlog.Z
　　spar
　　ftp://coast.cs.purdue.edu/pub/tools/unix/TAMU/
　　Swatch
　　http://www.lomar.org/komar/alek/pres/swatch/cover.html
　　Zap
　　ftp://caost.cs.purdue.edu/pub/tools/unix/zap.tar.gz
日志分类方法
http://csrc.nist.gov/nissc/1998/proceedings/paperD1.pdf