日志概述
- 日志的概念：日志（log）是由各种不同的实体产生的“事件记录”的集合，通常是计算机系统、设备、软件等在某种情况下记录的信息，并将这些信息按照某种规范将这些行为表达出来。
- 日志审计包括日志获取，日志筛选，日志整合，日志分析
- 日志的特点：种类的多样性，数据量大，网络设备日志具有时空关联性，日志信息容易被篡改，分析获取日志数据困难
- 日志的作用：安全日志--网络溯源，运维日志--安全运维(故障回溯，经验固化，工作量化，要求核查，安排运维工作)，合规类日志--调查取证
- 日志设备：产生"事件记录"的各种设备
- 日志：实践内容辅以适当的细节，开始结束时间，事件发生位置，参与者，参与者来源
- 日志记录分类：安全日志记录、运营日志记录、依从性日志记录和应用程序调试日志记录。
日志审计
- 1960-1970：信息系统审计的起步阶段
1970-1980：信息系统审计的成熟阶段
1980-1990：信息系统审计的成熟阶段
1990年以后：信息系统审计的普及系统 - 信息系统审计的作用：有效提高信息系统的可靠性，提高信息系统的安全性，提高信息系统运行的效率
- 日志审计
- 日志审计流程之日志采集对象
- 操作系统
- 网络设备
- 安全设备:vpn,IDS,IPS,
- 应用系统:web,ftp,telnet,邮件
- 数据库
- 信息系统审计过程分为
准备阶段、实施阶段、报告阶段。 - 日志审计流程之日志筛选
- 找出恶意行为或可能是恶意行为的事件，并作为日志组合的基础
- 通过对比恶意行为特征及对应的日志属性，确认可能的恶意行为事件
- 日志审计概念
- 日志审计通过集中采集并监控信息系统中的系统日志、设备日志、应用日志、用户访问行为、系统运行状态等各类信息。
- 对收集的信息进行提炼，将信息进行过滤、归并和告警分析处理，建立起一套面向整个系统日志的安全监控管理体系。
- 将信息系统的安全状态以最直观的方式呈现给管理者，既能提高安全审计的效率与准确性，也有助于及时发现安全隐患、协助故障定位、追查事故责任，并能够满足各项标准、法规的合规性管理要求。
- 日志审计流程
- 日志获取
- 日志筛选
- 日志整合
- 日志分析
- 日志审计流程之日志采集对象
日志收集与分析系统概述
- 概念:日志收集与分析系统是一个全面的。智能的网络日志和事件处理、分析工具
- 日志收集与分析系统功能
- 资源管理
- 入侵检测
- 故障排除
- 取证
- 审计
- 日志全生命周期管理
- 日志全生命周期管理是一种信息管理模式，包含对日志的产生、使用、迁移、清理、销毁的全生命周期管理
LAS设备(日志审计系统)
- 资产组是指同一环境内有相同的安全保护需求、相互信任、并具有相同的安全访问控制和边界控制策略的网络或系统
- 基于三权分立原则，管理员组内置三个用户：l secadmin 安全管理员，负责系统的操作使用和安全管理（权限分配）。 l auditadmin 审计管理员，对系统操作进行审计分析。 l
sysadmin 系统管理员，管理系统权限，维护用户。
操作员组，内置一个用户: l
admin 操作员，负责系统的操作使用和日常运行维护
四个内置用户的密码均为 !1fw@2soc#3vpn，为保证安全性,请登录后立即修改密码。
使用 admin 用户登录系统。
- 第一章
1.日志概念
日志（log）是由各种不同的实体产生的“事件记录”的集合，通常是计算机系统、设备、软件等在某种情况下记录的信息，并将这些信息按照某种规范将这些行为表达出来。
2.日志作用（细节）
（1）安全日志审计：网络溯源追踪
网络管理人员可以采用网络溯源追踪技术，调取并分析事件发生前后的一段时间的日志，发现攻击者的一系列行为及其攻击手段。
（2）运维日志：安全运维
管理者通过运维通道集中、网络运维日志详细记录，可合理安排网络运维工作，实现运维人员工作的量化管理，提高运维管理要求落地的自动化水平、强制化能力。
（3）合规类日志：调查取证
日志有助于加强收集到的其他证据，基于来自各种来源的数据，重现事件。
3.日志特点
- 种类的多样性：
目前尚未统一标准的日志格式，不同厂商根据自身需求制定相应的日志格式，故市场上出现了多种类型的日志。
- 数据量大：
由于日志对每一个事件均进行记录，因此，无论是操作系统还是网络设备都会产生大量的日志记录。
- 网络设备日志具有时空关联性 ：
针对某个特定的网络攻击事件，不同的安全设备通常都会进行记录，结合多个设备日志，采用数据挖掘算法找出日志之间的时空关联性，有利于提取出网络安全事件。
- 日志信息容易被篡改：
网络入侵者如果获得足够权限，可对日志信息进行篡改或直接删除，因此存在较大的安全隐患。
- 分析和获取日志数据困难：
不同设备的日志格式差异很大，部分设备日志信息需要专用的工具才能查看，这给分析日志带来了很大困难。
二、
- 日志设备定义
1、日志设备是指产生“事件记录”的各种设备，包括网络设备、计算机系统、数据库或者应用程序等。
2、日志管理设备主要是管理这些日志设备产生的各种日志记录。
5.日志记录要素
（1）事件内容辅以适当的细节。
（2）事件发生的开始时间和结束时间。
（3）事件发生的位置（哪个主机、什么文件系统、哪个网络接口等等）。
（4）参与者。
（5）参与者来源。
6.安全运维日志作用
7.日志系统审计过程
（1）准备阶段：准备阶段是整个审计过程的起点，包括了解被审计单位的基本情况、签订审计业务约定书、初步评价被审计单位的内部控制系统、分析审计风险和编制审计计划。
（2）实施阶段：实施阶段所涉及的技术方法具有信息技术的特色，针对被审计的信息系统，审计人员使用相关技术对审计对象开展了解、描述和测试三方面的工作。
（3）报告阶段：报告阶段是在上述阶段完成后进行的总结工作，包括整理、评价执行审计业务中收集到的审计证据；复核审计工作底稿；审计后期事项；汇总审计差异，提请被审计单位调整或做适当披露；形成审计意见，撰写审计报告。
三、
- 日志审计概念
（1）日志审计通过集中采集并监控信息系统中的系统日志、设备日志、应用日志、用户访问行为、系统运行状态等各类信息。
（2）对收集的信息进行提炼，将信息进行过滤、归并和告警分析处理，建立起一套面向整个系统日志的安全监控管理体系。
（3）将信息系统的安全状态以最直观的方式呈现给管理者，既能提高安全审计的效率与准确性，也有助于及时发现安全隐患、协助故障定位、追查事故责任，并能够满足各项标准、法规的合规性管理要求。
- 日志审计步骤
（1）日志获取
（2）日志筛选
（3）日志整合
（4）日志分析
10.日志获取对象
（1）操作系统：支持采集各种主机操作系统记录的各种消息，这些操作系统包括Windows，Solaris，Linux，AIX，HP-UX，UNIX，AS400等。
（2）网络设备：包括路由器、交换机和其他将电脑桌面和服务器连接起来组成网络的设备，通常指交换设备、防火墙、入侵检测集IPS系统等。
（3）安全设备：包括防火墙、虚拟私人网络（Virtual Private Network，VPN）、IDS、IPS、防病毒网关、网闸、防分布式拒绝服务（Distributed Denial of Service，DDOS）攻击、WEB应用防火墙等在主机上运行的具备安全保护功能的应用程序或者设备。
（4）应用系统：包括邮件、Web、FTP、Telnet等，它可以记录业务应用系统上的每个账户的活动信息。
（5）数据库：包括各种数据库（如Oracle、Sqlserver、Mysql、DB2、Sybase、Informix等）记录的所有事务以及每个事务对数据库所做的修改操作。
11.日志筛选定义（目的）
（1）找出恶意行为或可能是恶意行为的事件， 并作为日志组合的基础。
（2）通过对比恶意行为特征及对应的日志属性，确认可能的恶意行为事件。
12.日志整合过程
将同一路径各种设备的同一事件关联表达出来，实现不同格式日志的多层解析和对解析结果作整合和初步统计，便于后续的日志分析工作，其方法包括：行为分析、行为方向分析、数据流分析。
13.法律法规：
网络安全法、萨班斯法案、证券公司内部控制指引、信息系统安全等级保护基本要求
14.日志审计面临挑战：具体
- 网络规模不断扩大：
随着网络规模的不断扩大，网络中的设备所产生的日志数据量大、日志输出方式多种多样、志格式复杂、可读性差、分析备份工作繁杂、日志数据易篡改或删除。
- 工作效率低：
面对如上述特点的数量巨大、彼此割裂的安全日志信息，安全管理人员需操作各种产品自身的控制台界面和告警窗口，工作效率低。
- 局面复杂：
当今互联网行业的发展，来自于企业和组织外部的层出不穷的入侵和攻击，以及企业和组织内部的违规和泄漏，导致当今的企业和组织在IT信息安全领域面临比以往更为复杂的局面。
- 安全系统多种多样：
为应对新的安全挑战，企业和组织部署的安全系统都仅仅能抵御来自某个方面的安全威胁，这些系统不断产生大量的安全日志并且输出方式多种多样，这对安全管理人员及时、高效地发现安全隐患带来了极大的挑战。
- 需求迫切：
企业和组织日益迫切的信息系统审计和内控、以及不断增强的业务持续性需求，也对当前日志审计提出了严峻的挑战。
15.las组成部分
服务器和WEB客户端。
16功能：
- 资源管理
（2）入侵检测
（3）故障排除
基本步骤：
（1）确定预测目标：目标可以是设备路由器、交换机、系统日志等。
（2）选择预测技术：采用机器学习的分类器思想，判断预测目标所属类型。
（3）评价预测模型：通过计算预测的精确度来衡量预测模型的准确性，通过验证方法对其进行验证
（4）取证
（5）审计
18.部署方式
旁路部署模式通过将物理接口绑定到旁路模式功能域的方式实现。绑定后，该物理接口就成为旁路接口，此时，设备对从旁路接口收到的流量进行统计、扫描或者记录，即可实现旁路模式。
优点：
（1）不需改变原来的网络结构也能分析流量，同时也能配合日志服务器记录分析；
（2）日志服务器即使在运行过程中出现问题，也不会对现有网络造成任何影响。
1.3.4日志全生命周期：
19.概念（顺序正确）
日志全生命周期管理是一种信息管理模式，包含对日志的产生、使用、迁移、清理、销毁的全生命周期管理。
20.留存的依据（日志留存计划）
（1）评估使用的依从性需求：评估相关日志的最短留存周期。
（2）评估组织的态势风险：对组织来说，每个风险领域的时间长度以及日志的重要性可能有很大的不同。
（3）关注各种日志来源和生成日志的大小：各种设备或应用程序生成的日志体积有很大的不同，根据具体决定采用具体的留存周期。
（4）评估可用的存储选项：日志存储选项主要取决于价格、容量、访问速度，以及能否以合理的周期得到正确的日志生命周期管理。
21.安全合规性审计的定义
合规性审计是指注册会计师确定被审计单位是否遵循了特定的法律、法规、程序或规则，或者是否遵守将影响经营或报告的合同的要求。合规性审计是内部审计实施的审计类型之一，可以作为单独的审计过程，也可能是财务审计或运营审计的一部分。
第二章
日志收集：
- 收集的对象：
1、操作系统：
1）Linux系统日志分类
（1）登录时间日志子系统
文件所在地：/var/run/utmp /var/log/wtmp
（2）进程统计日志子系统
文件所在地：/var/account/pacct
（3）错误日志子系统：
文件所在地：/var/log/message
*Linux日志存放的位置：var/log，
2）Windows系统日志分类
（1）系统日志：主要是指Windows 2003/Windows 7等各种操作系统中的各个组件在运行中产生的各种事件。
（2）安全日志：主要记录各种与安全相关的事件。构成该日志的内容主要包括：各种对系统进行登录与退出的成功或者不成功信息、对系统中的各种重要资源进行的各种操作。
（3）应用程序日志：主要记录各种应用程序所产生的各类事件
Windows常见事件ID及其含义
4624 成功用户登录 所有用户登录事件
4625 登录失败 所有用户登录失败事件
4634 注销成功
4647 用户启动的注销
4672 使用超级用户（如管理员）进行登录
2、Apache日志分类
（1）访问日志：记录所有对apache服务器进行请求的访问，它的位置和内容由CustomLog指令控制，LogFormat指令可以用来简化该日志的内容和格式 。
（2）错误日志：记录下任何错误的处理请求，它的位置和内容由ErrorLog指令控制，通常服务器出现什么错误，首先对它进行查阅，是一个最重要的日志文件。
状态码：
"100" : Continue 客户必须继续发出请求
"101" : witching Protocols 客户要求服务器根据请求转换HTTP协议版本
"200" : OK 交易成功
"201" : Created 提示知道新文件的URL
"202" : Accepted 接受和处理、但处理未完成
"203" : Non-Authoritative Information 返回信息不确定或不完整
"204" : No Content 请求收到，但返回信息为空
"205" : Reset Content 服务器完成了请求，用户代理必须复位当前已经浏览过的文件
"206" : Partial Content 服务器已经完成了部分用户的GET请求
"300" : Multiple Choices 请求的资源可在多处得到
"301" : Moved permanently 删除请求数据
"400" : Bad Request 错误请求，如语法错误
"401" : Unauthorized 请求授权失败
"402" : Payment Required 保留有效ChargeTo头响应
"403" : Forbidden 请求不答应
"404" : Not Found 没有发现文件、查询或URl
3、数据库日志：
1）事务日志：
在哪里生成的：日志在缓冲区生成
特点
- 收集方式：syslog、SNMP、ODBC、JDBC。
Syslog（开源的）：
概述：
Syslog是一个在IP网络中转发系统日志信息的标准
标准消息的组成部分（3个）：
第一部分是PRI，
第二部分是HEADER，
第三部分是MSG。
报文的总长度必须是1024字节之内。
奇安信消息的组成部分
特性
严重性
助记码
消息文本
SNMP：协议名称、
版本：
SNMPv1、SNMPv2、SNMPv3
SNMP trap/inform区别：
陷阱和通知之间的关键区别是通知包含了接收者向发送者发回确认的功能
get/set报文谁发的，干什么的
（安全设备）SNMP协议允许“get”（获取）操作，可以用它从一个设备或者系统上读取信息
（网络管理系统）SNMP set允许用户更改远程系统上的某个数值。
jdbc（作用于数据库）/odbc:java写的，
Java驱动的分类、分类特点、驱动类别什么情况下去用的
（1）JDBC-ODBC Bridge Driver：这类驱动程序将JDBC的调用转换为对ODBC驱动程序的调用，再由ODBC驱动程序来操作数据库。
（2）Native API Driver：这个类型的驱动程序会以原生（Native）方式，调用数据库提供的原生程序库。
（3）JDBC-Net Driver：这类驱动程序会将JDBC的方法调用，转换为特定的网络协议（Protocol）调用。
（4）Native Protocol Driver：这类驱动程序实现通常由数据库厂商直接提供。
ODBC的概述，
ODBC是一个可以实现本地或远程数据库连接的函数集，提供一些通用的接口（API），以便访问各种后台数据库。
jdbc/odbc的区别。
（1）ODBC 提供C接口，因而JAVA不能直接引用。如用JAVA来调用C代码，则有损于网上运行的安全性和可靠性；
（2）ODBC的CAPI运用了大量的指针，而JAVA消除了指针等认为网上运行不安全的因素且面向对象，因此JDBC成为面向对象的接口，并适用于JAVA编程；
（3）JDBC是“纯JAVA”的ODBC解决方案，取代了ODBC发布必须在每台客户机上手工安装，而JDBC代码在所有JAVA平台上随运行环境自动安装，具有可移植性和安全性；
（4）ODBC难以学习，而JDBC仅是JAVA 开发环境的一部分。
（5）JDBC具有平台无关性，适用性强，可以跨平台与各种数据库连接进行访问，程序运行效率高。
FTP：
传输方式：
ASCII传输方式
二进制传输方式
模式：
Standard模式
Passive模式
第三章：重点
事件归一化
- 为什么做事件过滤
大规模网络通常具有复杂性，再加上各种日志记录的事件具有不确定性，导致各种日志设备产生的日志信息可能不完善甚至存在某些错误。因此，为了保证日志归一化的准确度和效率，必须对原始日志数据进行过滤操作。
- 事件过滤的定义
事件过滤是对从不同远程机器上收集的原始日志数据进行分析，保留对管理员有用的日志消息，而将无关的日志消息抛弃，以减少整个系统的负载
- 事件过滤的方法(3)：
状态级别识别
服务进程识别
日志去重
空缺值，重复数据，噪声数据、不一致数据；
- 去除噪声数据的方法4个
（1）分箱（binning）：分箱法是通过考察“邻居”（即周围的值）来平滑存贮数据的值，即，存储的值被分布到一些“桶”或箱中。分箱法参考的是邻居数据，进行的是局部平滑。
（2）聚类（clustering）：孤立点可以被聚类检测。聚类将类似的值组织成群或“聚类”。落在聚类集合之外的值则被视为孤立点。
（3）计算机与人工检查结合：通过计算机和人工检查结合的方法来识别孤立点。
（4）回归（regression）：使用回归，找出适合数据的数学方程式，能够帮助消除数据中的噪声。
- 归一化的原因（4个）
（1）从数据库中提取数据是复杂的。需要提取的数据是多表融合的数据，需将不同表字段值合并为一个字段值（或重命名字段）；或取某字符字段值的子字符串；或需对某些数据进行较高层次的聚集，如对某数值字段的平均。
（2）存在多个输入数据源。待转换的数据一般来自不同数据源中的不同表，这就要求数据与数据源的对应关系逻辑上很清楚，以便从正确的数据源提取正确的数据。
（3）源数据库的键及其它约束在目标数据库中可能改变。将多表数据融合后，原来的约束常常改变，目标数据库中的新约束与待转换数据是否矛盾，需要仔细考察和妥善解决。
（4）源数据与目标数据类型的转换问题。不同的数据库系统的数据类型不同，在将数据存入目标数据库时需要做类型的转换。
- 归一化的概念：书上3上面
日志归一化将不同格式的原始日志归一化为一种具有统一格式的日志，为其他模块集中处理日志奠定基础。
- 归一化之后的日志要包含的字段：
时间戳、源和目标IP地址、源和目标端口、分类学、用户信息、优先级和原始日志。
- 数据转换的主要内容：5个
（1）简单变换
即数据类型转换，转换源数据库表中的某些字段类型、长度以及NULL约束。
（2）日期、时间格式的转换
几乎所有数据转换的实现都必须将日期和时间变换成数据定义的规范格式。
（3）由编码到名称的转换
为使数据转换后的数据被大多数用户所理解，在数据转换之前，根据编码从代码表中查到对应的文字描述（名称），使用该文字描述代编码。
（4）字段值合并
将数据库中的多个字段值合并成一个字段的值加载到数据库，主要针对文本类型字段。
（5）字段值拆分
合并字段的逆过程。将元数据库中的一个字段值拆分成多个字段的值进行转换。
- 日志归一化预处理：50页第二段。
针对日志的归一化预处理，当前主要采用可扩展标识语言（XML）规则对原始日志进行重新构造，产生新的XML格式日志，进一步转化为二进制的XML格式日志。
- xml数据语法格式：开标签。闭标签。
第四章
日志存储的格式、特点（优点、不足）
基于文本的
基于二进制
基于压缩文件
日志存储三个策略
关系型数据库存储策略
键值数据库存储策略
Hadoop分布式存储策略
关系型与键值数据库的区别。p58。
关系型数据库存放日志的内容，
主要优点：较低成本。。
键值数据库：
定义：
键值数据库是一种轻量级的数据库，引领下一代数据库的发展方向即非关系、分布式、开源和易扩展。
特点：
（1）无数据模式，键值数据库没有关系数据库中的内模式、逻辑模式、外模式等的概念，其只由Key、Value决定，是在程序内实现。
（2）复制相对简单，由于其容易支持分布式所以在网络上的数据库间能轻松地实现复制备份。
（3）接口简单，键值数据库提供简单的接口，包括基本的读、写等接口函数用户只需要调用读写接口就可以操纵数据库。
（4）数据最终一致性，键值数据库并不一定遵循ACID特性，但能保证数据库最终是一致的。
Hadoop：
hdfs的组成
namenode datanode
存储方式3种
（1）在线存储：在线存储又称线上存储，典型应用为云存储。
（2）近线存储：近线存储介于在线存储和离线存储之间的选择。
（3）离线存储：离线存储又称为线下存储。
存储介质
在线、离线、进线存储（代表云存储：概念）方式、区别、特点。（判断题）72页表
第五章
1.关联分析定义
关联分析是在关系数据或其他信息载体中，查找存在于对象集合之间的关联、相关性或因果结构，是一种在大型数据库中发现变量之间关系的方法。
2.关联分析（安全）工作可分为（4个）：
聚合分析
交叉关联
多步攻击
其他
3.事件关联方式分类76页 ：
（1）递归关联：递归关联是同一类实体之间的一种关联。
（2）统计关联：统计关联是基于统计学的关联规则。
（3）时序关联：时序关联是按照时间先后进行关联分析的规则。
（4）跨设备事件关联：跨设备事件关联是指不同设备间的告警信息做关联。
Comments NOTHING