第15章 数据管理

📖 考纲要求：掌握数据管理的基础概念与主要模型（DCMM、DGI、DAMA）；掌握数据战略与治理、数据管理组织与职能；理解数据采集与预处理、数据存储与容灾、数据标准与建模、数据仓库与数据资产、数据分析及应用、数据安全等核心知识。 📚 教材范围：信息系统管理工程师教程（第2版）第15章 P475~P513 📝 真题分布：数据管理是本章考试重点，选择题、案例分析均可能出现。常考：DCMM八个能力域与五级成熟度、三种备份策略区别、RPO/RTO概念、数据模型三层次、数据脱敏与分类分级、OLAP三分法、数据挖掘与数据分析区别等。

---

一、章节总览（本节讲什么，考试分值权重）

本章围绕数据全生命周期展开，从数据管理的顶层设计（战略与治理）到组织保障（组织与职能），再到具体技术环节（采集预处理、存储容灾、标准建模、仓库资产、分析应用、安全），内容覆盖面广、知识点密集，是软考中级考试的重点章节之一。

知识体系结构

小节	核心内容	考试权重
15.1 数据管理基础	DCMM、DGI数据治理框架、DAMA模型	⭐⭐⭐
15.2 数据战略与治理	数据战略规划/实施/评估、数据治理能力项	⭐⭐⭐
15.3 数据管理组织与职能	组织模式、组织架构、岗位设定、关键绩效	⭐⭐⭐
15.4 数据采集与预处理	数据采集方法、数据预处理步骤与方法	⭐⭐⭐
15.5 数据存储与容灾	存储介质/形式、备份结构/策略、RPO/RTO	⭐⭐⭐⭐⭐
15.6 数据标准与建模	元数据、数据质量、数据模型三层次、建模	⭐⭐⭐⭐⭐
15.7 数据仓库和数据资产	数据仓库组成、主题库、资产管理、资源编目	⭐⭐⭐⭐
15.8 数据分析及应用	数据集成、数据挖掘、数据服务、可视化	⭐⭐⭐⭐⭐
15.9 数据安全	数据脱敏、分类分级、安全管理	⭐⭐⭐⭐

---

二、数据管理基础（15.1）

🔴 数据管理定义：数据管理是指通过规划、控制与提供数据和信息资产的职能，包括开发、执行和监督有关数据的计划、策略、方案、项目、流程、方法和程序，以获取、控制、保护、交付和提高数据和信息资产价值（DAMA International提出）。数据管理框架是对组织管理平台或能产生业务数据的平台所产生的数据进行统一跟踪协调管理的功能模型。

📚 国内外常用数据管理模型：数据管理能力成熟度评估模型（DCMM）、数据治理框架（国际数据治理协会DGI定义的框架）、数据管理模型（DAMA定义的模型）。

1. 数据管理能力成熟度评估模型（DCMM）⭐

📌 记忆口诀：「战治架应安质标生」——八个能力域。

• 依据国家标准 GB/T 36073《数据管理能力成熟度评估模型》。
• 🔥 8个核心能力域：数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标准、数据生存周期。
• 🔥 5个成熟度等级（由低到高）：初始级 → 受管理级 → 稳健级 → 量化管理级 → 优化级。

等级	特征
初始级	数据需求在项目级体现，无统一管理流程，被动式管理
受管理级	意识到数据是资产，制定管理流程，指定人员初步管理
稳健级	数据作为实现组织绩效目标的重要资产，制定系列标准化管理流程
量化管理级	数据是竞争优势资源，管理效率能量化分析和监控
优化级	数据是组织生存发展的基础，流程实时优化，行业内最佳实践分享

📝 真题链接：DCMM是（ ）——选"数据管理能力成熟度评估模型"。

2. DGI数据治理框架

• 由国际数据治理协会（Data Governance Institute, DGI）发布，是组织数据治理操作层面的框架体系。
• 📌 从组织结构、治理规则、治理过程三个维度提出 10个关键通用组件。

3. DAMA数据管理模型

• DAMA-MBOK2（数据管理知识体系指南第2版），2018年发行。
• 由 1个数据管理职能领域（含数据治理、数据架构、数据建模和设计、数据存储和操作、数据安全、数据集成和互操作、文档和内容管理、参考数据和主数据管理、数据仓库与商务智能、元数据管理、数据质量管理等11项职能）+ 7个基本环境要素（工具、活动、交付成果、技术、目标与原则、组织与文化、角色和职责）构成。

---

三、数据战略与治理（15.2）

1. 数据战略（15.2.1）

⭐ 组织的数据战略通常包括三个能力项：数据战略规划、数据战略实施、数据战略评估。

📝 真题链接：不属于数据战略主要能力项建设内容的是（ ）——选"数据组织建设"。

• 数据战略规划：在利益相关者之间达成共识。要点包括识别利益相关者、数据战略需求评估、数据战略制定、数据战略发布、数据战略修订（根据业务战略、信息化发展定期修订）。
• 数据战略实施：确定与愿景目标的差距，制定阶段性目标与实施步骤。要点包括评估准则、现状评估、评估差距、实施路径、保障计划、任务实施、过程监控。
• 数据战略评估：建立业务案例和投资模型，跟踪进度并记录供审计使用。要点包括建立任务效益评估模型、建立业务案例、建立投资模型、阶段评估。

2. 数据治理（15.2.2）

🔴 数据治理是组织中涉及数据使用的一整套管控行为，由组织治理部门发起并推行，是关于如何制定和实施针对整个组织内部数据的应用和技术管控的一系列政策和流程。

• DAMA认为：数据治理是对数据资产管理行使权力和控制的活动集合。
• DGI认为：数据治理是一个通过一系列信息相关过程来实现决策权和职责分工的系统（描述who/when/where/how/what）。
• 📖 数据治理的最终目标是提升数据的价值，是组织实现数字战略的基础，涵盖从源头到终端再回到源头的闭环负反馈系统（趋稳系统）。
• ⚠️ 监管职能主要通过5个方面执行力保证：发现、监督、控制、沟通、整合。

⭐ 组织的数据治理通常包括三个能力项：数据治理组织、数据制度建设、数据治理沟通。

能力项	主要内容
数据治理组织	建立数据治理组织、岗位设置、团队建设、数据归口管理、建立绩效评价体系
数据制度建设	制定数据制度框架（策略、办法、细则三个层次）、整理数据制度内容、制度发布/宣贯/实施
数据治理沟通	沟通路径、沟通计划、沟通执行、问题协商机制、建立沟通渠道、制订培训宣贯计划、开展培训

---

四、数据管理组织与职能（15.3）

1. 组织模式（15.3.1）

🔥 常见数据管理组织模式有三种：集中式、分布式、离散式。

📝 真题链接：不属于常见数据管理组织模式的是（ ）——选"混合式"。

模式	特点	适用场景
集中式	设立专门数据管理部门/团队，专职岗位与角色，对所有数据一体化管理	业务模式相对单一的中大型组织或集团
分布式	按职能和业务流程纵向+横向划分，信息部门统筹政策制度，业务部门设专门岗位执行	业务类型众多、业务模式复杂多变的中大型组织或集团
离散式	不指定统筹部门，各业务体系自行设置承担，人员与业务深度融合	中小组织或刚起步建设数据能力的组织

⚠️ 离散式容易设置，但缺乏组织级视角与统一管理，跨部门协作难度大、沟通成本高、资源重复建设多。

2. 组织架构确立（15.3.2）

⭐ 组织数据管理层级通常包括决策层、管理层、执行层三层：

• 决策层：数据治理委员会/领导小组（由组织高级管理层领导组成）+ 首席数据官（CDO）。
• 管理层：数据治理管理办公室（业务管理专家、技术管理专家、数据管理专家）。
• 执行层：数据管理团队岗位/角色（业务人员、工程人员、数据人员）。

📌 三层职责速记： - 决策层（治理委员会）：定战略、明目标、批制度、督执行； - 管理层（管理办公室）：落地决策、定制度标准、开展监督审计、协调跨部门问题； - 执行层（数据团队，含业务架构师、数据架构师、技术架构师）：落实数据管理规定、方案设计评审、技术架构与平台运维。

⭐ 关键成功要素：①数据工作需依靠常设机构落实；②建立高层领导组成的数据治理委员会并设立数据治理/管理办公室；③数据工作需各部门通力合作，业务部门参与程度影响成败；④建立数据管理规章制度、明确各方职责；⑤组建专门组织架构（含治理委员会、管理办公室和专业部门）负责管理和维护数据。

3. 主要岗位设定（15.3.3）

岗位	核心职责
首席数据官（CDO）	制定监督数据治理战略，确保数据资产合规性、质量和价值，推动数据文化
数据治理经理	制定执行数据治理策略，建立流程和规范，监督数据分类、质量、隐私、安全管理
数据质量经理	保证数据准确性、一致性、完整性，监督质量度量、清洗和改进计划
数据隐私与合规官	确保数据隐私法规合规，制定隐私政策、流程和培训
数据安全经理	负责数据安全策略和实施，防止数据泄露和安全事件
数据架构师	设计和维护数据架构，确保数据流程高效性和一致性
数据分析师	分析数据，提供洞见，支持业务决策和战略规划
元数据管理师	管理元数据信息，确保数据定义、业务规则、数据血缘准确记录维护
数据培训与宣传经理	组织内部数据培训和沟通，促进数据素养和数据文化
数据持续改进经理	监督数据治理流程和策略持续改进，与业务需求保持一致

4. 关键绩效定义（15.3.4）

⭐ 关键绩效八个一般步骤：①明确业务目标 → ②识别关键绩效指标（涵盖质量、可用性、安全、合规、生命周期等）→ ③量化指标 → ④设定目标和标准 → ⑤数据收集和监测 → ⑥分析和解释 → ⑦持续改进 → ⑧沟通与透明度。

---

五、数据采集与预处理（15.4）

1. 数据采集（15.4.1）

🔴 数据类型分三类：结构化数据（关系型数据库表管理的数据）、半结构化数据（非关系模型但有基本固定结构，如日志文件、XML文档、Email）、非结构化数据（无固定模式，如办公文档、文本、图片、HTML、报表、图像、音视频等）。

⭐ 数据采集方法：传感器采集、系统日志采集、网络采集、其他数据采集。

采集方法	说明
传感器采集	感知信息转换为电信号，应用广泛；常见传感器含重力、加速度、光敏、热敏、声敏、气敏、流体、放射线、味敏等
系统日志采集	读取收集日志文件变化，系统日志为流式数据、数据量庞大；常用工具：Logstash、Filebeat、Flume、Fluentd、Logagent、rsyslog、syslog-ng
网络采集	通过API接口或网络爬虫获取数据；爬虫分通用、聚焦、增量式、深层四类

2. 数据预处理（15.4.2）

⭐ 数据预处理主要采用数据清洗方法实现，一般包括三个步骤：数据分析、数据检测、数据修正。

步骤	作用
数据分析	从数据中发现控制规则（字段域、业务规则），定义清理规则，选择合适算法
数据检测	根据预定义清理规则，检测数据是否正确（是否满足字段域、业务规则，是否重复）
数据修正	手动或自动修正检测到的错误数据或重复记录

3. 数据预处理方法（15.4.3）

🔥 需要预处理的数据问题及方法：

数据问题	处理方法
缺失数据	删除缺失值、均值填补法、热卡填补法；其他：最近距离决定填补法、回归填补法、多重填补法、K-最近邻法、有序最近邻法、基于贝叶斯的方法
异常数据/噪声	分箱法、回归法（线性回归、多线性回归）
不一致数据	人工修改、借助工具找到违反限制数据、数据变换（如数据迁移工具/ETL工具）
重复数据	去除重复值操作一般最后进行，可用Excel、VBA、Python等工具
格式不符数据	统一类型和格式（如清洗成统一Excel文件、统一时间日期数值格式）

📌 记忆提示：缺失→填（均值/热卡）、异常→分箱回归、重复→后去重、格式→统一样。

---

六、数据存储与容灾（15.5）

1. 数据存储（15.5.1）

🔴 数据存储是根据不同应用环境，通过合理、安全、有效的方式将数据保存到物理介质上，并保证对数据实施有效访问。

🔥 存储介质类型及特点：

介质	特点
磁带	成本低、容量大、速度比较慢
光盘	全称高密度盘CD；格式VCD（约700MB）和DVD（1.47GB~60GB）；只读性、不受电磁影响、易大量复制，特别适用于永久性归档备份
磁盘	采用RAID（独立冗余磁盘阵列）组合逻辑磁盘，提高读取性能、增强安全性
内存	存放CPU运算数据，性能决定稳定性、反应速率，断电后数据丢失
闪存	固态技术，兼具内存访问速度和存储持久性，常作为磁盘替代品
云存储	可扩展替代方案，数据存储在异地，通过公共互联网或专用私有网络访问

🔥 存储三种形式：文件存储、块存储、对象存储。

形式	说明
文件存储	文件级/基于文件的存储，分层组织（文件→文件夹→目录/子目录）
块存储	块级存储，数据存成块，每部分有唯一标识符，适合快速高效可靠数据传输
对象存储	处理大量非结构化数据的存储架构（如电子部件、视频、照片、音频、传感器数据等）

⭐ 存储管理主要内容：资源调度管理、存储资源管理、负载均衡管理、安全管理（系统攻击分两类：云扰乱服务的DoS攻击、勒索病毒，以及入侵/破坏服务器如窃取数据、修改网页）。

2. 数据归档（15.5.2）

⭐ 数据归档是将不活跃的"冷"数据从可立即访问的存储介质迁移到查询性能较低、低成本大容量的存储介质中，该过程是可逆的（归档数据可恢复回原介质）。

⚠️ 数据归档注意三点： 1. 一般在业务低峰期执行（归档需不断读写生产数据库、大量使用网络，对线上业务造成压力）； 2. 归档后会删除生产库数据，造成数据空洞（表空间未及时释放，长时间无新数据填充则空间浪费）； 3. 若影响线上业务须及时止损，结束归档并复盘。

3. 数据备份（15.5.3）

🔴 数据备份是防止数据丢失，将整个应用系统的数据或一部分关键数据复制到其他存储介质上的过程。

🔥 4种备份结构：DAS备份结构、基于LAN的备份结构、LAN-FREE备份结构、SERVER-FREE备份结构。

备份结构	特点
DAS备份	最简单，备份设备（RAID/磁带库）直接连备份服务器；适合数据量不大、OS类型单一、服务器数量有限的情况
基于LAN的备份	C/S模型，多服务器/客户端通过局域网共享备份系统；优点是可共享备份设备、集中管理；缺点是备份数据流与业务数据流混合，占用网络资源
LAN-FREE备份	将备份数据流与业务数据流分开，业务数据走业务网络、备份数据走SAN；缺点是备份数据流经应用服务器，影响其正常服务
SERVER-FREE备份	LAN-FREE的改进，不依赖应用服务器，通过第三方备份代理（软硬结合智能设备，使用NDMP协议）直接从应用服务器存储设备传送数据到备份设备

🔥 3种备份策略（高频辨析）：

策略	备份内容	优缺点
完全备份（Full）	每次全部数据	恢复方便；缺点：占用服务器/网络资源多，重复数据多、介质消耗大
差分备份（Differential）	相对上一次完全备份之后变化的数据	时间短、省空间、恢复方便（只需完全备份+差分备份两份数据）；可靠
增量备份（Incremental）	相对上一次备份后改变的数据	无重复数据、省空间、时间短；恢复复杂，任一增量出问题后面数据无法恢复，可靠性最低

⚠️ 辨析重点：差分备份比增量备份恢复更简单可靠；增量备份比差分备份省空间，但可靠性最低。记忆：完全备份恢复最简单、增量备份最省空间但最不可靠。

4. 数据容灾（15.5.4）

🔴 数据备份是数据容灾的基础（笔记重点）。传统磁带冷备份一旦机房发生火灾、盗窃、地震等灾难，备份磁带随之毁灭，起不到容灾作用。

🔥 衡量容灾系统两个主要指标： - RPO（Recovery Point Objective，恢复点目标）：代表灾难发生时允许丢失的数据量； - RTO（Recovery Time Objective，恢复时间目标）：代表系统恢复的时间。

📌 记忆口诀：RPO看数据丢多少，RTO看恢复多快。

⭐ 容灾关键技术：远程镜像技术和快照技术。 - 远程镜像：主从镜像数据复制技术，主镜像与从镜像，按位置分本地镜像（同一RAID）和远程镜像（城域网/广域网中）；远程镜像在异地维护数据镜像，灾难时异地数据不受影响。 - 快照：关于指定数据集合在某个时间点的完全可用复制（映像）。两个作用：①在线数据恢复（恢复到快照时间点状态）；②提供另一个数据访问通道（如测试、开发验证、数据分析、模型训练）。

---

七、数据标准与建模（15.6）

⭐ 数据标准化主要内容：元数据标准化、数据元标准化、数据模式标准化、数据分类与编码标准化。

⭐ 数据标准化过程四步：确定数据需求、制定数据标准、批准数据标准、实施数据标准。

1. 元数据（15.6.1）

🔴 元数据（Metadata）是关于数据的数据（Data About Data），是信息资源的结构化描述，实质是描述信息资源内容、覆盖范围、质量、管理方式、所有者、提供方式等的信息。

⭐ 元数据体系（层次结构）： - 内容元数据（标记数字对象内容及结构）→ 专门元数据（内容描述单一数字对象）→ 资源集合元数据 → 管理元数据（对象管理）→ 服务元数据（对象的服务）→ 元元数据（对元数据的标记语言、格式语言、标识符、扩展机制、转换机制等的管理）。

🔥 元数据的作用：描述、资源发现、组织管理数据资源、互操作性、归档和保存数据资源。

2. 数据质量（15.6.2）

🔴 数据质量指在特定业务环境下，数据满足业务运行、管理与决策的程度。数据质量管理是指运用相关技术来衡量、提高和确保数据质量的规划、实施与控制等活动。

🔥 衡量数据质量的指标体系：完整性、规范性、一致性、准确性、唯一性、及时性。

⭐ 数据质量评价方法分直接评价法（与内部/外部参照信息对比）和间接评价法（利用数据相关信息如数据日志推断）。

⭐ 数据质量控制分前期控制（数据录入前质控、录入过程中实时质控）和后期控制（录入完成后的处理质控与评价）。

3. 数据模型（15.6.3）

🔴 数据模型是实现世界数据特征的抽象，用于描述一组数据的概念和定义。根据应用目的分三类：概念模型、逻辑模型、物理模型。

模型层次	说明	基本元素
概念模型（信息模型）	按用户观点对数据和信息建模，不依赖具体计算机系统，也不对应具体DBMS，概念级别模型	实体、属性、域、键、关联
逻辑模型	在概念模型基础上确定数据结构，关系模型最重要	关系、属性、视图（外键）
物理模型	在逻辑模型基础上考虑技术实现因素，进行数据库体系结构设计，实现数据存储	表、字段、视图、索引、存储过程、触发器

⭐ 概念模型基本元素： - 实体：同一类型实例的抽象（如学生、教师实体）； - 属性：实体的特性（如学号、姓名）； - 域：属性的取值范围（如"性别"的域是{男，女}）； - 键：能唯一标识每个实例的一个或几个属性组合； - 关联：实体间的相互关系，包括一对一、一对多、多对多三种。

📌 概念模型→逻辑模型（关系模型）对应关系：实体→关系；属性→属性；联系→关系外键；视图→视图（概念模型无对应）。

🔥 关系模型的完整性约束三大类型：实体完整性、参照完整性、用户定义完整性。其中实体完整性、参照完整性是关系模型必须满足的完整性约束；用户定义完整性是应用领域需要遵照的约束。

⚠️ 辨析：实体完整性、参照完整性必须满足；用户定义完整性体现具体领域语义约束（不是必选）。

4. 数据建模（15.6.4）

⭐ 数据建模过程包括：数据需求分析、概念模型设计、逻辑模型设计、物理模型设计。

阶段	主要任务
数据需求分析	数据建模的起点，用数据流图作为工具描述数据流动和变化，强调数据流和处理过程；常融合在系统需求分析中
概念模型设计	将需求分析结果抽象为概念模型，确定实体、数据及其关联
逻辑模型设计	主要指关系模型结构设计，将概念模型中实体、属性和关联转换为关系模式（二维表）
物理模型设计	针对具体DBMS进行设计，走向数据存储应用环节；考虑命名、确定字段类型、编写存储过程与触发器

---

八、数据仓库和数据资产（15.7）

1. 数据仓库（15.7.1）

🔴 数据仓库是面向主题的、集成的、随时间变化的、包含汇总和明细的、稳定的历史数据集合。

🔥 数据仓库的四个组成部分：数据源、数据的存储与管理、OLAP服务器、前端工具。

组成	说明
数据源	数据仓库的基础/源泉，包括内部信息（RDBMS中的业务处理数据和文档）和外部信息（法规、市场、竞争对手信息）
数据的存储与管理	数据仓库系统的核心；按数据覆盖范围分组织级数据仓库和部门级数据仓库（数据集市）
OLAP服务器（联机分析处理）	有效集成分析数据，进行多角度多层次分析、发现趋势
前端工具	查询工具、报表工具、数据分析工具、数据挖掘工具及应用开发工具

🔥 OLAP三分法：ROLAP（基本数据和聚合数据均存放在RDBMS关系数据库中）、MOLAP（均存放于多维数据库）、HOLAP（基本数据存放于RDBMS，聚合数据存放于多维数据库）。

2. 主题库（15.7.2）

⭐ 主题库是为了便利工作、精准反映工作全貌，融合各类原始数据、资源数据，围绕能标识组织、人员、产权、财务等主题对象，长期积累形成的多维度数据集合（如人口主题库、土地主题库、组织主题库、产权主题库、财务主题库）。

⭐ 主题库建设采用三层体系结构：数据源层（存放数据管理各种管理表和各类数据表）、构件层（基础构件含查询/展现/存储数据构件和采集/载入/更新数据构件，组合构件由基础构件组装完成复杂功能）、主题库层（按业务需求构建组合，形成统一访问接口的主题库）。

3. 数据资产管理（15.7.3）

🔴 数据资产管理（Data Asset Management） 是指对数据资产进行规划、控制和提供的一组活动职能。重点包含两个环节：数据资源化、数据资产化。

环节	说明
数据资源化	将原始数据转为数据资源，使数据具备潜在价值，是资产化的必要前提；以数据治理为重点，提升质量、保障安全
数据资产化	将数据资源转变为数据资产，释放潜在价值；以扩大应用范围、显性化成本与效益为重点，形成供需良性循环

⭐ 数据资产化之后关注三种流程/活动： - 数据资产流通：通过数据共享（打通部门壁垒）、数据开放（向社会公众提供数据）、数据交易（合同约定、安全合规的交易行为）推动价值实现； - 数据资产运营：对数据服务、数据流通持续跟踪分析，建立正向反馈和闭环管理机制； - 数据价值评估：数据资产管理关键环节，是资产化的价值基线；狭义指经济效益，广义考虑业务效益、成本计量。

4. 数据资源编目（15.7.4）

⭐ 数据资源目录体系设计包括概念模型设计和业务模型设计。概念模型由数据资源目录、信息项、数据资源库、标准规范等要素构成。

🔥 数据资源目录分三类：

📝 真题链接：数据资源目录分为三个层面，不包括（ ）——选"权限目录"。

目录类型	说明
资源目录	准确浏览组织记录或拥有的线上、线下原始数据资源的目录（电子文档索引、数据库表、电子文件、纸质文档等）
资产目录	对原始资源标准化处理，识别数据资产及其信息要素，按分类分级登记到目录
服务目录	基于资源和资产目录，对特定业务场景以信息模型、业务模型形式对外提供可视化共享数据目录；分指标报表等数据应用和共享接口两类

⭐ 信息项分数据资源信息项、数据资产信息项、数据服务信息项三种类型。数据资源库分数据资源库、主题数据资源库、基础数据资源库。标准规范包括元数据规范、编码规范、分类标准。

---

九、数据分析及应用（15.8）

1. 数据集成（15.8.1）

🔴 数据集成是将驻留在不同数据源中的数据进行整合，向用户提供统一的数据视图，使用户能以透明的方式访问数据。

🔥 数据集成常用方法：

方法	说明
模式集成（虚拟视图方法）	最早采用、其他方法基础；将各数据源共享视图集成为全局模式（Global schema），用户透明访问各数据源数据
复制集成	将数据源中数据复制到相关其他数据源，维护整体一致性；减少异构数据源访问量、提高性能
混合集成	保留虚拟数据模式视图，同时提供数据复制方法；简单请求用复制方式、复杂请求用模式集成

🔥 数据访问接口标准：ODBC、JDBC、OLEDB、ADO。 - ODBC（开放数据连接）：业界广泛接受的数据库访问API，基于X/Open和ISO/IEC调用接口规范，使用SQL；由应用程序接口、驱动程序管理器、驱动程序、数据源4个组件组成。 - JDBC（Java数据连接）：用于执行SQL语句的Java API，由Java语言编写的类和接口组成。 - OLEDB：基于COM（组件对象模型）的数据存储对象，能操作所有类型数据，甚至离线存取数据。 - ADO：应用层接口，可用于VC、VB、Delphi等高级语言及Web开发，是COM自动化接口，使用简单易于学习。

⭐ Web Services技术：面向访问的分布式计算模型，基于XML、SOAP、WSDL、UDDI，实现跨平台跨系统分布式应用。三要素：WSDL、SOAP、UDDI。 - WSDL：基于XML的服务描述语言，描述服务的传输方式、方法接口、接口参数、服务路径等； - SOAP：消息传递协议，规定信息传递格式为XML、远程对象方法调用格式、参数类型与XML映射、异常处理等； - UDDI：创建注册服务的规范，用于集中存放和查找WSDL描述文件，起目录服务器作用。

⭐ 数据网格技术：用于大型数据集分布式管理与分析的体系结构。透明性体现：分布透明性、异构透明性、数据位置透明性、数据访问方式透明性。

2. 数据挖掘（15.8.2）

🔴 数据挖掘（Data Mining） 是指从大量数据中提取或"挖掘"知识，即从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取隐含在其中的、人们不知道的、却是潜在有用的知识。是一门交叉学科（涉及数据库、人工智能、数理统计、可视化、并行计算等）。

🔥 数据挖掘与传统数据分析的区别（4个方面）：

维度	传统数据分析	数据挖掘
数据量	数据量较小	数据量大，数据量越大效果越好
分析方法	主要运用统计学方法	综合运用数理统计、人工智能、可视化等技术
分析侧重	回顾型、验证型，分析"已经发生了什么"	预测型、发现型，预测未来情况、解释原因
成熟度	研究方法相当成熟	部分方法仍处于发展阶段

🔥 数据挖掘主要任务：数据总结、关联分析、分类和预测、聚类分析、孤立点分析。 - 数据总结：对数据浓缩，从个体层次抽象到总体层次（如求均值、方差、极值、直方图、散点图）； - 关联分析：找出数据间隐藏的关联规则，规则带置信度，置信度度量关联规则强度； - 分类和预测：用分类函数/模型（分类器），根据属性将数据分派到不同组，预测新数据归属； - 聚类分析：按相近程度度量将数据分成有意义的子集合，集合内相近、集合间差异大（无分类模式时采用）；概念描述分特征性描述和区别性描述； - 孤立点分析（离群点分析）：检测与其它记录存在偏差的异常记录。

⭐ 数据挖掘流程五阶段：确定分析对象、数据准备、数据挖掘、结果评估、结果应用。 - 数据准备是保证挖掘成功的先决条件，包括数据选择和数据预处理（数据清理、数据集成、数据变换、数据归约）； - 数据挖掘过程细分为模型构建和挖掘处理。

3. 数据服务（15.8.3）

⭐ 数据服务主要包括：数据目录服务、数据查询与浏览及下载服务、数据分发服务。 - 数据目录服务：快捷发现和定位数据资源的检索服务，实现数据共享的重要基础。 - 数据查询、浏览和下载服务：通过关键字检索、选择领域学科快速定位；下载需查询目录得到目标数据集信息到指定位置下载。 - 数据分发服务：生产者将数据传送到用户过程；核心内容包括数据发布（传送标准化数据、含元数据/数据本身/评价信息）、数据发现（搜索数据相关信息）、数据评价（对数据内容判断评定）。

4. 数据可视化（15.8.4）

🔴 数据可视化概念来自科学计算可视化，主要运用计算机图形学和图像处理技术，将数据转换成图形或图像在屏幕上显示并能交互处理；涉及计算机图形学、图像处理、计算机辅助设计、计算机视觉、人机交互技术等领域。

🔥 数据可视化7类表现方式：

类型	说明
一维数据可视化	简单线性数据，如文本、数字表格、程序源代码
二维数据可视化	两种主要描述属性构成（如宽和高、平面地图）；最常见为地理信息系统（GIS）
三维数据可视化	描述立体信息，可表示实际三维物体，构成计算机模型供试验预测行为
多维数据可视化	属性超过三维，实现时往往需要降维
时态数据可视化	二维数据特例（一维是时间轴），以图形显示随时间变化的数据，是最常见最有用的方式之一
层次数据可视化	树形数据，每个节点有父节点（根除外），如商业组织、计算机文件系统、家谱图
网络数据可视化	节点与任意数量其他节点有关，无固有层次结构，节点间关系数量和属性可变

---

十、数据安全（15.9）

1. 数据脱敏（15.9.1）

🔴 数据脱敏是对各类数据所含的自然人身份标识、用户基本资料等敏感信息进行模糊化、加扰、加密或转换后形成无法识别、无法推算演绎、无法关联分析的原始用户身份标识的新数据。

⭐ 敏感数据分为个人敏感数据、商业敏感数据、国家秘密数据。常见敏感数据：姓名、身份证号、地址、电话、银行账号、邮箱、密码类、组织机构、营业执照号等。

⭐ 数据密级5个等级：L1（公开）、L2（保密）、L3（机密）、L4（绝密）、L5（私密）。

🔥 数据脱敏方式的分类： - 可恢复类：脱敏后数据可通过一定方式恢复成原始敏感数据（如各类加解密算法）； - 不可恢复类：脱敏部分任何方式都不能恢复，一般分置换算法和生成算法两类。

⚠️ 数据脱敏方式由应用场景决定，如发布数据场景既要防止直接表示又要防止推算演绎、关联分析定位用户身份。

🔥 数据脱敏原则（6个）： 1. 算法不可逆原则：除特定场合可恢复外，脱敏算法通常应不可逆，防止用非敏感数据推断重建敏感数据； 2. 保持数据特征原则：脱敏后数据应具有原数据特征（数值分布范围、指定格式、频率分布、字段唯一性等）； 3. 保留引用完整性原则：如脱敏字段是数据表主键，相关引用记录必须同步更改； 4. 规避推断风险原则：对可能由非敏感数据推断出敏感信息的非敏感字段也一并脱敏（如凭"住址"唯一性可推导"姓名"，则"住址"也需变换）； 5. 脱敏过程自动化原则：脱敏过程必须在规则引导下自动化； 6. 脱敏结果可重复原则：满足使用方可测性、模型正确性、安全性等要求。

📝 真题链接：关于数据脱敏描述不正确的是（ ）——选"数据脱敏需要遵循算法可逆原则"（应为不可逆）。

2. 分类分级（15.9.2）

⭐ 数据分类：根据内容属性或特征将数据按一定原则和方法进行区分和归类。有分类对象和分类依据两个要素。

⭐ 数据分级：按照数据遭到破坏后对受侵害客体合法权益的危害程度进行定级，主要为数据全生命周期管理制定安全策略。分级维度有：敏感度分级、基于值分级、基于敏感程度分级、基于司法影响范围分级等。

⭐ 从国家数据安全角度出发，数据分级基本框架分为三个级别：一般数据、重要数据、核心数据。

3. 安全管理（15.9.3）

⭐ 根据DCMM，组织的数据安全能力域通常包括三个能力项：数据安全策略、数据安全管理和数据安全审计。

能力项	主要内容
数据安全策略	数据安全核心内容；了解监管需求、制定适合组织的数据安全标准、定义目标/原则/制度/组织/流程
数据安全管理	数据安全等级划分、数据访问权限控制、用户身份认证和访问行为监控、数据安全保护、数据安全风险管理
数据安全审计	过程审计、规范审计、合规审计、供应商审计、审计报告发布、数据安全建议

⚠️ 数据安全审计人员应独立于审计所涉及的数据和流程。数据安全是持续过程，需定期评估调整以适应安全威胁和技术发展。

---

十一、本章练习与备考小结

📝 本章典型选择题回顾： 1. DCMM是数据管理能力成熟度评估模型（A）✅ 2. 不属于数据战略主要能力项的是——数据组织建设（D）✅ 3. 不属于常见数据管理组织模式的是——混合式（B）✅ 4. 数据资源目录三个层面不包括——权限目录（C）✅ 5. 关于数据脱敏描述不正确的是——需遵循算法可逆原则（C）✅

📌 高频记忆口诀汇总： - DCMM八个能力域：战治架应安质标生 - 三个数据管理模型：DCMM、DGI、DAMA - 五级成熟度：初始→受管→稳健→量化→优化 - 组织模式三种：集中、分布、离散 - 备份策略三种：完全恢复最简单、差分最方便、增量最省空间但最不可靠 - RPO看丢多少数据、RTO看恢复多快 - 数据模型三层次：概念→逻辑→物理 - OLAP三分：ROLAP关系、MOLAP多维、HOLAP混合 - 脱敏六原则：不可逆、保特征、保引用、避推断、自动化、可重复