跳转至

从数据到智能：企业级数据平台的构建、演进与 Agentic BI 实践

本书封面

一个数据开发的八年数据工程手记：从 0 到 1 构建企业级医药数据平台，再到 Data + AI 转型下的 Agentic BI。

关于本书

这是一本面向数据工程师、平台架构师与 AI 应用工程师的实践型技术专著。作者以首席解决方案架构师的第一人称视角，完整记录了一座企业级医药数据平台从无到有、从数据到智能的演进全过程。

书中没有止步于"怎么做"，而是着重回答"为什么这么做、当时有什么约束、对比主流方案怎么取舍"。全书聚焦设计、思想与方案，不沉溺于代码实现细节——因为代码会过时，架构思想留得下来。

叙事背景：甲方 Aurora Pharma（奥罗拉制药，全球 top 医药外企，中国区业务）；乙方 NorthPeak Consulting（北峰咨询，top 外企咨询）；作者为 NorthPeak 驻场首席解决方案架构师。书中所有公司、人员、系统标识均为虚构。

全书结构

章节依赖总览

阅读说明

箭头表示"阅读完本章后建议阅读的下一章"。颜色表示难度层级：🟢 基础必读 → 🔵 核心实践 → 🟠 进阶演进 → 🟣 AI 前沿 → 🔴 治理复盘。

%%{init: {'theme':'base','themeVariables':{'primaryColor':'#edf5ff','primaryTextColor':'#161616','primaryBorderColor':'#0f62fe','lineColor':'#697077','secondaryColor':'#d9fbfb','tertiaryColor':'#f2f4f8','fontSize':'14px'}}}%%
flowchart TB
    %% ===== Part I: 起点 =====
    subgraph P1["<b>Part I · 起点</b>"]
        direction LR
        ch1("1. 医药数据困局") --> ch2("2. 平台蓝图诞生") --> ch3("3. 技术栈全景")
    end

    %% ===== Part II: 架构设计 =====
    subgraph P2["<b>Part II · 架构设计</b>"]
        ch4("4. 五层模型") --> ch5("5. 数据流全景")
        ch4 --> ch8("8. Redshift 仓库")
        ch4 --> ch9("9. 计算与 ETL")
        ch4 --> ch10("10. 编排调度")
        ch4 --> ch11("11. 配置与状态")
        ch5 --> ch6("6. 环境隔离")
        ch5 --> ch7("7. 数据湖分层")
    end

    %% ===== Part III: 数据工程 =====
    subgraph P3["<b>Part III · 数据工程</b>"]
        ch12("12. 任务模型") --> ch13("13. 连接器框架")
        ch13 --> ch14("14. JDBC 连接器")
        ch13 --> ch15("15. 文件 S3 连接器")
        ch13 --> ch16("16. API 邮件连接器")
        ch14 & ch15 & ch16 --> ch17("17. 三层开发实战")
        ch17 --> ch18("18. 脱敏与隐私")
        ch12 --> ch19("19. 开发配方")
        ch12 --> ch20("20. 元数据血缘")
    end

    %% ===== Part IV: 基础设施 =====
    subgraph P4["<b>Part IV · 基础设施</b>"]
        ch21("21. Terraform 架构") --> ch22("22. 核心仓设计")
        ch22 --> ch23("23. 业务同构仓")
        ch21 --> ch24("24. 通用模块")
        ch22 --> ch25("25. tfvars 模型")
        ch10 -.-> ch26("26. SF 模板注入")
        ch22 --> ch27("27. CI/CD 平台")
        ch27 --> ch28("28. 四类发布流")
        ch27 --> ch29("29. OIDC 凭证")
        ch28 --> ch30("30. 工程师工作流")
    end

    %% ===== Part V: 平台演进 =====
    subgraph P5["<b>Part V · 平台演进</b>"]
        ch31("31. SQLServer 迁移") --> ch32("32. 跨账号同步")
        ch32 --> ch33("33. 自研 DAG")
        ch31 & ch32 & ch33 --> ch34("34. 设计边界复盘")
    end

    %% ===== Part VI: 衍生系统 =====
    subgraph P6["<b>Part VI · 衍生系统</b>"]
        ch35("35. 衍生总领") --> ch36("36. 零售门户")
        ch36 --> ch37("37. DaaS 激活层")
    end

    %% ===== Part VII: Data + AI =====
    subgraph P7["<b>Part VII · Data + AI</b>"]
        ch38("38. AI-Ready 供应") --> ch39("39. Agentic BI 架构")
        ch39 --> ch40("40. 语义平面")
        ch39 --> ch41("41. 四引擎 RAG")
        ch40 & ch41 --> ch42("42. Agent 编排")
        ch42 --> ch43("43. 查询规划器")
        ch42 --> ch44("44. SQL 护栏")
        ch42 --> ch45("45. 记忆与工具")
        ch39 --> ch46("46. CDP 整合")
        ch46 --> ch47("47. LumenKB 多模态知识库")
        ch47 --> ch48("48. FieldGenie 一线助手")
        ch48 --> ch49("49. 评估可观测")
        ch45 -.-> ch48
    end

    %% ===== Part VIII: 治理复盘 =====
    subgraph P8["<b>Part VIII · 治理复盘</b>"]
        direction LR
        ch50("50. 安全合规") --> ch51("51. 监控审计") --> ch52("52. 排障实战") --> ch53("53. 价值度量") --> ch54("54. 架构师复盘")
    end

    %% ===== 跨 Part 依赖 =====
    P1 --> P2
    P2 --> P3
    P2 --> P4
    P3 --> P5
    P4 --> P5
    P3 --> P6
    P4 --> P6
    P3 --> P7
    P4 --> P7
    P2 --> P7
    P5 & P6 & P7 --> P8

    %% ===== 样式定义（按难度层级：🟢 基础 → 🔵 核心 → 🟠 进阶 → 🟣 AI → 🔴 治理）=====
    classDef bpSuccess  fill:#defbe6,stroke:#198038,stroke-width:2px,color:#161616
    classDef bpProcess  fill:#edf5ff,stroke:#0f62fe,stroke-width:2px,color:#161616
    classDef bpDecision fill:#fcf4d6,stroke:#f1c21b,stroke-width:2px,color:#161616
    classDef bpInfo     fill:#f6f2ff,stroke:#8a3ffc,stroke-width:2px,color:#161616
    classDef bpError    fill:#fff1f1,stroke:#da1e28,stroke-width:2px,color:#161616
    classDef bpGroup    fill:#ffffff,stroke:#0f62fe,stroke-width:2px,color:#161616

    class ch1,ch2,ch3 bpSuccess
    class ch4,ch5,ch6,ch7,ch8,ch9,ch10,ch11 bpProcess
    class ch12,ch13,ch14,ch15,ch16,ch17,ch18,ch19,ch20 bpProcess
    class ch21,ch22,ch23,ch24,ch25,ch26,ch27,ch28,ch29,ch30 bpDecision
    class ch31,ch32,ch33,ch34 bpDecision
    class ch35,ch36,ch37 bpDecision
    class ch38,ch39,ch40,ch41,ch42,ch43,ch44,ch45,ch46,ch47,ch48,ch49 bpInfo
    class ch50,ch51,ch52,ch53,ch54 bpError

    class P1,P2,P3,P4,P5,P6,P7,P8 bpGroup
    linkStyle default stroke:#697077,stroke-width:2px

阅读路径

根据你的角色与目标，选择最适合的阅读路径：

架构师路径（理解"为什么这样设计"）

适合：技术负责人、解决方案架构师、平台设计者

  1. 前言 → Ch 1 医药数据困局 → Ch 2 平台蓝图
  2. Ch 4 五层模型 → Ch 5 数据流全景 → Ch 8 数据仓库设计 → Ch 10 编排调度
  3. Ch 21 Terraform 架构 → Ch 27 CI/CD 平台
  4. Ch 38 AI-Ready 数据供应 → Ch 39 Agentic BI 架构 → Ch 54 架构师复盘

工程师路径（理解"怎么开发"）

适合：数据工程师、ETL 开发者、平台运维

  1. 前言 → Ch 3 技术栈全景
  2. Ch 11 配置与状态管理 → Ch 12 任务模型 → Ch 13 连接器框架
  3. Ch 14-16 三类连接器 → Ch 17 两跳开发 → Ch 19 开发配方
  4. Ch 28 四类发布流 → Ch 30 工程师工作流 → Ch 52 排障实战

迁移负责人路径（理解"如何迁移与协同"）

适合：负责系统迁移、跨账号数据同步的工程师与项目经理

  1. Ch 31 SQL Server → Redshift 迁移 → Ch 32 跨账号同步 → Ch 33 自研 DAG → Ch 34 设计边界复盘
  2. Ch 36 零售数据源门户（T+1 双向同步模块）

AI 工程师路径（理解"Data+AI 转型"）

适合：AI 应用工程师、Agentic BI 建设者、LLM 应用架构师

  1. Ch 38 AI-Ready 数据供应 → Ch 39 Agentic BI 架构
  2. Ch 40 语义平面 → Ch 41 四引擎 RAG → Ch 42 Agent 编排
  3. Ch 43 查询规划器 → Ch 44 SQL 护栏 → Ch 45 记忆与工具
  4. Ch 46 CDP 整合 → Ch 47 多模态知识库 → Ch 48 FieldGenie → Ch 49 评估可观测

目录

前言

Part I 起点：为什么需要一座数据平台

Part II 架构设计：从 0 到 1 构建平台骨架

Part III 数据工程实践：连接器与流水线

Part IV 基础设施与工程效能

Part V 平台演进：数据迁移与跨系统协同

Part VI 衍生业务系统：平台的能力外延

Part VII Data + AI 转型：方向探索与 POC（Agentic BI + 多模态知识库）

Part VIII 治理、运维与价值复盘

附录

本书约定

标记框 图标 含义
!!! tip "引申" 超出当前实践的延伸知识，供读者深入思考
!!! warning "Trade-off" 当前设计在特定约束下的取舍，并给出主流方案对比
!!! info "面包屑" 章节在全书中的定位导航
!!! info "项目时间线" 本章内容发生在项目的哪个阶段
!!! quote "下一章" 演进承接——下一阶段的挑战
Mermaid 图 架构图、流程图、时序图、状态图，图文并茂说明设计
对比表 方案选型的多维度对比
代码示例 自包含的示意片段，非真实生产代码

最后更新：2026-06-18 · 作者：首席解决方案架构师（Aurora Pharma × NorthPeak Consulting）

评论