AI 数据分析系统（报表 / ECharts / 自动洞察）

你为什么要学这门课

AI 应用工程师不只是做聊天机器人。很多企业真正需要的是：把业务数据自动分析、自动生成报告、自动画图、自动解释异常。
这门课会把你从“会调模型”带到“能做一个可演示的数据分析 AI 产品”。

最终目标

学完后你要能做出一个端到端项目：

1. 上传 CSV / Excel 或连接数据库。
2. 自动识别字段、数据类型、缺失值与异常值。
3. 自动生成统计摘要、分组聚合、趋势分析。
4. 自动选择图表并生成 ECharts 配置。
5. 输出 HTML 报告，并能解释每张图的业务含义。
6. 支持用户追问：“为什么这个月下降？”、“哪个品类贡献最大？”。

产品形态（你最后要展示什么）

这个项目建议最终做成一个可以在面试现场打开的 Web Demo：

1. 左侧上传数据：CSV / Excel / 示例数据集。
2. 中间显示数据画像：字段、缺失率、异常值、TopN、时间范围。
3. 右侧生成图表：ECharts 配置 + 可视化图。
4. 下方生成报告：业务摘要、关键指标、异常解释、下一步建议。
5. 追问区：用户继续问“为什么下降”、“哪个渠道贡献最大”、“给我一个月报摘要”。

面试时你可以这样开场：

我做的是一个 AI 数据分析系统，不让大模型直接编数字，而是让模型规划分析步骤，真正的计算交给 pandas/SQL 工具，最后由模型生成可解释报告和图表说明。

能力地图

系统架构图（口述版）

用户上传 CSV/Excel
  -> 文件校验与存储
  -> 数据画像 profile_data()
  -> LLM 生成分析计划（结构化 JSON）
  -> 程序执行统计/聚合/趋势计算
  -> LLM 选择图表类型与说明
  -> ECharts option 生成
  -> HTML 报告生成
  -> 用户追问：基于 dataset_id + analysis_context 继续分析

关键原则

1. LLM 负责“计划与解释”，不负责“算数”

错误做法：

• 把整份 CSV 贴给模型，让模型直接总结。
• 让模型直接回答“销售额是多少”。
• 模型输出图表数字，没有程序校验。

正确做法：

• 模型输出分析计划。
• 程序读取数据并计算。
• 模型基于计算结果写解释。

2. 输出必须结构化

建议模型输出这种 JSON：

{
  "intent": "trend_analysis",
  "required_columns": ["date", "sales"],
  "operations": [
    { "type": "group_by", "column": "date", "metric": "sales", "agg": "sum" }
  ],
  "chart_type": "line",
  "question_to_answer": "销售额随时间如何变化"
}

3. 图表必须可验证

ECharts 的 series.data 必须来自程序计算结果，不能由模型自由生成。

模块拆解

模块 1：数据接入

目标：让系统可靠读取用户文件。

• 支持 CSV、XLSX。
• 限制文件大小。
• 记录 dataset_id。
• 保存原始文件和清洗后文件。

建议字段：

模块 2：数据画像

必须输出：

• 字段名、类型、唯一值数量。
• 缺失率。
• 数值字段的均值、中位数、最大最小。
• 时间字段的最早/最晚日期。
• 分类字段 TopN。

模块 3：分析计划生成

LLM 只拿到：

• 用户问题。
• 字段画像。
• 可用工具说明。

LLM 不直接拿全量原始数据，避免隐私和成本问题。

模块 4：计算执行

工具函数建议：

• profile_data(dataset_id)
• aggregate(dataset_id, group_by, metric, agg)
• filter_rows(dataset_id, filters)
• detect_anomalies(dataset_id, metric, time_column)
• build_chart(analysis_result, chart_type)

模块 5：报告生成

报告结构建议：

1. 一句话结论。
2. 关键指标卡片。
3. 图表与解释。
4. 异常点说明。
5. 可能原因。
6. 下一步建议。
7. 数据质量提醒。

模块 6：多轮追问

保存上下文：

{
  "dataset_id": "ds_001",
  "last_question": "最近 6 个月销售趋势如何？",
  "last_analysis_id": "ana_001",
  "chart_ids": ["chart_001"],
  "available_columns": ["date", "region", "sales", "category"]
}

这样用户问“刚才那张图里华东为什么下降？”时，系统知道“刚才那张图”指哪个 analysis。

14 天学习路径

Day1：数据分析产品认知

• 目标：理解 AI 数据分析不是“让模型直接猜”，而是“模型规划 + 程序计算 + 可解释输出”。
• 任务：找 3 个业务场景：销售、招聘、学习进度、运营数据。
• 验收：写出每个场景的输入、输出、关键指标。
• 面试沉淀：准备一句话解释“为什么企业需要 AI 数据分析产品”。

Day2：CSV / Excel 读取

• 任务：用 pandas 读取 CSV / Excel，输出字段名、行数、缺失率、数据类型。
• 验收：生成 data_profile.json。
• 练习数据：销售订单、招聘岗位样本、学习主题完成记录任选一种。

Day3：数据清洗

• 任务：处理空值、重复、异常值、日期格式。
• 验收：清洗前后行数、缺失率有记录。
• 注意：不要偷偷删除异常值，必须记录处理策略。

Day4：基础统计

• 任务：生成描述统计、TopN、分组聚合、时间趋势。
• 验收：输出 analysis_result.json，禁止让 LLM 直接计算关键数字。
• 加分：输出“计算口径说明”，例如 GMV 是否含退款。

Day5：图表类型选择

• 任务：规则化选择图表：趋势用折线，分类对比用柱状，构成用饼/堆叠，相关性用散点。
• 验收：给 5 个问题匹配图表类型并说明理由。
• 常见错误：类别过多时不要用饼图；时间趋势不要硬凑成散点图。

Day6：ECharts 配置生成

• 任务：把分析结果转成 ECharts option。
• 验收：至少生成柱状图、折线图、饼图各 1 个。
• 验收细节：图表 title、legend、tooltip、axis label 都要完整。

Day7：LLM 结构化分析计划

• 任务：让模型输出固定 JSON：question -> required_columns -> operations -> chart_type -> explanation。
• 验收：JSON 可解析，字段不存在时能拒绝或追问。
• 测试用例：用户问“利润趋势”，但数据里只有销售额没有成本，系统应该追问或拒答。

Day8：报告生成

• 任务：把图表和文字结论组合成 HTML 报告。
• 验收：报告包含：摘要、关键指标、图表、风险提示、下一步建议。
• 加分：给报告加“数据质量评分”。

Day9：FastAPI 服务化

• 任务：实现 /upload、/profile、/analyze、/report/{id}。
• 验收：上传数据后能返回报告链接或 HTML。
• 接口契约：所有响应都用 Pydantic model 定义。

Day10：工具化

• 任务：把 profile_data、run_aggregation、build_chart 封装成 Agent tools。
• 验收：Agent 不能直接编数字，必须调用工具拿结果。
• 工具安全：工具参数只允许白名单字段名。

Day11：追问与上下文

• 任务：支持用户基于同一数据集追问，保存 dataset_id 与分析上下文。
• 验收：能回答“刚才那张图里下降最多的是谁？”。
• 加分：追问时能复用已有计算结果，避免重复计算。

Day12：安全与边界

• 任务：限制文件大小、字段脱敏、禁止执行用户传入代码。
• 验收：写 data-analysis-security.md。
• 重点：不要把完整敏感数据直接发给模型。

Day13：项目包装

• 任务：整理 README、截图、架构图、演示数据。
• 验收：别人按 README 能跑起来。
• 面试材料：准备 1 张架构图、3 张截图、1 份示例报告。

Day14：面试讲述

• 任务：准备 8 分钟项目讲述：业务场景、架构、难点、指标、失败案例。
• 验收：至少能回答：为什么不让 LLM 直接算数？图表怎么保证准确？数据隐私怎么处理？
• 复盘：录音一次，删掉空话，保留指标和取舍。

4 周项目里程碑

Week 1：数据画像 MVP

• 完成上传、读取、字段识别、缺失统计。
• 页面能展示数据画像。
• 产物：data-profile-demo。

Week 2：自动分析与图表

• 支持 3 类问题：趋势、分类对比、TopN。
• 自动生成 ECharts option。
• 产物：3 个可视化样例。

Week 3：LLM 报告与追问

• LLM 输出结构化分析计划。
• 生成 HTML 报告。
• 支持至少一轮追问。
• 产物：report.html + 追问截图。

Week 4：工程化与面试包装

• 加入 FastAPI、日志、异常处理、文件大小限制。
• 写 README、架构图、STAR 项目稿。
• 产物：可面试展示项目。

可直接写进简历的表达

设计并实现 AI 数据分析系统，支持 CSV/Excel 上传、自动数据画像、LLM 结构化分析计划、pandas 计算执行、ECharts 图表生成与 HTML 报告输出；通过“模型规划 + 程序计算”的架构避免模型编造关键指标，并支持基于 dataset_id 的多轮追问。

如果有指标，可以补成：

• 报告生成时间：从 X 分钟人工分析缩短到 Y 秒。
• 支持字段数量：单文件 N 行、M 列。
• 图表类型：支持趋势、TopN、分类对比、构成分析。
• 质量：关键数字 100% 来自程序计算结果。

常见失败案例

1. 字段名歧义：amount 不知道是销售额还是订单数。
   • 修复：字段语义确认与用户追问。
2. 模型编造图表数据：LLM 直接生成 series。
   • 修复：只允许工具生成图表数据。
3. 脏数据导致图表错误：日期格式混乱。
   • 修复：数据画像阶段提前标红。
4. 追问丢上下文：用户说“刚才那个图”。
   • 修复：保存 analysis_id 与 chart_id。
5. 隐私泄漏：把完整原始数据发给模型。
   • 修复：只发送 schema、聚合结果、脱敏样本。

面试 8 分钟讲述结构

1. 业务背景：为什么企业需要自动数据分析。
2. 核心挑战：准确性、可解释、隐私、图表可用性。
3. 架构设计：LLM 规划，程序计算，图表渲染，报告生成。
4. 技术实现：FastAPI、pandas、Pydantic、ECharts、LangGraph。
5. 稳定性：schema 校验、工具白名单、异常处理、日志。
6. 结果指标：生成效率、图表数量、支持数据规模。
7. 复盘：未来接数据库、权限、多租户、定时报表。

推荐技术栈

• 数据处理：pandas / polars
• 图表：ECharts / Recharts
• 服务化：FastAPI + Pydantic
• 报告：HTML / Markdown / PDF（后续）
• Agent 编排：LangGraph
• 存储：PostgreSQL + 对象存储（后续）

项目验收标准

• 支持 CSV / Excel 输入
• 自动生成数据画像
• 至少 3 种图表
• 报告里所有数字来自程序计算，不来自模型猜测
• 支持一次用户追问
• 有架构图、README、面试稿
• 能讲清楚数据隐私与安全边界
• 能演示一次“字段不存在时拒答/追问”

面试高频问题

1. 为什么数据分析系统里不能让 LLM 直接算关键指标？
2. 如何让模型选择图表但不编造数据？
3. 用户上传敏感数据怎么办？
4. 如何支持多轮追问？
5. ECharts 配置错误如何自动修复？
6. 如果用户问的数据字段不存在怎么办？
7. 这个系统和普通 BI 工具有什么区别？
8. 如何从文件上传扩展到数据库直连？

最新资料（2026-05 校验）

• pandas 文档
• Polars 文档
• Apache ECharts 文档
• OpenAI Structured Outputs / Cookbook
• LangGraph 文档
• FastAPI 文档
• Pydantic 文档