目标
在 6GB 笔记本显卡上验证：领域微调能否让 4B 模型在几何代数上形成可复查的泛化，而不只是记住训练题。
数据
- 知识源：Alan Macdonald《线性与几何代数》《向量与几何微积分》。
- 规模：2359 条，覆盖教材 70 节。
- 生成：自研 GA 引擎、Wolfram、sympy，分别负责符号、微积分与线性代数题。
- 验证：五重独立校验（GA 引擎自检、Dot-Cross、CliffordAlgebra、Pauli 矩阵、sympy 对照），答案零错误。
训练
| 项 | 配置 |
|---|---|
| 基座 | Qwen3-4B-Base |
| 方法 | Unsloth QLoRA 4bit，r=16 |
| 超参 | batch 1 × grad_accum 8，lr 2e-4，3 epoch |
| 峰值显存 | 3.42 GB / 6 GB |
评估修正
首轮评估把张量迁移算成 28.7%。原因是归一化正则 re.sub(r"\\[ ,!;:]", "", s) 会吞掉矩阵换行符 \\，把正确矩阵判成错误。
改为负向环视后：
re.sub(r"(?<!\\)\\[ ,!;:]", "", s)迁移恢复到 50.0%。这条修正也解释了为什么“迁移低于泛化”的第一版结论不成立。
结果
| 维度 | 准确率 | 95% CI |
|---|---|---|
| 记忆 | 47.3% | 39.1–55.6% |
| 泛化 | 33.6% | 26.0–41.8% |
| 迁移 | 50.0% | 38.6–61.4% |
完整图表与假设检验见几何代数微调实验。
留待下一版
- 长符号乘积的换位变号仍会出错。
- 投影分解记忆 100%、泛化 8%，模板需要多样化。
- 分类样本只有 10–52 题，部分置信区间偏宽。