---
title: "整理脏数据，不要吝啬模型算力和 Token"
author: "冯智勇Geo"
published: "2026-11-10T03:03:00.000Z"
description: "杂乱文档的整理需要先理解内容、发现规则和建立结构。先给足模型能力、上下文、工具和权限，再衡量总耗时与返工成本，规则稳定后再降低成本。"
tags: ["AI","AI Agent","知识管理"]
url: "https://fengzhiyonggeo.com/posts/dirty-data-model-compute/"
---

# 整理脏数据，不要吝啬模型算力和 Token

## 先说结论

处理一堆脏数据时，我现在更愿意先把模型能力、上下文和执行条件给足，而不是自己坐下来设计分类。尤其是大量杂乱文档的整理，真正困难的地方不是改几个标题、挪几个位置，而是要先理解所有内容，再判断它们应该怎样组织、哪些信息互相关联。

过去总觉得整理数据是简单劳动，用便宜模型就可以。实际效果不好，又以为问题在于自己没有先把结构设计清楚。现在重新想，这个判断可能一开始就错了：不是所有整理工作都适合用低成本模型做。**数据越脏、越缺少明确规则，越可能需要更强的推理能力。**

![整理脏数据，不要吝啬模型算力和 Token｜个人IP官网横版封面](https://fengzhiyonggeo.com/images/dirty-data-model-compute-cover.webp)

## 我曾经把整理文档当成简单任务

最近整理自己的 ChatGPT Space 资料库时，面对一大堆杂乱文档，常常不知道从哪里下手。文档多了，不只是内容需要修改，还涉及分类、归属、关联关系，以及不同资料应该如何一起维护。

我之前的想法很简单：让 AI 去做这些整理工作，应该不难，所以没有必要在模型和 Token 上花太多成本。结果整理出来的效果不理想。后来甚至开始反思，是不是应该先由自己确定整个目录架构，让 AI 按照人的分类去执行。

这个思路看起来很稳妥，却忽略了另一个可能性：**如果交给 AI 的本来就是一件复杂的理解任务，我却一直用低配置的方式去做，那么问题未必出在分类方法上。**

## 脏数据最难的部分，恰恰是还没有规则

一份结构化、格式统一的数据，字段是什么意思、怎样归类、需要转换成什么样，往往都很明确。这样的工作交给脚本或者便宜模型就能处理，甚至不一定需要大模型。

但杂乱文档不是这样。它们可能来自不同时间、不同项目，表达方式不一致；有的内容是在记录过去的决定，有的是目前正在执行的规则，还有的只是一个没有展开的想法。AI 需要先判断每份材料是什么，再综合其他材料理解它的用途。

也就是说，干净数据通常是在执行规则；脏数据可能需要先发现规则、建立结构，再执行规则。后者看上去像整理杂物，实际上包含不少理解和推理。

以前恰恰在这种不确定性最高的地方节省模型能力，整理不好以后，又用自己的时间去弥补。

## 分类架构也可以交给 AI

这次更重要的想法变化，是不再默认由人来设计分类架构。既然准备把资料库交给 AI 维护，那么目录应该怎么分、文档放在哪里、哪些内容应该关联，本来就可以是 AI 的工作。

人的输入可以很简单：这是一套什么资料，要整理到什么程度，哪些历史内容必须保留，最后希望怎样查找和使用。至于逐份阅读、提出分类、调整目录、建立链接、检查遗漏和冲突，都让 AI 去做。

我不需要一开始就看完所有文章，也不需要先替 AI 画好一张思维导图。等它整理出结果，再按需要检查结构和效果。结构仍然重要，只是**设计和维护结构这件事，不必天然归人负责。**

## 别把省 Token 变成多花自己的时间

如果一个便宜模型需要反复提示、返工，最后还要人工检查大量内容，它的调用费用虽然低，整个任务未必便宜。

反过来，强模型在混乱资料的理解、归类和关系判断上，如果能够减少返工和人工介入，那么更高的 Token 成本反而可能是划算的。这里衡量的不是单次调用价格，而是从接收资料到整理完成，究竟花了多少资源和人的精力。

这也意味着模型选择应该跟着任务变化。结构稳定、规则明确以后，再把批量修改、格式转换等重复工作交给低成本模型或脚本；在最混乱、最需要判断的初始阶段，不必急着省。

## 模型够强，还得真正读得到、改得动

当然，模型能力不是全部。即使用了最强的模型，如果只能看到一小部分文档、读不到关联资料，或者没有权限修改目录和链接，整理效果依然会受限制。

所以，我说的“把能力开到最大”，不只是切换模型，还包括让 AI 拿到完成任务所需的上下文、工具和权限。大量文档可以分批读、统一盘点，而不是受单次上下文容量限制，就误以为已经看全。

权限也不是毫无边界地允许破坏。像批量删除、覆盖原文这类可能造成损失的操作，应当有版本记录和可恢复的方式。让 AI 真正能干活，与保留必要的回滚能力并不矛盾。

## 别急着认定 AI 做不好

这次整理资料，让我修正的不是某一套目录结构，而是评估 AI 能力的方法。

当 AI 的工作结果不理想时，过去容易马上认为：这件事还是要由人来设计、判断、处理。现在更值得先检查的是：模型是不是太弱？上下文是不是不完整？工具和权限是不是限制了它？是不是为了省 Token，反而把问题弄得更复杂？

把资源开足不保证每次都能成功，但至少可以避免一个常见误判：**拿低配置下的表现，去判断 AI 原本能做到什么程度。**

尤其面对一堆脏乱、没有现成结构的资料，我更愿意先让足够强的 AI 把事情做明白。等数据整理好了，再谈怎样降低成本。