中文分词算法，何时继续优化何时调整方向
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /765966624df1.html
📄
中文分词算法，何时继续优化何时调整方向
判断中文分词算法该继续优化还是调整方向，关键看当前问题出在“同一套切分逻辑的边界没调好”，还是“整套切分假设已经不适用”。如果错误集中在少量词、少量领域词或固定搭配上，继续优化更划算；如果换语料、换领域后错误模式整体变化，继续微调往往收效有限，应该考虑换分词思路或引入领域词典、统计模型。
先观察：错误是零散还是成片
拿一批真实文本跑一遍当前分词，按错误类型分类记录。常见类型包括：
- 专有名词被切开，例如把机构名、产品名拆成多个普通词。
- 普通词被错误合并，例如把两个独立词粘成一个不存在的词。
- 歧义切分，例如同一串字在不同上下文里应切法不同，但算法总是同一种切法。
- 未登录词识别失败，例如新词、缩写、网络用语被拆散。
如果错误集中在少数几类，且每类只涉及少量词，说明当前切分框架基本可用，属于继续优化范围。如果错误在所有类别中均匀出现，或者每换一个领域就出现一批新错误，说明问题不在参数，而在切分依据本身。
判断：继续优化还是调整方向
可以用一个简单对比来决策。假设你手头有两批语料：一批是训练时见过的领域，一批是没见过的领域。分别统计分词准确率的变化幅度。这里的具体数值只是假设示例，不是真实项目结果。
- 如果见过领域准确率 92%，没见过领域 88%，差距不大，优先继续优化：补充领域词典、调整歧义规则、增加后处理。
- 如果见过领域 92%，没见过领域 65%，差距明显，优先调整方向：考虑从基于词典的分词转向统计分词，或引入字标注模型，而不是继续往旧规则里加词。
另一个判断依据是优化成本。继续优化通常意味着加规则、加词典、加例外，规则之间可能互相冲突，维护成本会上升。调整方向则意味着重新选型或重新训练，前期投入大，但能解决系统性偏差。如果每修一个错误就引入两个新错误，说明已经进入继续优化的收益递减区。
处理：两条路各自怎么走
选择继续优化时，按以下顺序执行：
- 建立错误样本集，每条记录原文、当前切分、期望切分。
- 把高频错误词加入自定义词典，观察是否影响其他句子。
- 对歧义句补充上下文规则，例如前后词性、标点边界。
- 每次改动后重跑整个样本集，确认没有明显回退。
选择调整方向时，先明确新方案要解决的核心问题：是未登录词识别，还是领域歧义，还是多粒度切分需求。然后选一个能覆盖该问题的分词方式，用同一批样本集做对比测试。不要同时换算法又换评测集，否则无法判断是算法变好还是题目变简单。
复查：用固定样本集验证是否真的变好
无论继续优化还是调整方向，复查都要用同一套固定样本集。检查项包括：整体准确率、各错误类型的分布变化、新出现的错误类型、处理速度是否可接受。如果整体准确率提升但某一类错误明显恶化，需要判断这类错误是否影响你的实际用途。例如做搜索召回时，未登录词切错可能比普通词切错更严重。
复查周期建议按改动批次设置，而不是按固定时间。每完成一次词典更新或规则调整，就跑一次样本集；每换一次算法或模型，也跑同一套样本集。只有对比条件一致，判断才有依据。
下一步，先整理一份 50 到 100 条的真实文本样本，标注期望切分，然后统计当前错误类型分布。这个分布会直接告诉你该继续优化还是调整方向。
