1
Amy 原创整理｜资料核验：2026-10-30
做文本特征时，词表里缺了一个符号，不一定是训练数据没读进去。
官方资料：TfidfVectorizer在默认word分析方式下，用token_pattern划分词元；默认模式选取至少两个字母数字字符的词元，并将标点视为分隔符。因此，单个字母与带标点的名称可能不会按直觉进入词表。
Amy教学示例：文本为“R Python”时，不应想当然认为词表里同时有r和python。可以先用vectorizer.build_analyzer()检查这段输入如何被切分，再决定是否需要调整词元规则。这是教学输入，不是某个产品的实际检索结果。
建议在正式训练前列出几条包含缩写、型号和标点的代表性文本，检查切分结果。改变规则后重新核对词表；不要为了补回一个词而忽略对其余语料的影响。