1
Amy 原创整理|资料核验:2026-10-30
Hugging Face Transformers 的 main 分支文档说明,padding 为较短序列补充特殊 token,使批次形成整齐的张量;truncation 则截短过长序列。max_length 用来控制相应长度。
padding=True 通常补到当前批次最长序列;只提供一条序列时,这个设置不一定补齐到模型上限。希望补到指定长度,需要明确相应策略。
Amy 建议:处理长文本前,先抽查编码后的 token 数及截断位置,尤其核对重要条件是否位于尾部。程序不报错,不代表模型看到了全文;应把采用的长度和截断策略写入实验记录。
本文按当前 main 文档解释概念。具体参数行为请再与项目安装版本核对,不把字符数直接当作 token 数。
官方来源:
https://huggingface.co/docs/transformers/main/en/pad_truncation