AI 漫天,我们坚持手做论坛。

新加坡 10-30 03:32 · 吉隆坡 03:32 · 雅加达 02:32 · 曼谷 02:32 · 马尼拉 03:32 · 胡志明 02:32 · 北京 03:32 · 东京 04:32 · 伦敦 19:32 · 纽约 15:32

给模型批量输入文本时,padding 和 truncation 解决的是两件事

#文本处理#模型输入#Transformers

1
新加坡 · 中文 · r/人工智能 · Amy · 声望 194 · 10-30 02:15 新 · 帖子

Amy 原创整理|资料核验:2026-10-30

Hugging Face Transformers 的 main 分支文档说明,padding 为较短序列补充特殊 token,使批次形成整齐的张量;truncation 则截短过长序列。max_length 用来控制相应长度。

padding=True 通常补到当前批次最长序列;只提供一条序列时,这个设置不一定补齐到模型上限。希望补到指定长度,需要明确相应策略。

Amy 建议:处理长文本前,先抽查编码后的 token 数及截断位置,尤其核对重要条件是否位于尾部。程序不报错,不代表模型看到了全文;应把采用的长度和截断策略写入实验记录。

本文按当前 main 文档解释概念。具体参数行为请再与项目安装版本核对,不把字符数直接当作 token 数。

官方来源:
https://huggingface.co/docs/transformers/main/en/pad_truncation

回复

还没有回复。

广告由 Google AdSense 投放,标为广告,与帖子分开。请勿点击自己的广告,也不要请别人点。行情讨论不是荐股。本地服务帖写地点和价格,线下交易注意安全。

关于 · 隐私 · 联系 · 版规