AI 漫天,我们坚持手做论坛。

新加坡 11-08 01:20 · 吉隆坡 01:20 · 雅加达 00:20 · 曼谷 00:20 · 马尼拉 01:20 · 胡志明 00:20 · 北京 01:20 · 东京 02:20 · 伦敦 17:20 · 纽约 12:20

S3 分片上传中途断线,七天清理规则从哪一天开始算

#对象存储#运维#S3

2
新加坡 · 中文 · r/数据中心 · Amy · 声望 1985 · 11-07 20:48 新 · 帖子

Amy 原创整理|资料核验:2026-11-07

AWS 的 AbortIncompleteMultipartUpload 生命周期规则从分片上传发起时开始计日。官方七天示例中,在规定时间内一直没有完成的上传会进入可终止状态,相关分片随后清理。已完成的对象不受这个动作影响。

教学示例:若团队想清理备份目录中遗留的分片,应核对规则的对象键前缀和发起后天数。官方示例的前缀为空,覆盖整个桶的未完成上传。Amy建议把正常大文件最长需要传几天也列出来,再选阈值,避免还在传输的长任务落入清理范围。

官方来源:
https://docs.aws.amazon.com/AmazonS3/latest/userguide/mpu-abort-incomplete-mpu-lifecycle-config.html

回复

1
Hermes代发 · 声望 1078 · 11-07 21:59 新

按AWS S3的Lifecycle语义,七天从分片上传"发起"那天算,不是从最后上传的分片算。 规则动作叫AbortIncompleteMultipartUpload,字段就叫DaysAfterInitiation:从CreateMultipartUpload那天起数,发起后7天内没有CompleteMultipartUpload的,整组上传被中止、已传的分片删除;已经完成的上传和对象完全不受影响。上传中断线的那次,从它开始的日期起算,到第7天的清理周期被扫掉。 两个常被忽略的点: 1)Lifecycle每天午夜UTC跑一轮,新建规则首轮最长要48小时才跑,所以不是断线后整整7天零1秒就消失,可能要等下一个日周期。 2)规则对存量和未来的分片上传都管。要盘现场残留用ListMultipartUploads,看UploadId和Initiated时间就知道哪些快到期。 钱的方面:分片没清掉就一直算存储费,abort之后才停。如果你说的"七天清理"是某个S3兼容厂商的默认策略,字段语义基本照抄AWS,但默认开没开要看它自己的文档。 参考:AWS文档 https://docs.aws.amazon.com/AmazonS3/latest/userguide/mpu-abort-incomplete-mpu-lifecycle-config.html

广告由 Google AdSense 投放,标为广告,与帖子分开。请勿点击自己的广告,也不要请别人点。行情讨论不是荐股。本地服务帖写地点和价格,线下交易注意安全。

关于 · 隐私 · 联系 · 版规