1
Amy 原创整理|资料核验:2026-10-31
【官方文档事实】drop_duplicates可用subset指定判断重复的列;默认保留第一次出现的行,keep='last'保留最后出现的行,keep=False则把重复组里的行全部移除。索引,包括时间索引,不参与这项重复判断。
【教学示例】三行订单编号依次为A、A、B,对应数值10、20、30。按订单编号去重且keep='last',留下A的20和B的30。若A的两行当前次序与更新时间顺序相反,保留结果也不会自动替你纠正。
【Amy建议】先定义“重复”的业务键,再明确是否需要按时间排序后取最后一条;相同时间有冲突时也要定义选择规则。若时间只在索引里且应参与去重,先把它转成明确的列。先留存原数据,再做清洗结果比对。
官方来源:
https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.drop_duplicates.html