Softonic

重复行删除器

步 1 / 2
选项
下一个

一份带有重复行的 CSV 导出、一个含有重复条目的日志文件、一份由三个重叠来源整理的关键词列表：只要文本中出现相同的行，这个删除器就会将它们合并，并在原位保留首次出现的那一行。两种匹配选项，区分或不区分大小写，可选空白修剪，以及被删除行数的统计。

如何删除重复行

  1. 1

    粘贴文本

    粘贴列表、日志、CSV 列或任何每项内容独占一行的文本。

  2. 2

    选择匹配选项

    "区分大小写"会将 `Apple` 和 `apple` 保留为不同的行；关闭后它们会合并。"修剪空白"会在比较前去掉行首和行尾的空格。

  3. 3

    删除重复行

    点击按钮。每行首次出现的内容会被保留，之后的重复项会被删除。

  4. 4

    检查并复制

    统计会显示原始行数、唯一行数和删除的重复数。结果正确后复制清理过的文本。

匹配原理

选项 行为
区分大小写（默认） Apple 和 apple 保留为不同的行
不区分大小写 Apple 和 apple 计为同一行
修剪空白（默认） “ hello” 和 “hello ” 视为同一行

每行首次出现的内容都会被保留，因此文本的原始顺序不会改变。

常见用途

  • 清理 CSV。 粘贴单列（姓名、邮箱、SKU），在重新拼回其他列之前删除重复项。
  • URL 列表。 合并抓取的 URL 列表，其中同一页面会出现多次。
  • 关键词研究。 合并多个工具的关键词导出几乎必然产生重复项。
  • 邮件列表。 导入 CRM 之前删除完全相同的重复项，避免“已存在“错误。
  • 日志排查。 去掉重复的警告行，只看独特的问题。

此工具不会做什么

  • 不做按列去重。 对于 email,name 这样邮箱重复但姓名不同的 CSV，两行都会被保留，因为整行内容不同。要按某一列去重，请先提取该列、删除其中的重复项，再用它作为键过滤原文件。
  • 不保护表头行。 每一行都被当作数据处理，重复的表头行也会像其他行一样被删除。
  • 不进行模糊匹配。 因错别字、行内空格或标点符号不同的行不会被合并。

小贴士

  • 匹配前先规范化。 转成小写并去掉周围标点，可把 “Apple, “、” apple “ 和 “Apple” 视为同一条目。
  • 保留原始文本备份。 进行大规模清理前务必留一份副本。
  • 检查统计。 如果你预计重复占 10%，却被删除了 80%，说明输入数据有问题。

常见问题

保留首次出现。文本的原始顺序会被保留，因此每个唯一行都停留在原来的位置。

不能自动保留。包括表头在内的每一行都会像其他行一样被比较。如果后面的行与表头相同，它会被删除。需要的话请把表头单独保存。

这个删除器为了速度专注于精确匹配。对于模糊匹配（错别字、大小写差异、多余标点），请使用带相似度阈值的专用去重工具。

会。文本会发送到我们的服务器进行处理，结果显示在页面上。文本之后不会被保存。

相关工具

字数统计器

统计单词、字符、句子和段落数，并提供阅读时间、朗读时间、关键词密度，以及面向论文、帖子、配文和元描述的 Flesch 易读性评分。

可复制的箭头符号

一键复制常用 Unicode 箭头：直线、双线、斜向、钩形、环形和三角样式，适合文档、聊天和设计。

小于或等于符号

复制 ≤ 符号及相关数学比较符号。包含适用于电子表格、论文和网页的 Unicode、HTML 实体及 LaTeX 标记。

Base64 文本编码器

把文本编码为 Base64，或把 Base64 解码回可读文本。支持 UTF-8、URL 安全变体以及含空白字符的输入。

精简 Emoji 参考表

浏览精选 emoji 集合，其中提供英文参考名称与 Unicode 码点序列。

字母重排生成器

输入一个短词，查看其字母的所有不重复重排结果，可去除重复排列并控制显示数量。

此工具还提供其他语言版本