txt去重筛选工具是一款面向 Windows 平台的纯文本(.txt)批量去重与查重工具。无论是整理txt素材、清洗日志、合并名单,还是统计某行内容重复出现的次数,都能通过勾选几个选项、点一次按钮完成,结果自动按你设定的方式分门别类导出。
点击查看:视频版操作教程

核心功能:五大筛选模式
在「② 功能选项」中按需勾选,可多选同时处理:
1、只提取唯一重复行 — 找出所有出现过 ≥2 次的内容,重复行只保留一条。
2、提取全部重复行 — 把所有重复出现的内容(含每次出现)原样取出。
3、去重后的数据 — 重复行只留一条,得到“干净不重复”的数据集。
4、彻底去重后的数据 — 把所有重复行彻底删除,一条不留,只保留完全唯一的内容。
5、重复行数量统计 — 输出「行内容 —— 出现次数」格式,快速掌握重复分布。
辅助选项:默认删除全部空白行(默认开启),筛选前自动清理空行,避免空行干扰结果。
看效果截图:




两种导出方式
按源文件分组(默认):保留原有目录结构,每个源文件建同名文件夹,文件命名「源名_序号 选项名.txt」(如 素材A_1 只提取唯一重复行.txt)。适合需要与原文件一一对应、保留层级的情况。
按②选项分类:按勾选的选项分别建文件夹,文件夹名带序号(如 1 只提取唯一重复行),结果归置清晰。仅勾选单个选项时,软件会自动切换到此模式。
保存位置为必填项:支持把文件夹直接拖入保存框,或点击「选择」指定路径;未设置无法开始。
版本与系统要求
提供两种发行版:
安装版(.exe 安装包):一键安装到电脑,自动创建桌面快捷方式,可自定义安装目录。
免安装版(便携版):解压即用,不写入系统,适合 U 盘携带或在无权限环境使用。
运行环境:Windows 10 / 11(64 位);无需联网,本地处理,数据不出本机。
自动识别编码(UTF-8 / GBK / UTF-16 / Big5 等),导入无需手动转码,输出统一为标准 UTF-8。
关于安全提示
部分杀毒软件(如 Windows Defender、360 等)可能对其弹出”未知发布者 / 疑似风险”的拦截提示,这属于正常现象,文件本身不含任何恶意代码。如遇拦截,请将软件目录加入杀软白名单,或选择”仍要运行 / 允许”即可正常使用。
2026年8月12日:1.2.7 版
修复闪退、修复提前结束
新增多线程处理(双线程)
新增计时设置
新增“主动停止”按钮



