txt去重筛选工具是一款面向 Windows 平台的纯文本(.txt)批量去重与查重工具。无论是整理txt素材、清洗日志、合并名单,还是统计某行内容重复出现的次数,都能通过勾选几个选项、点一次按钮完成,结果自动按你设定的方式分门别类导出。
核心功能:五大筛选模式
在「② 功能选项」中按需勾选,可多选同时处理:
1、只提取唯一重复行 — 找出所有出现过 ≥2 次的内容,重复行只保留一条。
2、提取全部重复行 — 把所有重复出现的内容(含每次出现)原样取出。
3、去重后的数据 — 重复行只留一条,得到“干净不重复”的数据集。
4、彻底去重后的数据 — 把所有重复行彻底删除,一条不留,只保留完全唯一的内容。
5、重复行数量统计 — 输出「行内容 —— 出现次数」格式,快速掌握重复分布。
辅助选项:默认删除全部空白行(默认开启),筛选前自动清理空行,避免空行干扰结果。
导入与批量处理
支持拖拽txt 文档或整个文件夹到窗口,也支持点选导入。
可一次性导入多个文档 / 多个文件夹。
开启「遍历子文件夹」后,自动深入子目录批量收集全部 txt。
窗口实时显示「已导入 X 个文档」,一键清空重新选择。
两种导出方式(③ 导出设置)
按源文件分组(默认):保留原有目录结构,每个源文件建同名文件夹,文件命名「源名_序号 选项名.txt」(如 3_1 只提取唯一重复行.txt)。适合需要与原文件一一对应、保留层级的情况。
按②选项分类:按勾选的选项分别建文件夹,文件夹名带序号(如 1 只提取唯一重复行),结果归置清晰。仅勾选单个选项时,软件会自动切换到此模式。
保存位置为必填项:支持把文件夹直接拖入保存框,或点击「选择」指定路径;未设置无法开始。
使用步骤
1、把 txt 文档 / 文件夹拖入「① 导入设置」(或点「导入」)。
2、在「② 功能选项」勾选需要的去重 / 统计模式。
3、在「③ 导出设置」指定保存位置,选择导出方式。
4、点「④ 开始筛选」,完成后点「打开结果文件夹」查看导出结果。
版本与系统要求
提供两种发行版:
安装版(.exe 安装包):一键安装到电脑,自动创建桌面快捷方式,可自定义安装目录。
免安装版(便携版):解压即用,不写入系统,适合 U 盘携带或在无权限环境使用。
运行环境:Windows 10 / 11(64 位);无需联网,本地处理,数据不出本机。
自动识别编码(UTF-8 / GBK / UTF-16 / Big5 等),导入无需手动转码,输出统一为标准 UTF-8。
关于安全提示
部分杀毒软件(如 Windows Defender、360 等)可能对其弹出”未知发布者 / 疑似风险”的拦截提示,这属于正常现象,文件本身不含任何恶意代码。如遇拦截,请将软件目录加入杀软白名单,或选择”仍要运行 / 允许”即可正常使用。


