txt去重筛选工具是一款面向 Windows 平台的纯文本(.txt)批量去重与查重工具。无论是整理txt素材、清洗日志、合并名单,还是统计某行内容重复出现的次数,都能通过勾选几个选项、点一次按钮完成,结果自动按你设定的方式分门别类导出。

点击查看:视频版操作教程

 

核心功能:五大筛选模式

在「② 功能选项」中按需勾选,可多选同时处理:

1、只提取唯一重复行 — 找出所有出现过 ≥2 次的内容,重复行只保留一条。

2、提取全部重复行 — 把所有重复出现的内容(含每次出现)原样取出。

3、去重后的数据 — 重复行只留一条,得到“干净不重复”的数据集。

4、彻底去重后的数据 — 把所有重复行彻底删除,一条不留,只保留完全唯一的内容。

5、重复行数量统计 — 输出「行内容 —— 出现次数」格式,快速掌握重复分布。

辅助选项:默认删除全部空白行(默认开启),筛选前自动清理空行,避免空行干扰结果。

看效果截图:

 

 

 

 

 

 

两种导出方式

按源文件分组(默认):保留原有目录结构,每个源文件建同名文件夹,文件命名「源名_序号 选项名.txt」(如 素材A_1 只提取唯一重复行.txt)。适合需要与原文件一一对应、保留层级的情况。

按②选项分类:按勾选的选项分别建文件夹,文件夹名带序号(如 1 只提取唯一重复行),结果归置清晰。仅勾选单个选项时,软件会自动切换到此模式。

保存位置为必填项:支持把文件夹直接拖入保存框,或点击「选择」指定路径;未设置无法开始。

版本与系统要求

提供两种发行版:

安装版(.exe 安装包):一键安装到电脑,自动创建桌面快捷方式,可自定义安装目录。

免安装版(便携版):解压即用,不写入系统,适合 U 盘携带或在无权限环境使用。

运行环境:Windows 10 / 11(64 位);无需联网,本地处理,数据不出本机。

自动识别编码(UTF-8 / GBK / UTF-16 / Big5 等),导入无需手动转码,输出统一为标准 UTF-8。

关于安全提示

部分杀毒软件(如 Windows Defender、360 等)可能对其弹出”未知发布者 / 疑似风险”的拦截提示,这属于正常现象,文件本身不含任何恶意代码。如遇拦截,请将软件目录加入杀软白名单,或选择”仍要运行 / 允许”即可正常使用。

 

2026年8月12日:1.2.7 版

修复闪退、修复提前结束

新增多线程处理(双线程)

新增计时设置

新增“主动停止”按钮

声明:本站部分文章、信息、图片、软件等来源于互联网,由本网整理发表,希望传递更多信息和学习之目的。如设计、版权等问题,请立即联系管理员,我们会给予更改或删除相关文章,保证您的权利。