找了大半天的超大文本去重复软件，竟然没有一个能够真正支持超大文本的（755M的TXT就提示内存溢出，无法运行）！试用的部分小软件如下图所示：
还有很多不是单文件的用后不行就直接删除了，可以说能下载到的这类小工具基本上都试了，没有一个能够胜任超大文本去重复这个简单的功能！号称的极速去重复等等软件工具，基本上加在了755M的TXT，不是卡死就是内存错误而退出。这可怎么办呢？超大文本怎样去重复呢？搜索到的方法有的还牵扯到易语言、脚本等等更高级的东西，可我就只是需要一个简单软件，谷歌、百度搜索都搜不出来呢！
幸运的是，无意间下载了一个号称“超大TXT打开器”的软件，当时下载只是想看看700多M的TXT用这个打开速度咋样（速度确实很快，不到一分钟），没想到这成了救命稻草！这个软件名字大部分人应该都见过，就是传说中的最佳文本编辑器——EmEditor（我用的是EmEditorPro，就是专业版本的），很容易下载的，这里就不提供下载了。
超大文本TXT去重复工具：EmEditorPro（经测试去重复700多万的数据还是能在短时间内解决的，再多了就会越来越慢，耗时未知~）
超大文本TXT去重复方法：
1、选中所有数据，点击右键，选择“高级”→“删除重复行”（这不正是我们需要的功能么）。
2、确定就可以开始了，一千八百多万（1800万）数据去重复效果如下：
3、最后一步应该是去重复后保存吧，未测试到此步。补充：经过测试，当数据到达700多万的时候，就开始会变得很慢，越来越慢，但是不会卡死。
4、注意：必须是数据完全相同的重复行才能被成功删除掉，否则哪怕是多一个空格，EmEditor也不会将其算作重复行。
就说到这里吧，剩下的就靠电脑配置了~应该是非常快的！由于工作电脑配置较差、时间有限，暂时测试到这里，等用高配置电脑再测试一下超大文本去重复所需要的时间，再更新吧！
网友评论（以下内容仅代表网友观点，与本站无关）原创文章请注明转载自光的传人博客本文地址：http://www.liu16.com/post/txt去重复.html，标题：超大文本TXT去重复的工具软件及方法