超大文本TXT去重复的工具软件及方法
找了大半天的超大文本去重复软件,竟然没有一个能够真正支持超大文本的(755M的TXT就提示内存溢出,无法运行)!试用的部分小软件如下图所示:
还有很多不是单文件的用后不行就直接删除了,可以说能下载到的这类小工具基本上都试了,没有一个能够胜任超大文本去重复这个简单的功能!号称的极速去重复等等软件工具,基本上加在了755M的TXT,不是卡死就是内存错误而退出。这可怎么办呢?超大文本怎样去重复呢?搜索到的方法有的还牵扯到易语言、脚本等等更高级的东西,可我就只是需要一个简单软件,谷歌、百度搜索都搜不出来呢!
幸运的是,无意间下载了一个号称“超大TXT打开器”的软件,当时下载只是想看看700多M的TXT用这个打开速度咋样(速度确实很快,不到一分钟),没想到这成了救命稻草!这个软件名字大部分人应该都见过,就是传说中的最佳文本编辑器——EmEditor(我用的是EmEditorPro,就是专业版本的),很容易下载的,这里就不提供下载了。
超大文本TXT去重复工具:EmEditorPro(经测试去重复700多万的数据还是能在短时间内解决的,再多了就会越来越慢,耗时未知~)
超大文本TXT去重复方法:
1、选中所有数据,点击右键,选择“高级”→“删除重复行”(这不正是我们需要的功能么)。
2、确定就可以开始了,一千八百多万(1800万)数据去重复效果如下:
3、最后一步应该是去重复后保存吧,未测试到此步。补充:经过测试,当数据到达700多万的时候,就开始会变得很慢,越来越慢,但是不会卡死。
4、注意:必须是数据完全相同的重复行才能被成功删除掉,否则哪怕是多一个空格,EmEditor也不会将其算作重复行。
就说到这里吧,剩下的就靠电脑配置了~应该是非常快的!由于工作电脑配置较差、时间有限,暂时测试到这里,等用高配置电脑再测试一下超大文本去重复所需要的时间,再更新吧!