当前位置:首页 > 日志 > 正文内容

超大文本TXT去重复的工具软件及方法

光的传人11年前 (2015-03-04)日志18204

找了大半天的超大文本去重复软件,竟然没有一个能够真正支持超大文本的(755M的TXT就提示内存溢出,无法运行)!试用的部分小软件如下图所示:

还有很多不是单文件的用后不行就直接删除了,可以说能下载到的这类小工具基本上都试了,没有一个能够胜任超大文本去重复这个简单的功能!号称的极速去重复等等软件工具,基本上加在了755M的TXT,不是卡死就是内存错误而退出。这可怎么办呢?超大文本怎样去重复呢?搜索到的方法有的还牵扯到易语言、脚本等等更高级的东西,可我就只是需要一个简单软件,谷歌、百度搜索都搜不出来呢!

幸运的是,无意间下载了一个号称“超大TXT打开器”的软件,当时下载只是想看看700多M的TXT用这个打开速度咋样(速度确实很快,不到一分钟),没想到这成了救命稻草!这个软件名字大部分人应该都见过,就是传说中的最佳文本编辑器——EmEditor(我用的是EmEditorPro,就是专业版本的),很容易下载的,这里就不提供下载了。

超大文本TXT去重复工具:EmEditorPro(经测试去重复700多万的数据还是能在短时间内解决的,再多了就会越来越慢,耗时未知~)

超大文本TXT去重复方法:

1、选中所有数据,点击右键,选择“高级”→“删除重复行”(这不正是我们需要的功能么)。

2、确定就可以开始了,一千八百多万(1800万)数据去重复效果如下:

3、最后一步应该是去重复后保存吧,未测试到此步。补充:经过测试,当数据到达700多万的时候,就开始会变得很慢,越来越慢,但是不会卡死。

4、注意:必须是数据完全相同的重复行才能被成功删除掉,否则哪怕是多一个空格,EmEditor也不会将其算作重复行。

就说到这里吧,剩下的就靠电脑配置了~应该是非常快的!由于工作电脑配置较差、时间有限,暂时测试到这里,等用高配置电脑再测试一下超大文本去重复所需要的时间,再更新吧!

扫描二维码推送至手机访问。

版权声明:本文由光的传人博客www.liu16.com发布,如需转载请注明出处。

本文链接:http://www.liu16.com/post/txt去重复.html

标签: 经验教程
分享给朋友:

相关文章

个人简介及成功案例

个人简介及成功案例

一、个人简历(一定要简练)2011年07月毕业于 景德镇陶瓷学院机械设计制造及其自动化 本科(统招)1、专业软件知识熟练掌握PS、Dreamweave;熟悉操作Flash、AutoCAD、3Dmax;略知UG、Pro-e、会声会影等视频编辑...

ShopEX后台登录超时(由于动态IP限制导致)的正确解决方法(测试成功)

ShopEX后台登录超时(由于动态IP限制导致)的正确解决方法(测试成功)

ShopEX后台登录超时,确实是因为动态ip限制导致的。因为我朋友那边一登录后台就提示:登录超时,请重新登录!而我电脑,一切正常。遇到这种问题,首先问度娘、谷歌。可是问来问去,无非就这同一个答案:***找到core文件夹下面的func_ex...

zencart网店安装必须注意的细节(攻防必备)

zencart网店安装必须注意的细节(攻防必备)

zencart网上开店需要注意的细节1. 删除以下几个目录和文件安装完成后,请从服务器上删除以下目录和文件:- /docs- /extras- /zc_install- /install.t...

Fckeditor漏洞最新整理 2

Fckeditor漏洞最新整理 2

1、查看编辑器版本/fckeditor/editor/dialog/fck_about.html2、爆绝对路径FCKeditor/editor/dialog/fck_spellerpages/spellerpages/server-scri...

360N6pro手机安卓8.1最新内测包012泄露版本

360N6pro手机安卓8.1最新内测包012泄露版本

自从入手360N6pro手机以来,处处是坑。当初冲着其性价比买的(颜值?作为理工男是从来不看颜值买手机的),心想着就算系统不好用,还可以刷其他的系统,比如MIUI等。可是入手后才发现,root都要拆机才能操作……算了,懒得折腾了。将就着用吧...

备案被注销怎么办?重新备案最省时间的方法

备案被注销怎么办?重新备案最省时间的方法

博客停止更新有一个月零13天了,昨天终于通过了备案。其实真正备案用的时间只是8天,大部分时间是浪费了的。所以博客重新启用,特写此文章,来跟大家讲讲阿光备案被注销的遭遇。备案被注销怎么办?本文将详细介绍重新备案最省时间的方法,以及备案期间不影...

评论列表

白洋淀
8年前 (2017-03-13)

原来pro版的EmEditor还有 这么个好用的功能,真是谢谢楼主了。感谢分享!

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。