txt怎么去重最高效

speedtest · 发表于 2023-10-14 08:25:20

提示: 作者被禁止或删除内容自动屏蔽

adminisd · 发表于 2023-10-14 08:38:38

时间换空间，空间换时间。什么软件来了照样慢，加内存就完事了。

cscool · 发表于 2023-10-14 09:12:29

一台不行就分布式呗，把txt切一下，分到几台机器用脚本跑

920 · 发表于 2023-10-14 09:27:57

内容去除？ GPT用代码因该好处理

大宝剑 · 发表于 2023-10-14 09:32:14

试试飞梭先切割一下飞梭除了去重也有切割工具

sRGB · 发表于 2023-10-14 09:33:57

我使用 C/C++ 写过一个工具，是把文件全读取，然后排序去除重复的。
你文件太大了，先切割成你内存的 2/3大小，然后单个文件一次性载入试试

joshua · 发表于 2023-10-14 09:42:12

我之前2t的数据，按照每行数据的首位分割成256个文件，去重非常快

CapitalTeemo · 发表于 2023-10-14 11:52:20

。几个T的txt

teardrops · 发表于 2023-10-14 11:53:29

以前试过python写的. 10亿的数据才几百G.. 你这信封牛

6056687 · 发表于 2023-10-14 14:51:37

租个大杜甫

		自动登录	找回密码
密码			注册

speedtest speedtest 当前离线积分 980	电梯直达 1^# 发表于 2023-10-14 08:25:20 来自手机 \| 只看该作者 \|倒序浏览 \|阅读模式提示: 作者被禁止或删除内容自动屏蔽
speedtest speedtest 当前离线积分 980	分享到: QQ好友和群 QQ空间收藏1
	回复举报

[疑问] txt怎么去重最高效