0

0

Sublime怎么查找并删除重复行 Sublime数据处理高效方案【实用】

穿越時空

穿越時空

发布时间:2026-01-24 14:55:16

|

278人浏览过

|

来源于php中文网

原创

Sublime Text无原生删除重复行功能,推荐先用Sort Lines插件排序使重复行相邻,再用正则^(.*)$\n^\1$替换为\1逐轮清除;大文件或需条件去重时可用Python控制台脚本处理。

sublime怎么查找并删除重复行 sublime数据处理高效方案【实用】

Sublime Text 里没有原生“删除重复行”功能

Sublime Text 本身不提供类似 Remove Duplicates 的内置命令,直接按 Ctrl+H(查找替换)也无法靠正则一次性安全去重——因为重复行可能跨段、无序、或仅部分字段重复。强行用正则匹配整行去重,容易误删、漏删,尤其当行末有空格、制表符或 BOM 时更不可靠。

推荐方案:用 Sort Lines 插件 + 手动去重(最稳)

这是 Sublime 用户最常用、最可控的方式。核心逻辑是先排序让重复行相邻,再用正则批量删相邻重复项:

  • 安装 Package Control 后,按 Ctrl+Shift+P → 输入 Install Package → 搜索并安装 Sort Lines
  • 选中要处理的文本(或全选 Ctrl+A),按 Ctrl+Shift+P → 输入 Sort Lines → 选 Sort Lines (case sensitive)
  • 再按 Ctrl+H 打开替换面板,勾选 Regular Expression.* 图标),输入:
    ^(.*)$\n^\1$
    ,替换为:
    \1
  • 反复点 Replace All 直到提示“0 occurrences found”——这说明所有相邻重复已清完

⚠️ 注意:^\1$ 只能匹配紧邻的下一行完全相同。如果原始数据含空行或缩进差异,需先统一格式(如用 Convert Indent to Spaces 或正则 ^\s+ 替换为空)。

替代方案:用 Python 控制台快速跑脚本(适合大文件或需条件去重)

对 10 万行以上数据,或需要“保留第一次出现的重复行”“按某列去重”,用 Sublime 内置 Python 控制台更灵活:

聚好用AI
聚好用AI

可免费AI绘图、AI音乐、AI视频创作,聚集全球顶级AI,一站式创意平台

下载
  • Ctrl+` 打开控制台,粘贴以下代码(以当前视图全文为输入):
    view = sublime.active_window().active_view()
    text = view.substr(sublime.Region(0, view.size()))
    lines = text.splitlines()
    seen = set()
    unique_lines = []
    for line in lines:
        if line not in seen:
            seen.add(line)
            unique_lines.append(line)
    view.replace(edit, sublime.Region(0, view.size()), '\n'.join(unique_lines))
  • 注意:这段代码会**覆盖全文**,操作前务必 Ctrl+Z 可撤回;若需保留空行,把 splitlines() 改成 text.split('\n') 并处理末尾换行
  • 如果要去重但保留顺序,且允许空字符串参与判断,上面代码已满足;若想忽略首尾空白再比较,把 if line not in seen 改成 if line.strip() not in seen,同时 seen.add(line.strip())

别踩坑:这些“看似能用”的方法实际很危险

网上有些教程教用正则 ^(.*?)$\s*^(\1)$^(.*)(\r?\n\1)+$ 直接匹配所有重复——它们在 Sublime 的 regex 引擎(Boost)下行为不稳定,尤其遇到 Windows / macOS 换行混杂、BOM、或行内有 $^ 特殊字符时,极易崩溃或删错。

另一个常见误区是依赖 Filter Lines 插件:它本质是 grep,只能“保留含某关键词的行”,不能“去重”。装了也解决不了问题。

真正省事又可靠的做法,还是老老实实先 Sort Lines,再正则逐轮消重——多点两下,换来的是结果可预期、可复现。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

847

2023.08.22

sort排序函数用法
sort排序函数用法

sort排序函数的用法:1、对列表进行排序,默认情况下,sort函数按升序排序,因此最终输出的结果是按从小到大的顺序排列的;2、对元组进行排序,默认情况下,sort函数按元素的大小进行排序,因此最终输出的结果是按从小到大的顺序排列的;3、对字典进行排序,由于字典是无序的,因此排序后的结果仍然是原来的字典,使用一个lambda表达式作为key参数的值,用于指定排序的依据。

409

2023.09.04

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

761

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

221

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1570

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

651

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

1228

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

1205

2024.04.29

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

49

2026.03.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 5万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号