php
error_reporting(0);
@ini_set('memory_limit','-1');
set_time_limit(0);
echo" 去除文本重复工具"."\r\n\r\n";
echo"\n"."输入要整理的文件:"."\n";
$dic=trim(fgets(STDIN));
/*while (!feof($dic)){
$file[]=stream_get_line($fp,65535,"\r\n");
}
*/
$file=file($dic);
$array=preg_replace('/($\s*$)|(^\s*^)/m','',$file); //消除空行
$new_array=array_values(array_unique($array));//消除重复行
$new_filename="new_". basename($dic);
if(file_put_contents("$new_filename",join("\r\n",$new_array))){
$num=count($file);
$new_num=count($new_array);
$counts=$num-$new_num;
$files=dirname(__FILE__).DIRECTORY_SEPARATOR.$new_filename;
echo
+----------------------------------------------+
| [+] 去除重复完毕! www.2cto.com |
| [+] 整理后的文件为:$files |
| [+] 原始字典数量:$num 行 |
| [+] 整理后为:$new_num 行 |
| [+] 共替换了$counts 行 |
+----------------------------------------------+
INFO;
}
else{
echo"------------------------------------------"."\r\n";
echo"[*] 错误!"."\r\n\r\n";
echo"[*] 找不到文件!请检查输入路径是否存在!"."\r\n";
echo"------------------------------------------"."\r\n";
exit();
}
?>
0
0
php简单去除大型文本重复_PHP教程
php中文网
发布时间：2016-07-13 17:48:21
|1105人浏览过
|来源于php中文网
原创
相关文章
PHP如何对整型数组进行排序 PHP整数数组升序降序【必看】
PHP 多维数组按 groupRange 分组并汇总数值字段
PHP读取软链接文件指向哪里_PHP解析符号链接目标方法【操作】
PHP 动态解析 JSON 中以 _grant_ 开头的键值并提取时间戳
PHP怎么获取文件后缀 PHP从路径字符串提取后缀【指南】
相关标签:
本站声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
热门AI工具
相关专题
Go语言测试体系与代码质量保障聚焦于构建工程级可靠性系统。本专题深入解析Go的测试工具链（如go test）、单元测试、集成测试及端到端测试实践，结合代码覆盖率分析、静态代码扫描（如go vet）和动态分析工具，建立全链路质量监控机制。通过自动化测试框架、持续集成（CI）流水线配置及代码审查规范，实现测试用例管理、缺陷追踪与质量门禁控制，确保代码健壮性与可维护性，为高可靠性工程系统提供质量保障。
48
2026.02.28
Go语言工程化架构设计专注于构建高可维护性、可演进的企业级系统。本专题深入探讨Go项目的目录结构设计、模块划分、依赖管理等核心架构原则，涵盖微服务架构、领域驱动设计(DDD)在Go中的实践应用。通过实战案例解析接口抽象、错误处理、配置管理、日志监控等关键工程化技术，帮助开发者掌握构建稳定、可扩展Go应用的最佳实践方法。
44
2026.02.28
Go语言以其高效的并发模型和优异的性能表现广泛应用于高并发、高性能场景。其运行时机制包括 Goroutine 调度、内存管理、垃圾回收等方面，深入理解这些机制有助于编写更高效稳定的程序。本专题将系统讲解 Golang 的性能分析工具使用、常见性能瓶颈定位及优化策略，并结合实际案例剖析 Go 程序的运行时行为，帮助开发者掌握构建高性能应用的关键技能。
37
2026.02.28
本专题系统讲解 Golang 并发编程模型，从语言级特性出发，深入理解 goroutine、channel 与调度机制。结合工程实践，分析并发设计模式、性能瓶颈与资源控制策略，帮助将并发能力有效转化为稳定、可扩展的系统性能优势。
22
2026.02.27
本专题深入剖析 Golang 的高级特性与工程级最佳实践，涵盖并发模型、内存管理、接口设计与错误处理策略。通过真实场景与代码对比，引导从“可运行”走向“高质量”，帮助构建高性能、可扩展、易维护的优雅 Go 代码体系。
19
2026.02.27
本专题聚焦 Golang 的测试与调试体系，系统讲解单元测试、表驱动测试、基准测试与覆盖率分析方法，并深入剖析调试工具与常见问题定位思路。通过实践示例，引导建立可验证、可回归的工程习惯，从而持续提升代码可靠性与可维护性。
3
2026.02.27
AO3官网最新入口合集，汇总2026年可用官方及镜像链接，助你快速稳定访问Archive of Our Own平台。阅读专题下面的文章了解更多详细内容。
430
2026.02.27
热门下载
相关下载
精品课程
最新文章
