php字符串去重需保序且按语义定义重复:单字节用遍历+关联数组;utf-8中文须用mb_substr;分词去重需正则提取汉字块与英文单词;柔性去重应标准化键值映射原始字符。

PHP 字符串去重,核心是保留字符的首次出现顺序、剔除重复项,不是简单去重数组。常见需求包括:纯字符去重(如 "aabbcc" → "abc")、按字(中文/英文单词)去重、忽略大小写或空白符等。关键不在“有没有函数”,而在于“怎么保序、怎么定义重复”。
单字节字符(英文字母/数字)保序去重
用 array_unique() 配合 str_split() 最直接,但要注意它不保原顺序(PHP 5.6+ 已默认保序,但早期版本需手动重建键):
- 安全写法:
$chars = str_split($str); $unique = array_values(array_unique($chars)); echo implode('', $unique); - 更高效(尤其长字符串):遍历 + 关联数组判重,天然保序:
php
$result = '';
$seen = [];
for ($i = 0; $i $char = $str[$i];
if (!isset($seen[$char])) {
$result .= $char;
$seen[$char] = true;
}
}
?>
中文或 UTF-8 多字节字符去重
str_split() 对中文会截断乱码,必须用 mb_ 系列函数:
- 先用
mb_strlen($str, 'UTF-8')获取真实长度 - 用
mb_substr($str, $i, 1, 'UTF-8')逐个取字符 - 判重逻辑同上,但键用
mb_substr结果,不能直接用$str[$i] - 示例:
$char = mb_substr($str, $i, 1, 'UTF-8');再检查是否已存在
按“词”去重(非单字),支持中英文混合
需先分词,再去重。简单场景可用空格/标点切分,复杂场景建议用正则:
立即学习“PHP免费学习笔记(深入)”;
- 基础分词:
$words = preg_split('/[\s\p{P}]+/u', $str, -1, PREG_SPLIT_NO_EMPTY);(\p{P}匹配任意 Unicode 标点) - 去重并保序:
$seen = []; $uniqueWords = [];<br>foreach ($words as $word) {<br> if (!in_array($word, $seen)) {<br> $uniqueWords[] = $word;<br> $seen[] = $word;<br> }<br>} - 注意:中文词需预分词(如用
preg_match_all('/\p{Han}+|\w+/u', $str, $matches)抽出汉字块和英文单词)
忽略大小写、空白、标点的柔性去重
实际业务常需“语义去重”,比如 "Hello, hello!" 视为重复:
- 预处理统一格式:
$normalized = strtolower(trim(preg_replace('/[\s\p{P}]+/u', '', $str))); - 但原始输出仍要返回未处理的字符 —— 所以得用映射:把标准化值作键,存原始片段(如小写
"hello"→ 原始"Hello") - 代码要点:遍历分词后,对每个词生成标准键;若键未出现,存入结果并记录该键;否则跳过











