微博评论爬取乱码之谜：unicode方向控制符的困扰
在使用python进行微博评论数据爬取时，经常会遇到一些意想不到的问题。本文将针对一个具体的案例，探讨为什么爬取到的微博评论文本中会包含u+200e、u+202e、u+202c等奇怪的字符串，以及如何解决这些乱码问题。
问题描述如下：一位用户使用requests库爬取微博关于堕胎的评论时，获得了包含\u202e、\u202c等unicode字符的文本。这些字符导致字符串顺序错乱，直接打印或存入pandas dataframe时显示正常，但一旦通过下标访问或遍历字符串，乱码问题便会显现。 奇怪的是，在微博网页上手动复制粘贴评论文本，却是正常的。 用户已经确认网页编码为utf-8，并在代码中指定了response.encoding='utf-8'。
问题的根源在于\u202e和\u202c这两个unicode字符。它们分别是右到左显示控制符和弹出方向格式控制符。 \u202e 会导致其后的文本从右到左显示，而 \u202c 则取消这种右到左显示效果。因此，爬虫获取到的乱序字符串正是由于微博网页中使用了这些方向控制符造成的。
解决方法的关键在于识别并处理这些控制符。 我们可以使用正则表达式来匹配并替换这些字符，并对匹配到的文本进行反转操作，从而恢复正确的文本顺序。
以下代码片段展示了如何利用正则表达式解决这个问题：
import re reversedRE = re.compile(r'\u202E(.*?)(?:\u202C|$)', re.DOTALL) s = '\u202Ecba\u202Cdef\u202Eihg\u202C' print(s) s = reversedRE.sub(lambda m: m[1][::-1], s) print(s) # abcdefghi
这段代码首先定义了一个正则表达式reversedre，它匹配\u202e，随后匹配任意字符（(.*?)），直到遇到\u202c或字符串结尾。然后，使用re.sub函数将匹配到的文本进行替换，lambda m: m[1][::-1] 将匹配到的文本（不包括\u202e和\u202c）反转，从而恢复正确的文本顺序。
通过这种方法，我们可以有效地去除这些unicode方向控制符，并还原正确的文本顺序，解决微博评论爬取中出现的乱码问题。
