本文旨在解决使用beautifulsoup进行网页抓取时常遇到的空列表问题。核心原因在于选择器未能准确匹配目标html元素。教程将详细分析常见错误，并提供一套基于css选择器的优化方案，通过精确的元素定位和迭代处理，确保数据能够被正确提取，从而有效避免空列表的出现，提升爬虫的稳定性和效率。
在进行网页数据抓取时，开发者常会遇到BeautifulSoup返回空列表的情况。这通常不是因为网站反爬机制过于严格，而是因为我们用于定位元素的HTML选择器不够精确，或者对BeautifulSoup的选择方法理解有误。本教程将深入探讨这一问题，并提供一套健壮的解决方案。
问题分析：为何返回空列表？
原始代码尝试通过以下方式获取标题和文章内容：
headlines = soup.find('div', class_=['news-card-title', 'news-right-box'])
articles = soup.find('div', class_=['news-card-content', 'news-right-box'])这里存在几个关键问题：
- find() 方法的误用： soup.find() 方法用于查找HTML文档中第一个匹配的标签，并返回一个Tag对象。如果未找到，则返回None。它不会返回一个标签列表。因此，headlines和articles变量很可能是一个Tag对象或None，而非期望的ResultSet（标签列表）。
- class_ 参数的理解： 当class_参数被赋予一个列表时（如['news-card-title', 'news-right-box']），BeautifulSoup会尝试查找同时拥有这些所有类的标签。如果目标标签不完全符合这个条件，或者这些类通常分散在不同的父子元素上，则可能无法找到。
- zip() 操作的失败： 即使find()方法返回了Tag对象，它们也不是可迭代的标签列表。因此，随后的列表推导式中zip(headlines, articles)操作会因为headlines或articles不是可迭代对象而失败，或者即便不报错，也无法按预期迭代，最终导致news_data列表为空。
- .string 属性的局限性： find_all(...).string 这样的链式调用也是不规范的。find_all返回的是一个列表，列表没有.string属性。即便找到了单个元素，.string属性也只适用于标签内仅包含文本内容且没有其他子标签的情况。更通用的文本提取方法是.get_text()。
解决方案：使用CSS选择器进行精确匹配
为了解决上述问题，我们需要采用更精确、更灵活的元素选择方法，并确保正确地迭代每个目标数据块。BeautifulSoup的select()和select_one()方法支持CSS选择器，这为复杂的HTML结构提供了强大的定位能力。
核心思路
- 定位文章容器： 识别网页中每个新闻文章的独立容器。通常，这些容器会有一个共同的属性或类。
- 遍历容器： 遍历每个文章容器，将每个容器视为一个独立的子文档。
- 提取子元素： 在每个文章容器内部，使用更具体的选择器提取标题和文章内容。
优化后的代码示例
以下是根据上述思路优化后的代码：
import requests
from bs4 import BeautifulSoup
url = 'https://inshorts.com/en/read/technology'
news_data = []
news_category = url.split('/')[-1]
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124124 Safari/537.36'}
data = requests.get(url, headers=headers)
if data.status_code == 200:
soup = BeautifulSoup(data.content, 'html.parser')
# 使用CSS选择器定位所有新闻文章容器
# 根据目标网站结构，每个新闻文章通常由一个具有特定itemtype属性的div或其他元素包裹
# 检查HTML发现每个新闻卡片都有itemtype="http://schema.org/NewsArticle"
for article_container in soup.select('[itemtype="http://schema.org/NewsArticle"]'):
# 在每个文章容器内部，使用select_one定位标题和文章内容
# itemprop="headline" 用于标题
# itemprop="articleBody" 用于文章主体
headline_element = article_container.select_one('[itemprop="headline"]')
article_body_element = article_container.select_one('[itemprop="articleBody"]')
# 确保元素存在，并使用.get_text()提取文本内容
news_headline = headline_element.get_text(strip=True) if headline_element else "N/A"
news_article = article_body_element.get_text(strip=True) if article_body_element else "N/A"
news_data.append(
{
'news_headline': news_headline,
'news_article': news_article,
'news_category': news_category
}
)
print(news_data)代码详解
-
soup.select('[itemtype="http://schema.org/NewsArticle"]')：
- select() 方法接收一个CSS选择器作为参数，并返回所有匹配的标签列表（ResultSet）。
- [itemtype="http://schema.org/NewsArticle"] 是一个属性选择器，它会查找所有具有itemtype属性且其值为http://schema.org/NewsArticle的标签。通过检查目标网站的HTML结构，我们发现每个新闻卡片都使用这个属性来标识。这是一个非常精确且语义化的选择方式。
-
for article_container in ...：
- 我们现在可以安全地遍历每个找到的article_container，因为select()返回的是一个列表。
-
article_container.select_one('[itemprop="headline"]')：
- select_one() 方法与select()类似，但它只返回第一个匹配的标签，如果未找到则返回None。这在确定某个元素只会出现一次时非常有用。
- [itemprop="headline"] 和 [itemprop="articleBody"] 同样是属性选择器，它们用于在当前article_container内部查找新闻标题和文章主体。这种“先大后小”的定位方式，大大提高了选择器的准确性和效率。
-
.get_text(strip=True)：
- get_text() 方法用于提取标签及其所有子标签中的文本内容。strip=True参数可以去除文本两端的空白字符，使结果更整洁。
- 我们还加入了if headline_element else "N/A"这样的条件判断，以防止select_one()返回None时调用get_text()引发错误，提高了代码的健壮性。
注意事项与最佳实践
- 检查HTML结构： 在编写任何爬虫代码之前，务必使用浏览器开发者工具（F12）仔细检查目标网页的HTML结构。理解元素的层级关系、类名、ID和属性是编写有效选择器的关键。
-
选择器的多样性： Beautiful Soup支持多种选择器：
- 标签名： soup.find_all('div')
- 类名： soup.find_all(class_='my-class') 或 soup.select('.my-class')
- ID： soup.find(id='my-id') 或 soup.select_one('#my-id')
- 属性： soup.find_all(attrs={'data-id': '123'}) 或 soup.select('[data-id="123"]')
- CSS选择器： soup.select('div.my-class > p:first-child') 根据具体情况选择最合适、最稳定的选择器。通常，CSS选择器能提供最大的灵活性和精确度。
- 错误处理： 始终考虑选择器可能找不到元素的情况。使用条件判断（如if element: ...）或try-except块来处理None值，避免程序崩溃。
- 用户代理（User-Agent）： 在请求头中设置User-Agent是良好的爬虫习惯，模拟浏览器访问，减少被网站屏蔽的风险。
- 遵守爬虫道德： 尊重网站的robots.txt文件，不要对网站造成过大负担，并遵守相关法律法规。
总结
解决BeautifulSoup返回空列表的问题，核心在于理解HTML结构和选择器的工作原理。通过从find()的局限性转向select()和select_one()的强大CSS选择器功能，结合对HTML属性的精确匹配，我们可以构建出更稳定、更高效的网页抓取程序。始终牢记在动手编码前进行充分的HTML结构分析，是提升爬虫成功率的关键。
