本文旨在帮助开发者解决在使用 Selenium WebDriver 时遇到的 TypeError 问题。通过分析问题代码，找出错误根源，并提供修改后的代码示例，确保程序能够正确运行，成功抓取网页数据。本文将重点讲解如何使用正确的 find_elements 方法以及如何选择合适的选择器。
问题分析
在提供的代码中，问题出在使用 driver.find_elements_by_css_selector 方法。该方法在较旧版本的 Selenium 中可用，但在新版本中已被弃用，取而代之的是更通用的 driver.find_elements() 方法，并且需要明确指定查找元素的策略，例如 By.CSS_SELECTOR。
解决方案
要解决这个问题，需要将代码中的 driver.find_elements_by_css_selector 方法替换为 driver.find_elements() 方法，并使用 By.CSS_SELECTOR 来指定使用 CSS 选择器。
以下是修改后的代码示例：
from selenium import webdriver
from selenium.webdriver.common.by import By
chrome_options = webdriver.ChromeOptions()
chrome_options.add_experimental_option("detach", True)
driver = webdriver.Chrome(options=chrome_options)
driver.get("https://www.python.org/")
event_times = driver.find_elements(By.CSS_SELECTOR, ".event-widget time")
event_names = driver.find_elements(By.CSS_SELECTOR, ".event-widget li a")
events = {}
for n in range(len(event_times)):
events[n] = {
"time": event_times[n].text,
"name": event_names[n].text,
}
print(events)
driver.quit()代码解释:
ShopNC多用户商城，全新的框架体系，呈现给您不同于以往的操作模式，更简约的界面，更流畅的搜索机制，更具人性化的管理后台操作，更适应现在网络的运营模式解决方案，为您的创业之路打下了坚实的基础，你们的需求就是我们的动力。我们在原有的C-C模式的基础上更增添了时下最流行的团购频道，进一步的为您提高用户的活跃度以及黏性提供帮助。ShopNC商城系统V2.4版本新增功能及修改功能如下：微商城频道A、商城
- from selenium.webdriver.common.by import By: 导入 By 类，用于指定查找元素的策略。
- driver.find_elements(By.CSS_SELECTOR, ".event-widget time"): 使用 find_elements() 方法，第一个参数指定查找策略为 CSS 选择器，第二个参数为 CSS 选择器表达式。
- driver.find_elements(By.CSS_SELECTOR, ".event-widget li a"): 同上，查找所有符合 CSS 选择器 .event-widget li a 的元素。
其他查找元素策略
除了 By.CSS_SELECTOR，Selenium 还提供了其他几种查找元素的策略：
- By.ID: 通过元素的 ID 属性查找。
- By.NAME: 通过元素的 NAME 属性查找。
- By.XPATH: 通过 XPath 表达式查找。
- By.LINK_TEXT: 通过链接文本查找。
- By.PARTIAL_LINK_TEXT: 通过部分链接文本查找。
- By.CLASS_NAME: 通过元素的 CLASS 属性查找。
- By.TAG_NAME: 通过元素的标签名查找。
选择合适的查找策略取决于具体的网页结构和元素特征。一般来说，ID 选择器是最快和最可靠的，其次是 CSS 选择器，XPath 选择器则更加灵活，但性能相对较差。
注意事项
- 确保 Selenium 和 WebDriver 的版本兼容。不兼容的版本可能会导致各种错误。
- 在使用 CSS 选择器或 XPath 表达式时，要仔细检查表达式的正确性，避免出现语法错误或选择器无法匹配到元素的情况。可以使用浏览器的开发者工具来辅助调试选择器。
- 在循环遍历 find_elements() 返回的元素列表时，要确保列表不为空，否则可能会出现 IndexError。
- 在完成网页数据抓取后，务必调用 driver.quit() 方法关闭浏览器，释放资源。
总结
通过将 driver.find_elements_by_css_selector 替换为 driver.find_elements(By.CSS_SELECTOR, ...)，可以解决 Selenium WebDriver 运行时出现的 TypeError 问题。同时，了解不同的查找元素策略，并根据实际情况选择合适的策略，可以提高代码的效率和可靠性。希望本文能够帮助开发者更好地使用 Selenium WebDriver 进行网页数据抓取。
