使用 Selenium 自动化网页交互：定位并操作下拉菜单选项

通过观察网页结构，我们可以发现控制显示数量的下拉菜单触发器可能具有特定的类名。

try:
    # 等待下拉菜单触发器可见并可点击
    dropdown_trigger = WebDriverWait(driver, 10).until(
        EC.element_to_be_clickable((By.CLASS_NAME, "aio-tabs-button"))
    )
    dropdown_trigger.click()
    print("成功点击下拉菜单触发器。")
    time.sleep(1) # 等待下拉菜单展开
except Exception as e:
    print(f"点击下拉菜单触发器失败: {e}")
    driver.quit()
    exit()

3. 选择下拉菜单中的特定选项（例如“100”）

点击触发器后，下拉选项列表会显示出来。此时，我们需要定位到包含目标值（例如“100”）的选项，并进行点击。同样，避免使用绝对 XPath。一个更稳健的方法是查找包含特定文本的元素。

try:
    # 等待包含文本“100”的选项可见并可点击
    option_100 = WebDriverWait(driver, 10).until(
        EC.element_to_be_clickable((By.XPATH, "//div[@class='item' and contains(text(), '100')]"))
    )
    option_100.click()
    print("成功选择选项 '100'。")
    time.sleep(2) # 等待页面内容更新
except Exception as e:
    print(f"选择选项 '100' 失败: {e}")
finally:
    # 完成操作后关闭浏览器
    driver.quit()

4. 完整示例代码

将上述步骤整合到一起，形成一个完整的自动化脚本：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

def set_items_per_page(url, items_count):
    """
    使用 Selenium 导航到指定 URL，并设置每页显示的项目数量。

    Args:
        url (str): 目标网页的 URL。
        items_count (str): 要设置的每页显示项目数量的字符串表示（例如 "100"）。
    """
    driver = None
    try:
        # 初始化 WebDriver
        driver = webdriver.Chrome() # 确保 ChromeDriver 可用或指定路径
        driver.get(url)
        print(f"已打开网页: {url}")

        # 步骤 1: 定位并点击下拉菜单触发器
        dropdown_trigger = WebDriverWait(driver, 10).until(
            EC.element_to_be_clickable((By.CLASS_NAME, "aio-tabs-button"))
        )
        dropdown_trigger.click()
        print("成功点击下拉菜单触发器。")
        time.sleep(1) # 短暂等待下拉菜单展开

        # 步骤 2: 定位并选择目标选项
        # 构建 XPath 以查找包含指定文本的选项
        option_xpath = f"//div[@class='item' and contains(text(), '{items_count}')]"
        target_option = WebDriverWait(driver, 10).until(
            EC.element_to_be_clickable((By.XPATH, option_xpath))
        )
        target_option.click()
        print(f"成功选择选项 '{items_count}'。")
        time.sleep(3) # 等待页面内容更新

        # 可以在此处添加进一步的验证或操作
        print("操作完成。")

    except Exception as e:
        print(f"发生错误: {e}")
    finally:
        if driver:
            driver.quit()
            print("浏览器已关闭。")

# 调用函数
if __name__ == "__main__":
    target_url = "https://www.gurufocus.com/stocks"
    set_items_per_page(target_url, "100")

5. 注意事项与最佳实践

• 等待机制 (WebDriverWait): 在与动态加载的元素交互时，使用显式等待（WebDriverWait 结合 expected_conditions）至关重要。这可以避免 NoSuchElementException 或 ElementNotInteractableException，因为元素可能尚未加载或尚未变为可点击状态。
• 健壮的定位器: 避免使用绝对 XPath。优先使用 ID、NAME、CLASS_NAME。如果这些不可用，使用相对 XPath，结合元素属性（如 text()、@id、@class）来创建更具韧性的定位器。
• time.sleep() 的使用: 仅在调试或确定需要固定等待时间时使用 time.sleep()。在生产代码中，应尽可能使用 WebDriverWait，因为它更高效且可靠。
• 错误处理: 使用 try-except-finally 块来优雅地处理可能发生的 Selenium 异常，并确保在任何情况下都能关闭浏览器实例。

6. 替代方案：直接使用 Web API (推荐)

对于纯粹的数据抓取任务，模拟浏览器行为（如使用 Selenium）往往效率较低且资源密集。许多网站的数据是通过后端 API 提供的。如果您主要目的是获取数据而不是模拟用户交互，强烈建议尝试直接调用这些 Web API。

万知

万知: 你的个人AI工作站

下载

优点:

• 效率高: 无需渲染整个页面，速度更快。
• 资源消耗低: 不启动浏览器，节省 CPU 和内存。
• 稳定性好: 不受前端 UI 变化的影响。

如何发现 API:

1. 打开浏览器的开发者工具（F12）。
2. 切换到“网络”（Network）标签页。
3. 在页面上执行您想要自动化的操作（例如点击下拉菜单，更改页码）。
4. 观察网络请求，查找类型为 XHR/Fetch 的请求。这些请求通常是与后端 API 进行数据交互的。
5. 分析请求的 URL、方法（GET/POST）、请求头和请求体，以了解如何重现这些请求。

一旦您找到了相应的 API，就可以使用 Python 的 requests 库来发送 HTTP 请求，直接获取数据。

import requests
import json

# 示例：假设发现了一个用于获取股票数据的API
# 这只是一个概念性示例，实际API可能需要认证、不同的参数等
api_url = "https://www.gurufocus.com/api/stocks/list" # 假设的API URL
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36",
    "Accept": "application/json",
    # 可能还需要其他请求头，如认证令牌等
}
params = {
    "pageSize": 100, # 设置每页显示100项
    "page": 1,
    # 其他筛选参数
}

try:
    response = requests.get(api_url, headers=headers, params=params)
    response.raise_for_status() # 检查HTTP请求是否成功
    data = response.json()
    # 处理获取到的数据
    print("通过 API 获取到数据：")
    # print(json.dumps(data, indent=2)) # 打印部分数据
    print(f"数据条数: {len(data.get('stocks', []))}") # 假设数据在'stocks'键中
except requests.exceptions.RequestException as e:
    print(f"API 请求失败: {e}")
except json.JSONDecodeError as e:
    print(f"JSON 解析失败: {e}")

注意: 上述 API 示例代码仅为概念性演示，gurufocus.com 的实际 API 端点和参数可能与此不同，并且可能需要认证。

总结

本教程详细演示了如何使用 Selenium 在 Python 中与网页下拉菜单进行交互，以实现特定的自动化任务。通过学习健壮的元素定位策略和等待机制，您可以有效地处理动态网页元素。同时，我们也强调了在数据抓取场景下，直接使用 Web API 往往是更高效和稳定的选择。根据您的具体需求，选择最适合的工具和方法，将有助于您构建更可靠和高效的自动化解决方案。