使用Selenium处理自定义下拉列表：模拟用户行为的策略与实践

<div class="selection-box" alt="selection" title="selection" role="select" tabindex="0">
    <select id="select" style="display: none;">
        <option value="1">First</option>
        <option value="2">Second</option>
        <option value="3" selected="selected">Third</option>
    </select>
    <div class="current">Third</div>
    <ul class="options" style="display: none;">
        <li class="search--option" alt="First option" title="First option" aria-label="First option" role="option" tabindex="0">First</li>
        <li class="search--option" alt="Second option" title="Second option" aria-label="Second option" role="option" tabindex="0">Second</li>
        <li class="search--option selected" alt="Third option" title="Third option" aria-label="Third option" role="option" tabindex="0">Third</li>
    </ul>
</div>

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

# 1. 初始化WebDriver
# 建议使用ChromeOptions配置，例如headless模式，或禁用一些不必要的日志
driver = webdriver.Chrome()
# 最大化窗口，有时有助于确保元素可见性
driver.maximize_window()

# 2. 设置显式等待对象
# 最长等待时间15秒
wait = WebDriverWait(driver, 15)

# 3. 定义一个函数来处理自定义下拉列表选择
def select_custom_dropdown_option_by_text(dropdown_opener_selector, option_selector, target_text):
    """
    选择自定义下拉列表中的指定文本选项。

    Args:
        dropdown_opener_selector (tuple): 下拉列表触发器的定位器，例如 (By.CSS_SELECTOR, '.selection-box')
        option_selector (tuple): 下拉列表选项的定位器，例如 (By.CSS_SELECTOR, '.options li')
        target_text (str): 目标选项的可见文本
    """
    try:
        # 步骤1&2: 定位并点击下拉框触发器以展开列表
        print(f"尝试点击下拉框触发器: {dropdown_opener_selector}")
        dropdown_opener = wait.until(EC.element_to_be_clickable(dropdown_opener_selector))
        dropdown_opener.click()
        print("下拉框已点击，等待选项列表出现...")

        # 步骤3: 等待选项列表中的所有选项可见
        options = wait.until(EC.visibility_of_all_elements_located(option_selector))
        print(f"找到 {len(options)} 个选项。")

        # 步骤4: 遍历选项，找到目标并点击
        found_option = None
        for option in options:
            if option.text.strip().lower() == target_text.lower():
                found_option = option
                break

        if found_option:
            print(f"找到目标选项 '{target_text}'，正在点击...")
            found_option.click()
            # 步骤5 (可选): 等待选项列表消失或目标选项状态更新
            # 这里我们等待被点击的选项本身变得不可见，这通常意味着下拉列表已关闭
            wait.until(EC.invisibility_of_element(found_option))
            print(f"选项 '{target_text}' 已选择。")
        else:
            print(f"未找到文本为 '{target_text}' 的选项。")
            raise ValueError(f"Option with text '{target_text}' not found.")

    except Exception as e:
        print(f"选择下拉列表选项时发生错误: {e}")
        # 可以在这里添加截图或日志记录
        raise

# 4. 示例用法
# 假设我们访问一个包含上述自定义下拉列表的页面
# 为了演示，我们使用一个虚构的URL和真实的CSS选择器（基于问题描述）
# 请替换为你的实际URL和选择器
driver.get("https://www.example.com/your_page_with_dropdown") # 请替换为实际的URL

# 模拟页面上的广告弹窗处理 (常见于实际抓取任务)
# 这个函数通过JavaScript移除页面上可能干扰自动化的广告iframe
def remove_google_ads():
    print("尝试移除Google Ads...")
    driver.execute_script("""
      function waitForElementAndRemove() {
        let element = document.querySelector('[id*=google_ads_iframe],[id*=ad_iframe]');
        if (element) {
            element.remove();
            console.log('Removed ad');
        } else {
           // 如果元素不存在，则等待1秒后重试，直到超时或找到
           // 注意：在实际应用中，如果广告持续出现，此方法可能导致无限循环，
           // 最好结合Selenium的等待机制或设置一个重试次数限制。
           // 这里为了简化，仅做演示。
           // setTimeout(waitForElementAndRemove, 1000);
           console.log('Ad element not found yet, skipping removal.');
        }
    }
    waitForElementAndRemove();
    """)
    print("Google Ads移除尝试完成。")
    # 给予页面一点时间来处理JS执行
    time.sleep(1)

# 实际应用中，如果广告确实干扰，可以在加载页面后立即调用
# remove_google_ads()

# 假设页面加载后，我们想选择“Second”选项
# 根据问题中的HTML结构，我们需要确定正确的CSS选择器
# 下拉框触发器：外部的div，例如 '.selection-box'
# 选项列表：ul.options 下的 li，例如 '.options li'
# 或者更精确地，如果触发器是 '.superstar-search--selection-box'，选项是 '.superstar-search--option'
# 这里使用问题答案中提供的更具体的选择器作为参考
try:
    # 模拟点击并选择 "Second"
    select_custom_dropdown_option_by_text(
        (By.CSS_SELECTOR, '.selection-box'), # 假设触发器是这个
        (By.CSS_SELECTOR, '.options .search--option'), # 假设选项是这个
        'Second'
    )
    time.sleep(2) # 观察效果

    # 模拟点击并选择 "First"
    select_custom_dropdown_option_by_text(
        (By.CSS_SELECTOR, '.selection-box'),
        (By.CSS_SELECTOR, '.options .search--option'),
        'First'
    )
    time.sleep(2) # 观察效果

except ValueError as ve:
    print(f"操作失败: {ve}")
except Exception as e:
    print(f"发生未知错误: {e}")
finally:
    # 5. 关闭浏览器
    driver.quit()
    print("浏览器已关闭。")