解决Selenium抓取隐藏或动态显示文本内容的挑战

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException

def extract_visible_popup_text(browser):
    """
    通过模拟点击操作，使隐藏的弹窗可见，然后提取其文本内容。
    """
    # 找到所有包含弹窗的父级元素
    all_popup_ancestors = browser.find_elements(By.CLASS_NAME, "popupAncestor")
    extracted_texts = []

    for i, ancestor in enumerate(all_popup_ancestors):
        try:
            # 在当前父级元素内部，找到触发弹窗的链接和隐藏的弹窗元素
            popup_trigger = ancestor.find_element(By.CSS_SELECTOR, "a.openPopup")
            # 初始时，弹窗是隐藏的，我们先定位它
            popup_div_hidden = ancestor.find_element(By.CSS_SELECTOR, "div.popup.hide")

            # 滚动到触发器，确保它在视口内可点击
            browser.execute_script("arguments[0].scrollIntoView(true);", popup_trigger)

            # 点击触发器
            popup_trigger.click()

            # 等待弹窗变为可见状态
            # 使用 EC.visibility_of 来等待特定的 WebElement 变为可见
            WebDriverWait(browser, 5).until(EC.visibility_of(popup_div_hidden))

            # 现在弹窗应该可见了，提取其文本
            extracted_texts.append(popup_div_hidden.text.strip())
            print(f"成功提取第 {i+1} 个弹窗的可见文本。")

            # 可选：如果需要关闭弹窗以继续操作，可以再次点击触发器
            # 再次点击触发器，假设它会隐藏弹窗
            popup_trigger.click()
            # 等待弹窗再次变为不可见，确保页面恢复到初始状态
            WebDriverWait(browser, 5).until(EC.invisibility_of_element_located((By.CSS_SELECTOR, f".popupAncestor:nth-of-type({i+1}) .popup")))

        except TimeoutException:
            print(f"处理第 {i+1} 个弹窗时超时，弹窗可能未显示或未成功隐藏。")
        except Exception as e:
            print(f"处理第 {i+1} 个弹窗时发生错误: {e}")
            continue
    return extracted_texts

# 实际使用示例 (需要先初始化 WebDriver 并加载页面)
# driver = webdriver.Chrome() # 或其他浏览器驱动
# driver.get("your_web_page_url")
# visible_popup_data = extract_visible_popup_text(driver)
# print("通过交互获取的弹窗文本:", visible_popup_data)
# driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By

def extract_all_popup_content_raw(browser):
    """
    直接提取隐藏弹窗的全部文本内容（包括非可见部分），不进行交互。
    """
    # 定位所有带有 'popup' 和 'hide' 类的 div
    # 即使它们是隐藏的，也可以通过 CSS 选择器找到
    all_popup_elements = browser.find_elements(By.CSS_SELECTOR, "div.popup.hide")
    raw_texts = []
    for i, popup in enumerate(all_popup_elements):
        # 使用 get_attribute("textContent") 获取元素的纯文本内容，无论是否可见
        text_content = popup.get_attribute("textContent").strip()
        raw_texts.append(text_content)
        print(f"成功提取第 {i+1} 个弹窗的原始文本内容 (textContent)。")

        # 如果需要包含HTML标签的原始内容，可以使用 get_attribute("innerHTML")
        # inner_html = popup.get_attribute("innerHTML").strip()
        # print(f"第 {i+1} 个弹窗的原始HTML内容 (innerHTML): {inner_html[:100]}...") # 打印前100字符
    return raw_texts

# 实际使用示例 (需要先初始化 WebDriver 并加载页面)
# driver = webdriver.Chrome() #