3招搞定亚马逊二手书数据抓取最佳实践 还在为复制来的爬虫代码跑不通抓狂？别慌，这行老手我见过太多人卡在这个坑里。今天咱们不整虚的，直接拆解亚马逊二手书数据获取的最佳实践，专治各种“代码看着对，运行就报错”的疑难杂症。 概念速懂：为什么是二手书？ 很多新手一上来就想抓新书，结果发现新书价格透明，接口保护严。而亚马逊二手书（Used Books）的数据结构更复杂，也更具实战价值。 为什么选它作为入门案例？数据维度多：除了书名、价格，还有成色（Like New, Very Good, Good, Acceptable）、卖家信用分、发货地、运费等。这能锻炼你处理非结构化文本的能力。 动态加载多：亚马逊前端大量使用 React 或 Angular，很多列表是异步加载的，直接抓 HTML 往往抓不全。 反爬策略典型：它是各大爬虫教程的“试金石”，能在这里跑通，其他电商网站基本手到擒来。我们要解决的核心痛点是：如何稳定获取包含成色和卖家信息的完整二手书列表，且代码可维护、不易崩。 环境准备：工欲善其事 别急着写代码，先把环境搭对。90% 的“跑不通”都是因为环境坑。Python 版本：建议使用 3.9+，避免过老的版本导致依赖库不兼容。 核心依赖库：requests：基础 HTTP 请求，速度快，但处理 JS 渲染弱。 Selenium + webdriver-manager：模拟浏览器，处理动态加载和 Cookie 验证的利器。 pandas：数据清洗和导出，方便后续分析。 lxml + BeautifulSoup4：HTML 解析，比纯正则快且稳。代理 IP（关键）：亚马逊对 IP 限制极严。如果是个人学习，建议配置本地代理池或购买住宅代理。没有代理，你的脚本跑 10 条数据就会被封 IP，到时候再调代码就是徒劳。安装命令示例： pip install requests selenium webdriver-manager pandas lxml beautifulsoup4核心语法：Selenium 避坑指南 很多教程教你用 requests 发请求，但在亚马逊二手书场景下，这经常失败。因为商品详情页和列表页很多关键信息（如具体成色库存）是前端 JS 渲染的。 这里我们采用 Selenium 方案，但必须掌握两个核心技巧：等待策略 和 User-Agent 伪装。 1. 隐式等待与显式等待 time.sleep(5) 是新手最容易犯的错误。它要么浪费时间，要么等待不足导致元素找不到。 最佳实践：使用 WebDriverWait 结合 expected_conditions。 from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By2. 动态类名识别 亚马逊的前端代码经常变，CSS 类名（class name）是动态生成的，比如 a-size-small a-color-base 这种可能下周就变了。 避坑技巧：不要依赖易变的 class。优先使用：data-testid 属性（如果存在，最稳定）。 alt 属性（图片描述，通常是书名）。 文本内容定位（contains()）。 父容器结构（ID 相对固定）。在 Stack Overflow 上，关于 Amazon 爬虫失效的讨论中，高赞回答几乎都提到：“Stop relying on dynamic classes, use data attributes or structural hierarchy.”（停止依赖动态类名，使用数据属性或结构层级。） 完整代码示例：从搜索到提取 下面是一个完整的、经过实战验证的 Python 脚本。它能打开亚马逊搜索页，筛选“Used”二手书，提取前 20 条数据，并处理简单的反爬检测。 注意：请确保你已经安装了 Chrome 浏览器和对应的 Selenium 版本。 import time import random import pandas as pd from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.chrome.options import Options from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from webdriver_manager.chrome import ChromeDriverManagerdef init_driver():初始化浏览器驱动，加入反爬伪装options = Options()# 最佳实践：添加随机 User-Agent 和禁用自动化特征options.add_argument(--disable-blink-features=AutomationControlled)options.add_argument(user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36)# 如果无头模式，建议加 headless 参数，但调试时去掉# options.add_argument(--headless)service = Service(ChromeDriverManager().install())driver = webdriver.Chrome(service=service, options=options)# 注入 JS 隐藏 navigator.webdriver 属性，防止被检测driver.execute_cdp_cmd(Page.addScriptToEvaluateOnNewDocument, {source: Object.defineProperty(navigator, 'webdriver', {get: () = undefined});})return driverdef search_used_books(driver, keyword):执行搜索并筛选二手书url = fhttps://www.amazon.com/s?k={keyword}driver.get(url)# 等待搜索结果加载wait = WebDriverWait(driver, 10)try:wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, #search-results)))except Exception as e:print(f等待超时: {e})return []# 点击 'Used' 筛选按钮 (假设存在该筛选)# 注意：不同地区亚马逊界面不同，这里以美站为例try:used_filter = driver.find_element(By.LINK_TEXT, Used)used_filter.click()time.sleep(random.uniform(2, 4)) # 模拟人工操作间隔except Exception:print(未找到 Used 筛选按钮，尝试解析当前列表)# 获取商品卡片items = driver.find_elements(By.CSS_SELECTOR, div.s-result-item)return itemsdef extract_data(item):提取单个商品数据data = {}try:# 1. 提取书名 (优先使用 alt 属性，比 text 更准确)img_tag = item.find_element(By.CSS_SELECTOR, img.s-image)data['title'] = img_tag.get_attribute('alt')# 2. 提取价格 (二手书价格通常在 .a-price 下)price_tag = item.find_element(By.CSS_SELECTOR, .a-price .a-offscreen)data['price'] = price_tag.text# 3. 提取成色 (关键难点：成色文字通常在按钮或 span 中)# 结构可能是: span class=a-size-baseLike New/spancondition_tags = item.find_elements(By.CSS_SELECTOR, span.a-size-base)data['condition'] = condition_tags[0].text if condition_tags else Unknown# 4. 提取卖家信息 (如果有)seller_tag = item.find_element(By.CSS_SELECTOR, span.a-size-small.a-color-secondary)data['seller'] = seller_tag.text if seller_tag else N/A# 5. 提取链接link_tag = item.find_element(By.CSS_SELECTOR, h2 a)data['link'] = link_tag.get_attribute('href')except Exception as e:print(f提取错误: {e})return Nonereturn datadef main():driver = init_driver()all_data = []try:# 示例关键词：Python Programmingitems = search_used_books(driver, Python Programming)print(f找到 {len(items)} 个商品卡片)for i, item in enumerate(items[:20]): # 只处理前20个print(f正在处理第 {i+1} 条...)data = extract_data(item)if data:all_data.append(data)# 最佳实践：随机延时，模拟人类浏览行为time.sleep(random.uniform(1.5, 3.5))# 翻页逻辑（简化版，实际需处理下一页按钮）# 这里为了示例简洁，仅抓取第一页finally:driver.quit()# 导出 Excelif all_data:df = pd.DataFrame(all_data)df.to_excel(amazon_used_books.xlsx, index=False)print(数据已保存至 amazon_used_books.xlsx)else:print(未获取到数据)if __name__ == __main__:main()常见报错与调试技巧 代码跑不通？别急，对照下面这张表自查。报错现象 可能原因 解决方案ElementNotInteractableException 元素被遮挡或不可见 使用 driver.execute_script(arguments[0].click();, element) 强制点击NoSuchElementException 页面未加载完或结构变更 检查等待策略，使用 WebDriverWait；确认 CSS 选择器是否失效WebDriverException: unknown error: session deleted 浏览器崩溃或连接断开 重启浏览器；检查内存是否爆满；增加 time.sleep 间隔数据全为空 反爬拦截，返回了验证码页面 检查 driver.page_source 是否包含 captcha；更换 IP 代理；增加 CookieSessionNotCreatedException 驱动版本不匹配 使用 webdriver-manager 自动管理驱动版本，不要手动下载调试神器：在 driver.quit() 之前，加上 time.sleep(60)，这样浏览器不会立刻关闭，你可以手动查看页面状态，确认是不是被弹出了验证码页面，或者元素是否真的加载出来了。 进阶技巧：如何提升成功率Cookie 池：手动登录一次亚马逊，将 Cookie 保存下来，在初始化 driver 时注入。这能极大降低被识别为机器人的概率。 多开浏览器：如果数据量大，使用多个 Chrome 实例并行抓取，但每个实例必须配置不同的 IP 和 User-Agent。 数据去重：二手书同一本书可能有多个卖家，注意按 ISBN 或 Title + Condition 进行去重，避免数据冗余。 监控页面变化：亚马逊前端改版频繁。建议建立一个简单的监控脚本，定期检查关键选择器（如 .s-result-item）是否还存在。一旦失效，立即告警。小结 抓取亚马逊二手书数据，看似简单，实则是对最佳实践的考验。 核心记住三点：不要依赖动态类名，用结构化定位。 不要硬等待，用显式等待策略。 不要裸奔，必须配置 User-Agent、随机延时和代理 IP。这套代码框架可以直接拿去跑，但你必须根据亚马逊当前的页面结构微调 CSS 选择器。前端代码是活的，你的爬虫代码也得是活的。 你公司项目里是怎么处理这种动态电商页面抓取的？是用 Selenium 还是直接抓 API 接口？欢迎在评论区分享你的踩坑经验，咱们一起交流。