简介本资源是一套面向高校计算机专业学生与初阶数据工程师的大众点评评论分析实战项目聚焦爬虫开发、数据清洗与消费行为可视化分析全流程可直接用于毕业设计、课程设计或数据分析入门实践。压缩包共61个文件含20个Python核心脚本覆盖异步爬取、多线程图片抓取、OCR识别、MongoDB存取及SHAP可解释性分析、9个JavaScript辅助模块Puppeteer自动化交互逻辑、4份Markdown文档含项目介绍、环境配置与运行说明、4个JSON/YAML配置文件及批处理脚本整体仅90KB轻量易部署。已有151人学习下载资源经多环境测试验证稳定运行配套详细设计文档与模块化代码结构支持快速复现完整链路——从评论与图片采集、文本情感分析、用户画像构建到消费趋势报告生成同时预留扩展接口便于二次开发适配其他平台。1. 项目概述从数据采集到商业洞察的全链路实践最近在整理过往的项目资料翻到了一个挺有意思的“老伙计”——一个基于Python的大众点评评论爬虫及分析项目。这个项目打包了从数据抓取、清洗到生成消费分析报告的全套源码和实战案例。之所以说它有意思是因为它完整地呈现了一个数据驱动的小型商业分析闭环麻雀虽小五脏俱全。对于想从零开始学习数据采集、处理和分析特别是对本地生活、消费行为分析感兴趣的朋友来说这个案例的参考价值非常高。它解决的不仅仅是“怎么爬数据”的技术问题更是“爬了数据怎么用”的商业问题。无论是学生做课程设计、数据分析师练手还是小商家想了解区域内的竞争态势和用户口碑这套流程都能提供一个清晰的、可复现的路径。这个项目的核心价值在于其“端到端”的特性。市面上很多教程只讲爬虫或者只讲数据分析中间的数据清洗和业务逻辑转换往往一笔带过导致学习者很难串联起完整的知识链条。而这个项目恰好填补了这个空白。它从最前端的网页请求开始历经反爬应对、数据解析、脏数据清洗、结构化存储再到利用Pandas等工具进行多维度的消费分析最终输出一份有洞察力的报告。整个过程涉及Python基础、网络请求库如Requests、解析库如BeautifulSoup、lxml、数据存储如CSV、MySQL、数据分析Pandas、Matplotlib/Seaborn等多个技能点是一个综合性极强的实战项目。2. 项目核心思路与技术选型解析2.1 为什么选择大众点评作为数据源在做任何数据项目之前明确数据源的价值至关重要。选择大众点评主要基于以下几点考量首先数据价值密度高。大众点评上的用户评论是典型的UGC用户生成内容包含了价格、口味、服务、环境、推荐菜等结构化标签以及大量非结构化的文本描述。这些信息是分析消费者偏好、店铺竞争力、区域餐饮趋势的宝贵原材料。其次应用场景明确且广泛。基于这些数据的分析报告可以服务于多个角色对于餐饮创业者可以用于选址分析和竞品调研对于现有商家可以用于口碑监控和菜品优化对于市场研究人员可以用于洞察消费趋势和区域经济活力。最后技术挑战适中适合练手。大众点评具有一定的反爬机制如请求头校验、频率限制、动态加载等但又不至于像一些大型平台那样拥有极其复杂的风控体系。攻克它的过程能很好地锻炼解决常见反爬问题的能力如模拟登录、处理Cookie、应对Ajax动态加载等这些都是爬虫工程师的必备技能。2.2 技术栈选型背后的逻辑整个项目采用Python作为主力语言这是数据科学领域的“普通话”。具体到库的选择每一个都有其明确的职责和优势网络请求Requests 会话SessionRequests人性化、简洁的HTTP库是发起网络请求的基石。我们用它来构造GET/POST请求获取网页HTML源码。会话Session这是应对需要登录或维持状态网站的关键。Session对象可以自动处理Cookies在多次请求间保持登录状态对于需要翻页爬取评论的场景至关重要。直接使用requests.get()而不维护会话很可能在爬取几页后就被系统识别为异常请求。页面解析BeautifulSoup 或 lxmlBeautifulSoup语法友好适合初学者快速上手。它像一把“瑞士军刀”能很好地处理不规范的HTML。在本项目中它非常适合从复杂的点评页面中定位并提取出评论区块、用户昵称、评分、评论内容、人均消费等字段。lxml解析速度更快效率更高特别是在处理大量页面时优势明显。它的XPath选择器功能强大且精确。项目中可以结合使用用lxml进行初步的快速解析再用BeautifulSoup处理细节。数据存储CSV 与 MySQL 的权衡CSV文件轻量、易读、无需额外服务是快速验证和中小规模数据如单店几千条评论存储的首选。使用Python内置的csv模块或Pandas的to_csv方法可以轻松读写。MySQL数据库当需要爬取多个城市、成千上万家店铺的数据时CSV文件在管理和查询上会显得力不从心。此时应选用MySQL。它将数据表化便于进行复杂的关联查询、去重和增量更新。使用pymysql或SQLAlchemy库可以实现Python与MySQL的交互。数据分析与可视化Pandas Matplotlib/SeabornPandas数据分析的核心。它的DataFrame结构是处理表格数据的利器。我们爬取的原始数据加载到DataFrame后可以方便地进行分组聚合GroupBy、数据透视Pivot Table、过滤排序等操作从而计算出平均评分、价格分布、热门关键词等指标。Matplotlib/Seaborn数据可视化的黄金组合。Matplotlib提供基础的绘图能力Seaborn基于Matplotlib提供了更美观的统计图形和更简洁的API。用于生成评分分布直方图、价格区间饼图、评论情感趋势折线图等让分析结果一目了然。注意法律与道德边界。在开始任何爬虫项目前必须仔细阅读目标网站的robots.txt协议和服务条款。本项目及所有讨论仅用于个人学习、技术研究和符合条款规定的少量数据抓取。严禁对网站进行高频、大规模、商业化的恶意爬取以免对目标服务器造成压力并引发法律风险。在实际操作中务必在请求间添加合理延时如time.sleep(random.uniform(1, 3))模拟人类浏览行为。3. 爬虫核心模块设计与实现细节3.1 请求头Headers与反爬策略实战爬虫能否成功第一道关卡就是请求头。一个“像浏览器”的请求头能绕过大部分基础的反爬检测。import requests import time import random headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Accept-Encoding: gzip, deflate, br, Connection: keep-alive, Upgrade-Insecure-Requests: 1, Referer: https://www.dianping.com/, # 模拟从首页跳转而来 } session requests.Session() session.headers.update(headers) def get_page(url): try: # 添加随机延时避免请求过于频繁 time.sleep(random.uniform(2, 5)) response session.get(url, timeout10) response.raise_for_status() # 检查HTTP状态码非200则抛出异常 # 可以在这里检查响应内容是否包含反爬提示如“验证”等关键词 if 安全验证 in response.text: print(触发反爬机制需要处理验证或更换IP) return None return response.text except requests.exceptions.RequestException as e: print(f请求失败: {url}, 错误: {e}) return None关键点解析User-Agent这是最重要的字段必须使用现代浏览器的标准UA。可以准备一个UA池轮流使用降低被识别的风险。Referer表示请求的来源页面。对于爬取分页评论将Referer设置为上一页的URL会使请求看起来更自然。Session对象使用session.get()而非requests.get()可以让服务器认为是一整个浏览器会话在操作自动管理Cookies。延时策略time.sleep(random.uniform(2, 5))添加了一个2到5秒的随机等待时间。这是最基本的“礼貌爬虫”准则绝对不要用循环无延迟地疯狂请求。3.2 页面解析与数据提取的精准定位大众点评的评论数据通常不是直接嵌在初始HTML中而是通过Ajax异步加载。我们需要找到真正的数据接口。寻找Ajax接口打开浏览器开发者工具F12进入“网络”(Network)选项卡筛选XHR/Fetch请求。在点评店铺页面滚动或点击“查看更多评论”时观察出现的请求。通常会找到一个包含“review”或“shop”关键词的请求其响应是JSON格式里面包含了结构化的评论数据。这种方式比解析HTML更稳定、更高效。解析JSON数据如果找到了Ajax接口那么数据提取就变成了处理JSON。import json def parse_json_reviews(json_data): reviews [] data json.loads(json_data) # 根据实际接口结构解析以下为示例 for item in data.get(reviewList, []): review { user_name: item.get(user, {}).get(userName), rating: item.get(star), # 评分如50表示5星 comment: item.get(comment), avg_price: item.get(avgPrice), # 人均消费 review_time: item.get(reviewTime), shop_id: item.get(shopId), shop_name: item.get(shopName) } # 数据清洗可以在这里初步进行例如过滤掉空评论 if review[comment] and review[rating]: reviews.append(review) return reviews备用方案HTML解析如果无法找到或模拟Ajax接口则需回归HTML解析。使用BeautifulSoup定位评论元素。from bs4 import BeautifulSoup def parse_html_reviews(html_content): soup BeautifulSoup(html_content, lxml) reviews [] # 通过CSS选择器定位每一条评论的容器具体选择器需实际分析页面 review_items soup.select(div.review-words) # 示例选择器 for item in review_items: try: user_name item.select_one(.name).text.strip() rating_class item.select_one(.sml-rank-stars)[class][-1] # 从class中提取评分如“mid-str50” rating int(rating_class.replace(mid-str, )) / 10 # 转换为5分制 comment item.select_one(.review-words-all).text.strip() # ... 提取其他字段 reviews.append({user_name: user_name, rating: rating, comment: comment}) except AttributeError as e: # 某个字段可能缺失记录日志并跳过 print(f解析单个评论时出错: {e}) continue return reviews实操心得优先寻找接口Ajax接口返回的是结构化数据解析稳定性和效率远高于HTML解析。花时间在浏览器开发者工具里逆向接口是值得的。异常处理要细致网页结构可能微调解析代码必须包含充分的try...except和字段存在性判断.get()方法避免因单条数据格式异常导致整个程序崩溃。使用strip()清理数据提取的文本通常首尾带有空格或换行符立即使用.strip()清理为后续清洗减轻负担。4. 数据清洗从原始文本到规整数据爬取下来的数据是“脏”的清洗是让数据产生价值的关键一步。这个过程主要在Pandas的DataFrame中进行。4.1 常见脏数据问题与处理手段假设我们已经将爬取的原始数据加载到了DataFramedf中。import pandas as pd import numpy as np import re # 1. 处理缺失值 print(df.isnull().sum()) # 查看各列缺失情况 # 对于关键字段如‘rating’缺失可能影响分析考虑删除或填充 df_cleaned df.dropna(subset[rating, comment]) # 删除评分和评论同时为空的记录 # 对于‘avg_price’可以用该店铺的平均值或中位数填充 df_cleaned[avg_price] df_cleaned[avg_price].fillna(df_cleaned[avg_price].median()) # 2. 处理重复值 df_cleaned df_cleaned.drop_duplicates(subset[user_name, comment, review_time]) # 根据核心字段去重 # 3. 格式化与类型转换 # 评分可能是字符串‘5.0’或‘50’需要统一为数值型 def normalize_rating(r): if isinstance(r, str): if 星 in r: return float(r[0]) # 提取“5星”中的5 elif len(r) 2: # 类似‘50’的格式 return float(r) / 10 return float(r) df_cleaned[rating] df_cleaned[rating].apply(normalize_rating) # 人均消费可能是字符串‘150’或‘150元’ def extract_price(p): if pd.isna(p): return np.nan if isinstance(p, str): # 使用正则表达式提取数字 nums re.findall(r\d, p) return float(nums[0]) if nums else np.nan return float(p) df_cleaned[avg_price] df_cleaned[avg_price].apply(extract_price) # 4. 评论文本清洗 def clean_comment(text): if pd.isna(text): return text str(text) # 去除换行符、多余空格 text re.sub(r\s, , text) # 去除常见的无意义符号或广告根据实际情况调整 text re.sub(r【.*?】|#.*?#|回复.*?|来自.*?客户端, , text) # 去除首尾空格 return text.strip() df_cleaned[comment_cleaned] df_cleaned[comment].apply(clean_comment) # 5. 处理异常值 # 评分范围应在1-5之间 df_cleaned df_cleaned[(df_cleaned[rating] 1) (df_cleaned[rating] 5)] # 人均消费设定一个合理范围例如10-5000元 df_cleaned df_cleaned[(df_cleaned[avg_price] 10) (df_cleaned[avg_price] 5000)] print(f清洗后数据形状: {df_cleaned.shape}) print(df_cleaned.head())4.2 文本数据的深度处理情感与关键词清洗后的文本数据可以进一步挖掘。import jieba from collections import Counter # 假设我们想分析评论情感简易版和提取高频关键词 # 情感分析基于情感词典的简单方法 positive_words [好, 不错, 喜欢, 推荐, 美味, 新鲜, 环境好, 服务好, 划算] negative_words [差, 不好, 失望, 贵, 慢, 脏, 一般, 不推荐] def simple_sentiment(text): pos_count sum(1 for word in positive_words if word in text) neg_count sum(1 for word in negative_words if word in text) if pos_count neg_count: return 正面 elif neg_count pos_count: return 负面 else: return 中性 df_cleaned[sentiment] df_cleaned[comment_cleaned].apply(simple_sentiment) # 提取高频关键词以名词和形容词为主 def extract_keywords(text, top_n10): words jieba.lcut(text) # 过滤停用词和单字这里需要加载自己的停用词表 filtered_words [w for w in words if len(w) 1 and w not in stop_words] return Counter(filtered_words).most_common(top_n) # 对所有评论的关键词进行汇总 all_keywords Counter() for _, row in df_cleaned.iterrows(): keywords dict(extract_keywords(row[comment_cleaned], top_n5)) all_keywords.update(keywords) print(全局高频关键词:, all_keywords.most_common(20))注意事项数据清洗没有“标准答案”步骤和规则完全取决于数据质量和分析目标。每次爬取后都应先做探索性数据分析EDA用df.describe()、df[column].unique()等方法查看数据分布和异常再制定针对性的清洗策略。清洗过程最好写成函数方便复用和迭代。5. 消费分析报告生成实战清洗后的干净数据是分析的基石。一份有价值的消费分析报告应围绕业务问题展开。以下是一个针对“某商圈餐饮店铺竞争力分析”的案例框架。5.1 核心指标计算与多维透视import pandas as pd import matplotlib.pyplot as plt import seaborn as sns plt.rcParams[font.sans-serif] [SimHei] # 解决中文显示问题 plt.rcParams[axes.unicode_minus] False # 假设df_cleaned包含‘shop_name’, ‘rating’, ‘avg_price’, ‘sentiment’等字段 # 1. 店铺综合评分排行榜 shop_summary df_cleaned.groupby(shop_name).agg({ rating: [mean, count], # 平均分和评论数 avg_price: median, # 人均消费中位数 sentiment: lambda x: (x 正面).sum() / len(x) # 正面情感比例 }).round(2) shop_summary.columns [avg_rating, review_count, median_price, positive_rate] shop_summary shop_summary.sort_values(byavg_rating, ascendingFalse) print(店铺综合评分TOP10:) print(shop_summary.head(10)) # 2. 价格带与评分关系分析 # 创建价格区间 df_cleaned[price_bin] pd.cut(df_cleaned[avg_price], bins[0, 50, 100, 150, 200, 300, 500, 1000], labels[50, 50-100, 100-150, 150-200, 200-300, 300-500, 500]) price_rating df_cleaned.groupby(price_bin)[rating].mean().reset_index() # 3. 评论时间趋势分析如果review_time是日期类型 df_cleaned[review_time] pd.to_datetime(df_cleaned[review_time]) df_cleaned[month] df_cleaned[review_time].dt.to_period(M) monthly_trend df_cleaned.groupby(month).agg({rating:mean, shop_name:count}).rename(columns{shop_name:review_volume})5.2 可视化呈现让数据说话图表比数字更直观。# 绘制图表1店铺评分与评论数散点图气泡图可反映店铺热度 plt.figure(figsize(12, 8)) scatter plt.scatter(shop_summary[avg_rating], shop_summary[review_count], sshop_summary[review_count]/10, # 气泡大小代表评论数 cshop_summary[positive_rate], cmapRdYlGn, alpha0.6) plt.colorbar(scatter, label正面评价比例) plt.xlabel(平均评分) plt.ylabel(评论数量) plt.title(商圈餐饮店铺评分-热度-口碑关系图) plt.grid(True, linestyle--, alpha0.5) # 为排名前几的店铺添加标签 for idx, row in shop_summary.head(5).iterrows(): plt.annotate(idx, (row[avg_rating], row[review_count]), fontsize9) plt.tight_layout() plt.savefig(shop_rating_vs_count.png, dpi300) plt.show() # 绘制图表2各价格区间平均评分柱状图 plt.figure(figsize(10, 6)) sns.barplot(xprice_bin, yrating, dataprice_rating, paletteviridis) plt.axhline(yprice_rating[rating].mean(), colorred, linestyle--, labelf总体平均分({price_rating[rating].mean():.2f})) plt.xlabel(人均消费区间元) plt.ylabel(平均评分) plt.title(不同价格带店铺平均评分对比) plt.legend() plt.xticks(rotation45) plt.tight_layout() plt.savefig(price_rating.png, dpi300) plt.show() # 绘制图表3月度评论量与评分趋势双轴图 fig, ax1 plt.subplots(figsize(14, 7)) ax2 ax1.twinx() # 评论量柱状图 ax1.bar(monthly_trend.index.astype(str), monthly_trend[review_volume], colorskyblue, alpha0.7, label评论量) ax1.set_xlabel(月份) ax1.set_ylabel(评论数量, colorskyblue) ax1.tick_params(axisy, labelcolorskyblue) # 平均分折线图 ax2.plot(monthly_trend.index.astype(str), monthly_trend[rating], colorcoral, markero, linewidth2, label平均评分) ax2.set_ylabel(平均评分, colorcoral) ax2.tick_params(axisy, labelcolorcoral) plt.title(月度评论趋势与口碑变化) # 合并图例 lines1, labels1 ax1.get_legend_handles_labels() lines2, labels2 ax2.get_legend_handles_labels() ax1.legend(lines1 lines2, labels1 labels2, locupper left) plt.xticks(rotation45) fig.tight_layout() plt.savefig(monthly_trend.png, dpi300) plt.show()5.3 生成分析报告将上述分析结果和图表整合成一份简单的报告。report_content f # 商圈餐饮消费分析报告 **分析周期** {df_cleaned[review_time].min().date()} 至 {df_cleaned[review_time].max().date()} **数据总量** {len(df_cleaned)} 条有效评论涉及 {df_cleaned[shop_name].nunique()} 家店铺 ## 核心发现 1. **口碑王者**综合评分最高的店铺是 **{shop_summary.index[0]}**平均分为 {shop_summary.iloc[0][avg_rating]}共收获 {shop_summary.iloc[0][review_count]} 条评论。 2. **消费与满意度**从“价格-评分”关系图来看人均消费在 **{price_rating.loc[price_rating[rating].idxmax(), price_bin]}** 元区间的店铺平均口碑最佳。并非越贵评分越高性价比是关键。 3. **市场热度**评论数量最多的店铺是 **{shop_summary.sort_values(byreview_count, ascendingFalse).index[0]}**表明其市场关注度或客流量最高。 4. **趋势洞察**近几个月评论情感正面率总体保持在 {df_cleaned[sentiment].value_counts(normalizeTrue).get(正面, 0)*100:.1f}%。从月度趋势图可见在 {monthly_trend[review_volume].idxmax()} 月份出现评论高峰可能与促销或节假日相关。 ## 建议 - **对消费者**在选择 {price_rating.loc[price_rating[rating].idxmax(), price_bin]} 元价位段的餐厅时可优先参考本报告中的高评分店铺。 - **对商家**评分高但评论数少的店铺散点图左上区域可能存在“酒香也怕巷子深”的问题建议加强营销曝光。评论数多但评分一般的店铺散点图右侧中部需重点关注负面评论优化服务或产品。 - **对投资者/创业者**{price_rating.loc[price_rating[rating].idxmax(), price_bin]} 元价位段竞争格局与口碑表现俱佳可作为重点考察区间。 *注本报告基于公开网络评论数据生成分析结果仅供参考。* # 将报告保存为Markdown或文本文件 with open(consumption_analysis_report.md, w, encodingutf-8) as f: f.write(report_content) print(分析报告已生成。)6. 实战中遇到的典型问题与解决方案在实际操作这个项目的过程中我踩过不少坑也总结了一些经验。6.1 反爬虫机制应对实录问题请求被重定向到验证页面或返回“请求异常”现象代码运行一段时间后返回的HTML内容包含“验证”或“异常”关键词而非正常数据。排查首先检查请求头是否完整模拟了浏览器特别是User-Agent,Referer。其次检查是否因请求频率过高触发风控。解决方案完善Headers添加Accept-Language、Cache-Control等更多浏览器标准头部。使用IP代理池这是应对IP封锁最有效的方法。可以购买付费代理服务或使用一些免费的代理IP但稳定性差。在Requests中使用代理proxies {http: http://your-proxy:port, https: https://your-proxy:port}并定期更换。降低请求频率在关键请求如翻页、切换店铺间增加更长的、随机的延时例如time.sleep(random.uniform(5, 15))。模拟登录获取Cookie对于需要登录才能查看更多评论的页面必须先模拟登录获取有效的Cookie并放入Session中。这通常需要分析登录接口处理可能存在的加密参数或验证码。问题数据加载不全评论只显示一部分现象解析到的评论数量远少于页面显示的总数。排查页面采用了“滚动加载”或“点击加载更多”的Ajax动态加载技术。初始HTML只包含部分内容。解决方案网络抓包在浏览器中滚动页面或点击“加载更多”在开发者工具的“网络”选项卡中查找新增的XHR请求。这个请求的URL和参数就是获取更多数据的钥匙。模拟Ajax请求分析该请求的URL规律通常包含页码page、店铺IDshopId等参数用代码循环构造请求直接获取JSON格式的数据。这种方式效率远高于解析HTML。6.2 数据清洗与分析的常见陷阱问题人均消费字段格式混乱无法进行数值计算现象avg_price字段里混着“150”、“150元”、“约150”等文本。解决如第4部分所示编写一个健壮的extract_price函数综合运用字符串方法和正则表达式re.findall(r\d, p)来提取数字部分。务必使用try...except包裹处理无法解析的情况。问题情感分析准确率低现象简单的关键词匹配法会把“不是不好吃”误判为负面。解决对于学习项目简单词典法可行。但对于更严肃的分析应考虑使用成熟的中文情感分析库如snownlp、paddlenlp或bert4keras等基于模型的方法。构建领域词典餐饮评论有其特定词汇如“鲜嫩多汁”、“踩雷”可以手动扩充正负面词库。结合评分用户打的星级评分是强烈的情感信号。可以以评分为主如1-2星为负3星中性4-5星为正文本情感作为辅助验证。问题分析报告图表中文显示为方框现象使用Matplotlib绘图时坐标轴标签或图例中的中文无法显示。解决在绘图前全局设置中文字体如第5部分代码所示plt.rcParams[font.sans-serif] [SimHei, Microsoft YaHei, DejaVu Sans] # 指定字体 plt.rcParams[axes.unicode_minus] False # 解决负号显示问题确保你的系统中已安装相应字体。6.3 工程化与效率优化思考当项目从单次运行变为需要定期执行时需要考虑更多。增量爬取每次都全量爬取效率低下。可以在数据库表中增加update_time字段每次只爬取上次爬取时间之后的新增评论。或者记录已爬取的最大评论ID只爬取ID更大的数据。任务调度使用APScheduler或操作系统的crontabLinux或计划任务Windows来定时执行爬虫和分析脚本。代码结构化将爬虫、清洗、分析、报告生成分别写成独立的模块或函数通过配置文件如config.yaml管理店铺ID列表、数据库连接信息等提高代码可维护性和复用性。数据存储升级数据量变大后考虑使用更专业的数据库如PostgreSQL或数据仓库如ClickHouse以支持更复杂的分析查询。这个项目打包的不仅是一段段代码更是一套解决问题的完整思维方式和实践流程。从最初的网页请求到最终的分析报告每一步都蕴含着对技术细节的考量和对业务逻辑的理解。我个人的体会是爬虫只是获取数据的手段真正的价值在于后续的清洗、分析和洞察。在这个过程中耐心和细致比单纯追求爬取速度更重要一个健壮的数据管道远比一个快速但脆弱的脚本更有长期价值。最后一个小建议在开始任何新平台的爬取前花足够的时间手动在浏览器里操作、观察网络请求、理解数据结构和网站逻辑这会让后续的编码工作事半功倍。本文还有配套的精品资源点击获取 Python爬虫实战：大众点评数据采集、清洗与商业分析全流程解析
简介本资源是一套面向高校计算机专业学生与初阶数据工程师的大众点评评论分析实战项目聚焦爬虫开发、数据清洗与消费行为可视化分析全流程可直接用于毕业设计、课程设计或数据分析入门实践。压缩包共61个文件含20个Python核心脚本覆盖异步爬取、多线程图片抓取、OCR识别、MongoDB存取及SHAP可解释性分析、9个JavaScript辅助模块Puppeteer自动化交互逻辑、4份Markdown文档含项目介绍、环境配置与运行说明、4个JSON/YAML配置文件及批处理脚本整体仅90KB轻量易部署。已有151人学习下载资源经多环境测试验证稳定运行配套详细设计文档与模块化代码结构支持快速复现完整链路——从评论与图片采集、文本情感分析、用户画像构建到消费趋势报告生成同时预留扩展接口便于二次开发适配其他平台。1. 项目概述从数据采集到商业洞察的全链路实践最近在整理过往的项目资料翻到了一个挺有意思的“老伙计”——一个基于Python的大众点评评论爬虫及分析项目。这个项目打包了从数据抓取、清洗到生成消费分析报告的全套源码和实战案例。之所以说它有意思是因为它完整地呈现了一个数据驱动的小型商业分析闭环麻雀虽小五脏俱全。对于想从零开始学习数据采集、处理和分析特别是对本地生活、消费行为分析感兴趣的朋友来说这个案例的参考价值非常高。它解决的不仅仅是“怎么爬数据”的技术问题更是“爬了数据怎么用”的商业问题。无论是学生做课程设计、数据分析师练手还是小商家想了解区域内的竞争态势和用户口碑这套流程都能提供一个清晰的、可复现的路径。这个项目的核心价值在于其“端到端”的特性。市面上很多教程只讲爬虫或者只讲数据分析中间的数据清洗和业务逻辑转换往往一笔带过导致学习者很难串联起完整的知识链条。而这个项目恰好填补了这个空白。它从最前端的网页请求开始历经反爬应对、数据解析、脏数据清洗、结构化存储再到利用Pandas等工具进行多维度的消费分析最终输出一份有洞察力的报告。整个过程涉及Python基础、网络请求库如Requests、解析库如BeautifulSoup、lxml、数据存储如CSV、MySQL、数据分析Pandas、Matplotlib/Seaborn等多个技能点是一个综合性极强的实战项目。2. 项目核心思路与技术选型解析2.1 为什么选择大众点评作为数据源在做任何数据项目之前明确数据源的价值至关重要。选择大众点评主要基于以下几点考量首先数据价值密度高。大众点评上的用户评论是典型的UGC用户生成内容包含了价格、口味、服务、环境、推荐菜等结构化标签以及大量非结构化的文本描述。这些信息是分析消费者偏好、店铺竞争力、区域餐饮趋势的宝贵原材料。其次应用场景明确且广泛。基于这些数据的分析报告可以服务于多个角色对于餐饮创业者可以用于选址分析和竞品调研对于现有商家可以用于口碑监控和菜品优化对于市场研究人员可以用于洞察消费趋势和区域经济活力。最后技术挑战适中适合练手。大众点评具有一定的反爬机制如请求头校验、频率限制、动态加载等但又不至于像一些大型平台那样拥有极其复杂的风控体系。攻克它的过程能很好地锻炼解决常见反爬问题的能力如模拟登录、处理Cookie、应对Ajax动态加载等这些都是爬虫工程师的必备技能。2.2 技术栈选型背后的逻辑整个项目采用Python作为主力语言这是数据科学领域的“普通话”。具体到库的选择每一个都有其明确的职责和优势网络请求Requests 会话SessionRequests人性化、简洁的HTTP库是发起网络请求的基石。我们用它来构造GET/POST请求获取网页HTML源码。会话Session这是应对需要登录或维持状态网站的关键。Session对象可以自动处理Cookies在多次请求间保持登录状态对于需要翻页爬取评论的场景至关重要。直接使用requests.get()而不维护会话很可能在爬取几页后就被系统识别为异常请求。页面解析BeautifulSoup 或 lxmlBeautifulSoup语法友好适合初学者快速上手。它像一把“瑞士军刀”能很好地处理不规范的HTML。在本项目中它非常适合从复杂的点评页面中定位并提取出评论区块、用户昵称、评分、评论内容、人均消费等字段。lxml解析速度更快效率更高特别是在处理大量页面时优势明显。它的XPath选择器功能强大且精确。项目中可以结合使用用lxml进行初步的快速解析再用BeautifulSoup处理细节。数据存储CSV 与 MySQL 的权衡CSV文件轻量、易读、无需额外服务是快速验证和中小规模数据如单店几千条评论存储的首选。使用Python内置的csv模块或Pandas的to_csv方法可以轻松读写。MySQL数据库当需要爬取多个城市、成千上万家店铺的数据时CSV文件在管理和查询上会显得力不从心。此时应选用MySQL。它将数据表化便于进行复杂的关联查询、去重和增量更新。使用pymysql或SQLAlchemy库可以实现Python与MySQL的交互。数据分析与可视化Pandas Matplotlib/SeabornPandas数据分析的核心。它的DataFrame结构是处理表格数据的利器。我们爬取的原始数据加载到DataFrame后可以方便地进行分组聚合GroupBy、数据透视Pivot Table、过滤排序等操作从而计算出平均评分、价格分布、热门关键词等指标。Matplotlib/Seaborn数据可视化的黄金组合。Matplotlib提供基础的绘图能力Seaborn基于Matplotlib提供了更美观的统计图形和更简洁的API。用于生成评分分布直方图、价格区间饼图、评论情感趋势折线图等让分析结果一目了然。注意法律与道德边界。在开始任何爬虫项目前必须仔细阅读目标网站的robots.txt协议和服务条款。本项目及所有讨论仅用于个人学习、技术研究和符合条款规定的少量数据抓取。严禁对网站进行高频、大规模、商业化的恶意爬取以免对目标服务器造成压力并引发法律风险。在实际操作中务必在请求间添加合理延时如time.sleep(random.uniform(1, 3))模拟人类浏览行为。3. 爬虫核心模块设计与实现细节3.1 请求头Headers与反爬策略实战爬虫能否成功第一道关卡就是请求头。一个“像浏览器”的请求头能绕过大部分基础的反爬检测。import requests import time import random headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Accept-Encoding: gzip, deflate, br, Connection: keep-alive, Upgrade-Insecure-Requests: 1, Referer: https://www.dianping.com/, # 模拟从首页跳转而来 } session requests.Session() session.headers.update(headers) def get_page(url): try: # 添加随机延时避免请求过于频繁 time.sleep(random.uniform(2, 5)) response session.get(url, timeout10) response.raise_for_status() # 检查HTTP状态码非200则抛出异常 # 可以在这里检查响应内容是否包含反爬提示如“验证”等关键词 if 安全验证 in response.text: print(触发反爬机制需要处理验证或更换IP) return None return response.text except requests.exceptions.RequestException as e: print(f请求失败: {url}, 错误: {e}) return None关键点解析User-Agent这是最重要的字段必须使用现代浏览器的标准UA。可以准备一个UA池轮流使用降低被识别的风险。Referer表示请求的来源页面。对于爬取分页评论将Referer设置为上一页的URL会使请求看起来更自然。Session对象使用session.get()而非requests.get()可以让服务器认为是一整个浏览器会话在操作自动管理Cookies。延时策略time.sleep(random.uniform(2, 5))添加了一个2到5秒的随机等待时间。这是最基本的“礼貌爬虫”准则绝对不要用循环无延迟地疯狂请求。3.2 页面解析与数据提取的精准定位大众点评的评论数据通常不是直接嵌在初始HTML中而是通过Ajax异步加载。我们需要找到真正的数据接口。寻找Ajax接口打开浏览器开发者工具F12进入“网络”(Network)选项卡筛选XHR/Fetch请求。在点评店铺页面滚动或点击“查看更多评论”时观察出现的请求。通常会找到一个包含“review”或“shop”关键词的请求其响应是JSON格式里面包含了结构化的评论数据。这种方式比解析HTML更稳定、更高效。解析JSON数据如果找到了Ajax接口那么数据提取就变成了处理JSON。import json def parse_json_reviews(json_data): reviews [] data json.loads(json_data) # 根据实际接口结构解析以下为示例 for item in data.get(reviewList, []): review { user_name: item.get(user, {}).get(userName), rating: item.get(star), # 评分如50表示5星 comment: item.get(comment), avg_price: item.get(avgPrice), # 人均消费 review_time: item.get(reviewTime), shop_id: item.get(shopId), shop_name: item.get(shopName) } # 数据清洗可以在这里初步进行例如过滤掉空评论 if review[comment] and review[rating]: reviews.append(review) return reviews备用方案HTML解析如果无法找到或模拟Ajax接口则需回归HTML解析。使用BeautifulSoup定位评论元素。from bs4 import BeautifulSoup def parse_html_reviews(html_content): soup BeautifulSoup(html_content, lxml) reviews [] # 通过CSS选择器定位每一条评论的容器具体选择器需实际分析页面 review_items soup.select(div.review-words) # 示例选择器 for item in review_items: try: user_name item.select_one(.name).text.strip() rating_class item.select_one(.sml-rank-stars)[class][-1] # 从class中提取评分如“mid-str50” rating int(rating_class.replace(mid-str, )) / 10 # 转换为5分制 comment item.select_one(.review-words-all).text.strip() # ... 提取其他字段 reviews.append({user_name: user_name, rating: rating, comment: comment}) except AttributeError as e: # 某个字段可能缺失记录日志并跳过 print(f解析单个评论时出错: {e}) continue return reviews实操心得优先寻找接口Ajax接口返回的是结构化数据解析稳定性和效率远高于HTML解析。花时间在浏览器开发者工具里逆向接口是值得的。异常处理要细致网页结构可能微调解析代码必须包含充分的try...except和字段存在性判断.get()方法避免因单条数据格式异常导致整个程序崩溃。使用strip()清理数据提取的文本通常首尾带有空格或换行符立即使用.strip()清理为后续清洗减轻负担。4. 数据清洗从原始文本到规整数据爬取下来的数据是“脏”的清洗是让数据产生价值的关键一步。这个过程主要在Pandas的DataFrame中进行。4.1 常见脏数据问题与处理手段假设我们已经将爬取的原始数据加载到了DataFramedf中。import pandas as pd import numpy as np import re # 1. 处理缺失值 print(df.isnull().sum()) # 查看各列缺失情况 # 对于关键字段如‘rating’缺失可能影响分析考虑删除或填充 df_cleaned df.dropna(subset[rating, comment]) # 删除评分和评论同时为空的记录 # 对于‘avg_price’可以用该店铺的平均值或中位数填充 df_cleaned[avg_price] df_cleaned[avg_price].fillna(df_cleaned[avg_price].median()) # 2. 处理重复值 df_cleaned df_cleaned.drop_duplicates(subset[user_name, comment, review_time]) # 根据核心字段去重 # 3. 格式化与类型转换 # 评分可能是字符串‘5.0’或‘50’需要统一为数值型 def normalize_rating(r): if isinstance(r, str): if 星 in r: return float(r[0]) # 提取“5星”中的5 elif len(r) 2: # 类似‘50’的格式 return float(r) / 10 return float(r) df_cleaned[rating] df_cleaned[rating].apply(normalize_rating) # 人均消费可能是字符串‘150’或‘150元’ def extract_price(p): if pd.isna(p): return np.nan if isinstance(p, str): # 使用正则表达式提取数字 nums re.findall(r\d, p) return float(nums[0]) if nums else np.nan return float(p) df_cleaned[avg_price] df_cleaned[avg_price].apply(extract_price) # 4. 评论文本清洗 def clean_comment(text): if pd.isna(text): return text str(text) # 去除换行符、多余空格 text re.sub(r\s, , text) # 去除常见的无意义符号或广告根据实际情况调整 text re.sub(r【.*?】|#.*?#|回复.*?|来自.*?客户端, , text) # 去除首尾空格 return text.strip() df_cleaned[comment_cleaned] df_cleaned[comment].apply(clean_comment) # 5. 处理异常值 # 评分范围应在1-5之间 df_cleaned df_cleaned[(df_cleaned[rating] 1) (df_cleaned[rating] 5)] # 人均消费设定一个合理范围例如10-5000元 df_cleaned df_cleaned[(df_cleaned[avg_price] 10) (df_cleaned[avg_price] 5000)] print(f清洗后数据形状: {df_cleaned.shape}) print(df_cleaned.head())4.2 文本数据的深度处理情感与关键词清洗后的文本数据可以进一步挖掘。import jieba from collections import Counter # 假设我们想分析评论情感简易版和提取高频关键词 # 情感分析基于情感词典的简单方法 positive_words [好, 不错, 喜欢, 推荐, 美味, 新鲜, 环境好, 服务好, 划算] negative_words [差, 不好, 失望, 贵, 慢, 脏, 一般, 不推荐] def simple_sentiment(text): pos_count sum(1 for word in positive_words if word in text) neg_count sum(1 for word in negative_words if word in text) if pos_count neg_count: return 正面 elif neg_count pos_count: return 负面 else: return 中性 df_cleaned[sentiment] df_cleaned[comment_cleaned].apply(simple_sentiment) # 提取高频关键词以名词和形容词为主 def extract_keywords(text, top_n10): words jieba.lcut(text) # 过滤停用词和单字这里需要加载自己的停用词表 filtered_words [w for w in words if len(w) 1 and w not in stop_words] return Counter(filtered_words).most_common(top_n) # 对所有评论的关键词进行汇总 all_keywords Counter() for _, row in df_cleaned.iterrows(): keywords dict(extract_keywords(row[comment_cleaned], top_n5)) all_keywords.update(keywords) print(全局高频关键词:, all_keywords.most_common(20))注意事项数据清洗没有“标准答案”步骤和规则完全取决于数据质量和分析目标。每次爬取后都应先做探索性数据分析EDA用df.describe()、df[column].unique()等方法查看数据分布和异常再制定针对性的清洗策略。清洗过程最好写成函数方便复用和迭代。5. 消费分析报告生成实战清洗后的干净数据是分析的基石。一份有价值的消费分析报告应围绕业务问题展开。以下是一个针对“某商圈餐饮店铺竞争力分析”的案例框架。5.1 核心指标计算与多维透视import pandas as pd import matplotlib.pyplot as plt import seaborn as sns plt.rcParams[font.sans-serif] [SimHei] # 解决中文显示问题 plt.rcParams[axes.unicode_minus] False # 假设df_cleaned包含‘shop_name’, ‘rating’, ‘avg_price’, ‘sentiment’等字段 # 1. 店铺综合评分排行榜 shop_summary df_cleaned.groupby(shop_name).agg({ rating: [mean, count], # 平均分和评论数 avg_price: median, # 人均消费中位数 sentiment: lambda x: (x 正面).sum() / len(x) # 正面情感比例 }).round(2) shop_summary.columns [avg_rating, review_count, median_price, positive_rate] shop_summary shop_summary.sort_values(byavg_rating, ascendingFalse) print(店铺综合评分TOP10:) print(shop_summary.head(10)) # 2. 价格带与评分关系分析 # 创建价格区间 df_cleaned[price_bin] pd.cut(df_cleaned[avg_price], bins[0, 50, 100, 150, 200, 300, 500, 1000], labels[50, 50-100, 100-150, 150-200, 200-300, 300-500, 500]) price_rating df_cleaned.groupby(price_bin)[rating].mean().reset_index() # 3. 评论时间趋势分析如果review_time是日期类型 df_cleaned[review_time] pd.to_datetime(df_cleaned[review_time]) df_cleaned[month] df_cleaned[review_time].dt.to_period(M) monthly_trend df_cleaned.groupby(month).agg({rating:mean, shop_name:count}).rename(columns{shop_name:review_volume})5.2 可视化呈现让数据说话图表比数字更直观。# 绘制图表1店铺评分与评论数散点图气泡图可反映店铺热度 plt.figure(figsize(12, 8)) scatter plt.scatter(shop_summary[avg_rating], shop_summary[review_count], sshop_summary[review_count]/10, # 气泡大小代表评论数 cshop_summary[positive_rate], cmapRdYlGn, alpha0.6) plt.colorbar(scatter, label正面评价比例) plt.xlabel(平均评分) plt.ylabel(评论数量) plt.title(商圈餐饮店铺评分-热度-口碑关系图) plt.grid(True, linestyle--, alpha0.5) # 为排名前几的店铺添加标签 for idx, row in shop_summary.head(5).iterrows(): plt.annotate(idx, (row[avg_rating], row[review_count]), fontsize9) plt.tight_layout() plt.savefig(shop_rating_vs_count.png, dpi300) plt.show() # 绘制图表2各价格区间平均评分柱状图 plt.figure(figsize(10, 6)) sns.barplot(xprice_bin, yrating, dataprice_rating, paletteviridis) plt.axhline(yprice_rating[rating].mean(), colorred, linestyle--, labelf总体平均分({price_rating[rating].mean():.2f})) plt.xlabel(人均消费区间元) plt.ylabel(平均评分) plt.title(不同价格带店铺平均评分对比) plt.legend() plt.xticks(rotation45) plt.tight_layout() plt.savefig(price_rating.png, dpi300) plt.show() # 绘制图表3月度评论量与评分趋势双轴图 fig, ax1 plt.subplots(figsize(14, 7)) ax2 ax1.twinx() # 评论量柱状图 ax1.bar(monthly_trend.index.astype(str), monthly_trend[review_volume], colorskyblue, alpha0.7, label评论量) ax1.set_xlabel(月份) ax1.set_ylabel(评论数量, colorskyblue) ax1.tick_params(axisy, labelcolorskyblue) # 平均分折线图 ax2.plot(monthly_trend.index.astype(str), monthly_trend[rating], colorcoral, markero, linewidth2, label平均评分) ax2.set_ylabel(平均评分, colorcoral) ax2.tick_params(axisy, labelcolorcoral) plt.title(月度评论趋势与口碑变化) # 合并图例 lines1, labels1 ax1.get_legend_handles_labels() lines2, labels2 ax2.get_legend_handles_labels() ax1.legend(lines1 lines2, labels1 labels2, locupper left) plt.xticks(rotation45) fig.tight_layout() plt.savefig(monthly_trend.png, dpi300) plt.show()5.3 生成分析报告将上述分析结果和图表整合成一份简单的报告。report_content f # 商圈餐饮消费分析报告 **分析周期** {df_cleaned[review_time].min().date()} 至 {df_cleaned[review_time].max().date()} **数据总量** {len(df_cleaned)} 条有效评论涉及 {df_cleaned[shop_name].nunique()} 家店铺 ## 核心发现 1. **口碑王者**综合评分最高的店铺是 **{shop_summary.index[0]}**平均分为 {shop_summary.iloc[0][avg_rating]}共收获 {shop_summary.iloc[0][review_count]} 条评论。 2. **消费与满意度**从“价格-评分”关系图来看人均消费在 **{price_rating.loc[price_rating[rating].idxmax(), price_bin]}** 元区间的店铺平均口碑最佳。并非越贵评分越高性价比是关键。 3. **市场热度**评论数量最多的店铺是 **{shop_summary.sort_values(byreview_count, ascendingFalse).index[0]}**表明其市场关注度或客流量最高。 4. **趋势洞察**近几个月评论情感正面率总体保持在 {df_cleaned[sentiment].value_counts(normalizeTrue).get(正面, 0)*100:.1f}%。从月度趋势图可见在 {monthly_trend[review_volume].idxmax()} 月份出现评论高峰可能与促销或节假日相关。 ## 建议 - **对消费者**在选择 {price_rating.loc[price_rating[rating].idxmax(), price_bin]} 元价位段的餐厅时可优先参考本报告中的高评分店铺。 - **对商家**评分高但评论数少的店铺散点图左上区域可能存在“酒香也怕巷子深”的问题建议加强营销曝光。评论数多但评分一般的店铺散点图右侧中部需重点关注负面评论优化服务或产品。 - **对投资者/创业者**{price_rating.loc[price_rating[rating].idxmax(), price_bin]} 元价位段竞争格局与口碑表现俱佳可作为重点考察区间。 *注本报告基于公开网络评论数据生成分析结果仅供参考。* # 将报告保存为Markdown或文本文件 with open(consumption_analysis_report.md, w, encodingutf-8) as f: f.write(report_content) print(分析报告已生成。)6. 实战中遇到的典型问题与解决方案在实际操作这个项目的过程中我踩过不少坑也总结了一些经验。6.1 反爬虫机制应对实录问题请求被重定向到验证页面或返回“请求异常”现象代码运行一段时间后返回的HTML内容包含“验证”或“异常”关键词而非正常数据。排查首先检查请求头是否完整模拟了浏览器特别是User-Agent,Referer。其次检查是否因请求频率过高触发风控。解决方案完善Headers添加Accept-Language、Cache-Control等更多浏览器标准头部。使用IP代理池这是应对IP封锁最有效的方法。可以购买付费代理服务或使用一些免费的代理IP但稳定性差。在Requests中使用代理proxies {http: http://your-proxy:port, https: https://your-proxy:port}并定期更换。降低请求频率在关键请求如翻页、切换店铺间增加更长的、随机的延时例如time.sleep(random.uniform(5, 15))。模拟登录获取Cookie对于需要登录才能查看更多评论的页面必须先模拟登录获取有效的Cookie并放入Session中。这通常需要分析登录接口处理可能存在的加密参数或验证码。问题数据加载不全评论只显示一部分现象解析到的评论数量远少于页面显示的总数。排查页面采用了“滚动加载”或“点击加载更多”的Ajax动态加载技术。初始HTML只包含部分内容。解决方案网络抓包在浏览器中滚动页面或点击“加载更多”在开发者工具的“网络”选项卡中查找新增的XHR请求。这个请求的URL和参数就是获取更多数据的钥匙。模拟Ajax请求分析该请求的URL规律通常包含页码page、店铺IDshopId等参数用代码循环构造请求直接获取JSON格式的数据。这种方式效率远高于解析HTML。6.2 数据清洗与分析的常见陷阱问题人均消费字段格式混乱无法进行数值计算现象avg_price字段里混着“150”、“150元”、“约150”等文本。解决如第4部分所示编写一个健壮的extract_price函数综合运用字符串方法和正则表达式re.findall(r\d, p)来提取数字部分。务必使用try...except包裹处理无法解析的情况。问题情感分析准确率低现象简单的关键词匹配法会把“不是不好吃”误判为负面。解决对于学习项目简单词典法可行。但对于更严肃的分析应考虑使用成熟的中文情感分析库如snownlp、paddlenlp或bert4keras等基于模型的方法。构建领域词典餐饮评论有其特定词汇如“鲜嫩多汁”、“踩雷”可以手动扩充正负面词库。结合评分用户打的星级评分是强烈的情感信号。可以以评分为主如1-2星为负3星中性4-5星为正文本情感作为辅助验证。问题分析报告图表中文显示为方框现象使用Matplotlib绘图时坐标轴标签或图例中的中文无法显示。解决在绘图前全局设置中文字体如第5部分代码所示plt.rcParams[font.sans-serif] [SimHei, Microsoft YaHei, DejaVu Sans] # 指定字体 plt.rcParams[axes.unicode_minus] False # 解决负号显示问题确保你的系统中已安装相应字体。6.3 工程化与效率优化思考当项目从单次运行变为需要定期执行时需要考虑更多。增量爬取每次都全量爬取效率低下。可以在数据库表中增加update_time字段每次只爬取上次爬取时间之后的新增评论。或者记录已爬取的最大评论ID只爬取ID更大的数据。任务调度使用APScheduler或操作系统的crontabLinux或计划任务Windows来定时执行爬虫和分析脚本。代码结构化将爬虫、清洗、分析、报告生成分别写成独立的模块或函数通过配置文件如config.yaml管理店铺ID列表、数据库连接信息等提高代码可维护性和复用性。数据存储升级数据量变大后考虑使用更专业的数据库如PostgreSQL或数据仓库如ClickHouse以支持更复杂的分析查询。这个项目打包的不仅是一段段代码更是一套解决问题的完整思维方式和实践流程。从最初的网页请求到最终的分析报告每一步都蕴含着对技术细节的考量和对业务逻辑的理解。我个人的体会是爬虫只是获取数据的手段真正的价值在于后续的清洗、分析和洞察。在这个过程中耐心和细致比单纯追求爬取速度更重要一个健壮的数据管道远比一个快速但脆弱的脚本更有长期价值。最后一个小建议在开始任何新平台的爬取前花足够的时间手动在浏览器里操作、观察网络请求、理解数据结构和网站逻辑这会让后续的编码工作事半功倍。本文还有配套的精品资源点击获取