1. 为什么我推荐用MATLAB做爬虫1.1 别小看MATLAB在爬虫领域的定位先回答一个最常被问到的问题MATLAB也能写爬虫能而且比很多人想象的要顺手。我在某个数据分析项目里需要批量采集公开气象站点数据一开始也想直接上Python但数据拿到之后还是要交给MATLAB做建模分析来回导文件的过程实在折磨人。后来我干脆把爬虫直接写在MATLAB里数据抓下来就落在工作区里清洗、插值、建模一气呵成整个流程瞬间清爽了很多。MATLAB爬虫的定位说白了就是“轻量、顺手、够用就好”。它不像那些专门做爬虫的编程语言那样灵活但对付静态网页、JSON接口、小批量数据抓取完全够用了。尤其适合本来就以MATLAB为主要工具的人特别是做科研、算法验证、课程设计的群体与其为了抓一次数据就折腾一套新环境不如直接用手上现成的工具。当然如果你是准备搞大型数据采集系统、需要处理复杂的JS渲染页面、维护几十个代理IP轮换那我还是建议去用专门的语言。MATLAB爬虫的优点在快速、直接、与数据分析无缝衔接而不是高并发和反反爬。1.2 MATLAB爬虫能解决哪些实际问题结合我自己的使用经验MATLAB爬虫最适合这几类场景抓取公开的JSON接口数据比如天气数据、股票行情、论文元数据。抓取静态网页中的表格、文本内容比如统计数据、排行榜、公告列表。批量下载固定格式的公开文件比如按编号规律排列的PDF、CSV、NC数据文件。配合定时任务做定期数据更新抓完直接进MATLAB的预处理流程。我做过一个行业信息监测的小项目每天定时从几个公示平台抓取最新公告列表用MATLAB爬虫在15分钟内完成抓取、清洗、入库、生成日报的全流程。整个过程也就一百多行代码维护成本极低跑了一年多都没出过大问题。1.3 学习MATLAB爬虫需要什么基础技术要求不高只需要对MATLAB基本语法有概念知道怎么定义变量、调用函数、用循环和条件判断。了解网页的基本结构知道HTML标签大概长什么样知道JSON和数组的对应关系。有一点正则表达式基础或者愿意花半小时学一下常用规则。只要满足这三条剩下的就是按照本文的路线一步步操作。我尽量把每个步骤的原理和细节讲清楚跟着走一遍你就能具备独立完成简单爬虫任务的能力。2. 先把核心函数摸透webread、webwrite、websave与weboptions2.1 四个基础函数的定位与分工MATLAB爬虫的底层实现依托于内置网络函数核心就四个webread、webwrite、websave、weboptions。搞清这几个函数的定位基本就打通了爬虫的主干。webread发送GET请求读取网页或接口返回的内容是日常使用频率最高的函数。返回值可以直接赋给变量如果你请求的是JSON接口再用jsondecode解析成MATLAB的struct或cell数组即可。webwrite发送POST请求用于向服务器提交数据。需要登录、提交表单参数的场景中会用到。websave把请求到的内容直接保存为文件适合下载图片、压缩包、PDF等二进制资源省去手动写文件操作。weboptions配置请求参数的万能选项可以设置超时时间、请求头信息、编码方式、证书验证等是爬虫“是否能顺利把数据拿到”的关键变量。别看函数少组合起来威力不小。下面我逐个拆解用法。2.2 weboptions解决八成爬虫问题的关键配置不少刚用MATLAB爬虫的初学者一上来直接webread(url)结果遇到中文乱码、请求超时、服务器拒绝访问就以为MATLAB爬虫不行。多数情况下是没配置weboptions。weboptions的核心配置项包括配置项作用常用值建议Timeout请求超时秒数默认10秒很多网页10秒根本响应不完30或更长UserAgent自定义请求头中的浏览器标识设置为常见浏览器UA字符串CharacterEncoding指定网页编码格式解决中文乱码的关键UTF-8、GBK等ContentType声明返回内容的类型auto、text、json等CertificateAuthorityHTTPS证书验证方式信任证书时保持默认不信任时可关写一段标准配置示例opts weboptions(... Timeout, 30, ... UserAgent, Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, ... CharacterEncoding, UTF-8);在后面的每个示例中我基本都会带上这个配置。先把它固定下来爬虫之旅会顺畅很多。2.3 第一个示例抓取一个网页的原始内容先来一个最简单的示例随便找一个公开静态网页把它的HTML源码抓到MATLAB里看看url https://example.com; % 仅为示例换成你实际要抓的网址 opts weboptions(Timeout, 30, UserAgent, Mozilla/5.0); htmlText webread(url, opts); % 查看前500个字符 disp(htmlText(1:min(500, numel(htmlText))))这段代码完成的事很简单向指定网址发起GET请求拿到服务器返回的HTML文本打印前500个字符确认内容。要注意webread拿到的是char类型文本不是MATLAB的string。如果你用string(htmlText)转换过后面做正则匹配时某些函数的行为会不一样建议保持char类型操作避免踩坑。到这里你已经完成了MATLAB爬虫的“握手”。接下来进入正题我会带你完成三种最常见的抓取任务。3. 静态网页数据抓取从HTML中提取结构化信息3.1 静态网页抓取的整体流程静态网页的特点是服务器返回的HTML里直接包含你需要的所有数据不需要额外执行JS脚本。抓取静态网页的标准流程分四步确定目标网址用浏览器开发者工具按F12查看网页结构。用webread获取网页HTML源码。用正则表达式或htmlTree解析HTML提取目标数据。把提取到的数据整理成表格结构存入MATLAB变量。我以抓取某个公开排行榜数据为例详细走一遍这个过程。先说思路一个典型的排行榜页面每一行包含排名、名称、数值信息在HTML源码中通常以固定规律的标签重复呈现。只要找到包含数据的标签模式用正则表达式就能批量提取。3.2 确定目标与网页结构分析假设我们要抓取某公开技术论坛的“热门话题排行榜”。打开目标页面后按F12进入开发者工具在Elements面板里找到话题名称所在的HTML标签发现每条话题的结构大致如下li classtopic-item span classrank1/span a classtitleMATLAB爬虫实战技巧/a span classviews12345/span /li这个结构非常规律排名、标题、浏览数分别在class为rank、title、views的标签内。这种规律的HTML结构正是正则可以发挥的分寸。3.3 用正则表达式提取数据正则表达式的核心在于“用模式匹配有规律的内容”。针对上面的HTML结构我写以下正则% 抓取页面HTML url https://example.com/hot-topics; % 示例网址 opts weboptions(Timeout, 30, UserAgent, Mozilla/5.0, CharacterEncoding, UTF-8); htmlText webread(url, opts); % 提取排名 rankPattern span classrank(.*?)/span; ranks regexp(htmlText, rankPattern, tokens, dotexceptnewline); ranks str2double([ranks{:}]); % 提取标题 titlePattern a classtitle(.*?)/a; titles regexp(htmlText, titlePattern, tokens, dotexceptnewline); titles [titles{:}]; % 提取浏览数 viewsPattern span classviews(.*?)/span; viewsStr regexp(htmlText, viewsPattern, tokens, dotexceptnewline); views str2double([viewsStr{:}]);这套正则的关键在于(.*?)这是一种非贪婪匹配意思是从前一个匹配点开始尽可能少地匹配字符直到遇到下一个模式的第一个字符。这样就能精确定位两个固定标签之间的内容。提示非贪婪匹配.*?建议配合dotexceptnewline选项使用否则如果标签之间有换行.会匹配不到换行符以外的内容造成结果为空。执行后ranks、titles、views三个变量分别是数值数组、字符向量元胞数组、数值数组。把它们组合成表格resultTable table(ranks, titles, views, ... VariableNames, {Rank, Title, Views}); disp(resultTable);这样就完成了一个最简单的静态网页数据抓取。整个过程不复杂但对细节有要求比如正则表达式里不要多留空白字符否则匹配会失败。3.4 更稳妥的方案用htmlTree解析网页正则表达式在处理高度规律的HTML时快速有效但遇到结构嵌套复杂、属性顺序不固定的网页时会很吃力。MATLAB其实内置了一套HTML解析器对应的函数是htmlTree和findElement。% 将HTML文本解析为DOM树 tree htmlTree(htmlText); % 找到所有class为topic-item的li元素 items findElement(tree, li.topic-item); % 遍历每个元素提取子内容 numItems numel(items); titles cell(numItems, 1); views zeros(numItems, 1); for i 1:numItems titleElem findElement(items(i), a.title); titles{i} extractHTMLText(titleElem); viewsElem findElement(items(i), span.views); views(i) str2double(extractHTMLText(viewsElem)); endhtmlTree的用法有些像网页编程里DOM操作熟悉document.querySelectorAll的开发者会很容易上手。它的优势是结构清晰、不易误匹配缺点是解析速度较慢、调用层次略深。我的建议是简单重复结构用正则复杂嵌套结构用htmlTree两者结合使用才是最高效的。4. JSON接口数据抓取获取数据的最佳路径4.1 为什么优先找JSON接口在爬虫任务中JSON接口是“优先于”HTML网页的。静态网页的HTML里数据与标签混在一起需要额外解析而JSON接口直接返回结构化数据用MATLAB的jsondecode一句话就能转成变量。省时省力还不容易出错。很多网站虽然页面看起来是富交互的背后其实都有JSON接口在提供数据。找到一个JSON接口比从渲染后的HTML里做层层提取要优雅得多。如何发现JSON接口最简单的方法还是用浏览器的开发者工具切换到Network面板刷新页面后观察网络请求凡是响应类型为json、返回内容结构清晰的请求就是我们要找的接口。在Fetch/XHR标签里通常能直接看到这些请求。4.2 用webread加jsondecode完成抓取假设我找到一个公开的天气接口返回的数据结构大致是{city:某市,temperature:26.5,humidity:60,wind:北风3级}MATLAB端代码非常简单url https://api.example.com/weather/city101010100; % 示例接口 opts weboptions(... Timeout, 30, ... UserAgent, Mozilla/5.0, ... ContentType, json); jsonStr webread(url, opts); data jsondecode(jsonStr); disp(data.city); disp(data.temperature);jsondecode会把JSON对象映射为MATLAB的structJSON数组映射为struct数组或cell数组。访问字段直接用点号语法与MATLAB习惯完全一致。注意有些JSON接口的字段名包含不合法变量名字符比如数字开头、带短横线。jsondecode后可以通过fieldnames(data)查看实际字段名然后用data.(字段名)的方式访问绕开语法限制。4.3 实战批量抓取多个接口并组装成表格实际场景中一个接口往往只返回一天或一条记录我们需要循环抓取多天数据。下面模拟一个批量抓取近七天股票行情的流程symbol 600000; % 示例股票代码 baseUrl https://api.example.com/stock?code%sdate%s; opts weboptions(Timeout, 30, UserAgent, Mozilla/5.0); dates datesstr cellstr(datestr(datetime(2024,12,1):caldays(6):datetime(2024,12,7), yyyy-mm-dd)); n numel(dates); allData struct([]); for i 1:n url sprintf(baseUrl, symbol, dates{i}); try jsonStr webread(url, opts); tmp jsondecode(jsonStr); allData(i).date tmp.date; allData(i).close tmp.close; allData(i).volume tmp.volume; catch ME warning(日期%s抓取失败: %s, dates{i}, ME.message); end end result struct2table(allData);这段代码有几个值得细说的点sprintf用于拼接URL把变量嵌入网址中是批量抓取的基础操作。try-catch包裹请求单次失败不影响整体循环避免某个接口异常导致整批数据中断。循环体之外统一把struct数组转成table方便后续分析。很多初学者会忽视try-catch一旦某个请求意外失败整个脚本就直接中断。批量抓取场景中加一层容错是基本素养。5. 进阶操作webwrite发送POST请求与认证5.1 POST请求的适用场景GET请求适合获取数据但有些接口要求通过POST方式提交参数才能返回目标内容。常见于带有搜索条件的查询接口、需要登录后才能访问的用户接口。POST请求与GET请求的本质区别在于GET把参数放在URL的查询字符串里POST把参数放在请求体中。因此前者在网址上能看到完整参数后者对网址不可见。5.2 用webwrite实现POST请求MATLAB的webwrite是发送POST请求的手段。使用方式很直接url https://api.example.com/search; opts weboptions(... RequestMethod, post, ... MediaType, application/json, ... Timeout, 30); % 构造POST数据MATLAB struct 转 JSON postData struct(keyword, MATLAB爬虫, page, 1, pageSize, 20); jsonData jsonencode(postData); response webwrite(url, jsonData, opts); result jsondecode(response);注意几个关键细节RequestMethod必须设置为post否则webwrite默认使用的POST可能不生效或不规范。MediaType要与服务器期望的请求体格式一致。如果接口要求application/json就设置成application/json如果要求application/x-www-form-urlencoded则设置成对应类型且请求体通常改为structMATLAB会自动编码。jsonencode与jsondecode互为逆操作前者把MATLAB结构转为JSON字符串后者把JSON字符串解回结构。5.3 带Token认证的请求处理很多接口需要认证才能访问常见方式是请求头中加入Authorization字段。在weboptions中可以用HeaderFields配置自定义请求头opts weboptions(... Timeout, 30, ... HeaderFields, {Authorization, Bearer your_token_here}); jsonStr webread(url, opts);这里有个小坑HeaderFields的值必须是以偶数个字符串排列的cell数组两两配对构成“字段名-字段值”。不能像Python requests那样直接传字典写错参数结构就会报错。遇到需要在网页登录后抓取数据的情况一般思路是先观察登录接口用webwrite模拟登录从响应中获取Cookie或Token再在后续请求的HeaderFields中携带这个凭证。这个过程在MATLAB里完全可行但涉及登录的接口往往还有验证码等机制初级教程先不做深挖够用就好。6. 常见问题与排查技巧实录6.1 中文乱码编码问题用webread抓中文网页经常出现乱码。核心原因在于目标页面使用了GBK或其他非UTF-8编码而MATLAB默认按UTF-8解码。排查步骤在浏览器中打开目标网页查看源码或响应头确认页面的charset值。在weboptions中显式设置CharacterEncoding为对应的编码。如果是GBK页面设置opts weboptions(CharacterEncoding, GBK); htmlText webread(url, opts);设置后htmlText里的中文就能正常显示了。另一种情况是接口返回的中文在JSON中被转义成\uXXXX形式这类在jsondecode后通常会自动转回实际字符无需手动处理。提示如果页面同时存在两种编码的片段或者因为服务器配置问题导致响应头与实际内容不一致以网页源码meta charset...标签中声明的编码为准。6.2 请求超时与断线网页响应慢或网络不稳定webread会抛出超时错误。解决方法很简单调大Timeout参数或者加上自动重试机制。我这里提供一个自行封装的带重试的读取函数写法大家可以直接复用function out robustWebread(url, opts) maxRetries 3; for attempt 1:maxRetries try out webread(url, opts); return; catch ME if attempt maxRetries rethrow(ME); else pause(2 * attempt); % 递增等待时间 end end end end重试之间加等待时间是避免连续请求失败后又立刻重试导致压力过大。pause(2 * attempt)让每次重试间隔递增也更不容易被服务器视为异常请求。6.3 HTTPS证书验证失败访问用自签名证书或非公共证书的HTTPS站点时MATLAB可能因为证书验证失败报错。处理方式是在weboptions中调整证书验证相关选项例如设置opts weboptions(CertificateAuthority, false);不过要提醒一下关掉证书验证意味着连接不再验证服务器身份仅建议在可信环境中使用不要随便对所有网站关闭验证。6.4 反爬机制的简单应对这里说的反爬机制是指服务器通过基础手段限制非浏览器来源的访问。最常见的就是检查User-Agent、检查请求频率、要求特定请求头。初级的应对方法设置一个常见浏览器的User-Agentopts weboptions(UserAgent, Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36);控制请求频率避免短时间内高频请求pause(rand * 2 1); % 每次请求后随机暂停1到3秒随机暂停比固定暂停更贴近人工操作习惯能有效降低被识别为机器的概率。6.5 抓回来的数据是乱码或空值怎么办这是新手最常遇到的组合问题。现象是网页明明有数据webread返回的字符串却是空或乱码。排查顺序如下确认URL是否完整、是否需要携带请求头。打印返回文本的前几百字符看是否是正常HTML。用浏览器开发者工具查看目标页面发出的是GET还是POST是否带了额外参数。检查目标页面是否依赖JavaScript动态渲染。如果是返回的HTML可能只是一个空壳所有数据都是JS异步加载的。这时不能直接抓页面正文要转而去找背后真正的JSON接口。动态渲染问题在MATLAB里没有太好的浏览器内核方案去模拟执行JS所以面对这类网站最实际的策略就是找JSON接口。这也是我反复强调“优先找接口”的原因。7. 实操总结与个人体会7.1 我日常使用的固定套路经过多次项目实践我总结了一套固定套路几乎可以应对大多数轻量级抓取需求打开目标网站按F12进入Network面板先看有没有JSON接口。有JSON接口直接确定URL规律用webread加jsondecode抓取。没有JSON接口再看页面HTML结构是否规律。结构很规律用正则表达式或htmlTree提取。结构混乱或依赖JS动态加载放弃直接抓HTML回到第一步找更深层的接口。这套流程执行下来80%以上的轻量级数据抓取问题都能在半小时内解决。7.2 数据抓完只是开始MATLAB爬虫最大的优势不止在于“抓”更在于抓完之后立刻能进行数据分析。表格拿到工作区中table转数组、画图、拟合、统计一气呵成。这种全流程在同一个环境中完成的感觉是用其他语言抓完再导来导去时很难体会到的顺畅。我建议大家把爬虫脚本封装成函数输入参数是URL或日期范围输出是整理好的table。这样逻辑清晰复用方便定时任务可以直接调用。配合MATLAB的定时任务工具自动抓取、处理和生成报告完全可以无人值守。7.3 几点提醒尊重目标网站的访问规则合理控制请求频率不要给服务器造成不必要的压力。公开数据抓取也存在一定的合规边界抓取前确认网站的使用条款个人学习用途相对宽松但如果要用于商业项目请务必确认数据使用的合法性。爬虫这件事很多人一上来就追求技术上的复杂工具链堆得很高。但以我的经验能简单解决的问题尽量简单抓到数据才是核心目的工具只是手段。MATLAB爬虫这把手锤在合适的钉子面前永远是趁手的。