第一步：用 requests 取回网页

开始前需要安装三个库：requests 负责网络请求，beautifulsoup4 负责解析，pandas 负责把结果存成表格。

拿到目标网址后，第一步是用 requests.get() 发起请求，取回页面的原始 HTML。很多网站会拒绝没有标识的请求，因此在请求头里带上一个正常的 User-Agent 是基本操作。取回的文本，就是后续所有处理的基础。

第二步：用 BeautifulSoup 解析内容

BeautifulSoup 能把手写的 HTML 变成可方便检索的对象。以一个简单的练习站点为例，页面上往往罗列着一组条目，每条包含正文、作者和若干标签。

用 find() 与 find_all() 两个方法，就能按标签和类名把想要的内容逐条提取出来。比如先抓全部条目的容器，再在容器内部取出每一段的文本、作者名和标签。把多页内容循环抓完，最后用 pandas 汇总成一个 DataFrame 保存，一次就能拿到成百上千条数据。

第三步：让大模型做智能提取

前面两步得到的是「原始文本」，要变成可用数据，传统做法是针对每个站点手写解析规则——网站结构一变，规则就失效。AI 网页爬虫的思路是：把清洗后的文本连同明确的指令一起交给大模型（LLM），让它输出固定字段的 JSON。

具体实现上，可以调用任意兼容接口的大模型，把「请从下面文本中提取标题、作者、日期、摘要」这类指令和文本一并发送，要求模型返回结构化结果。这样一来，面对不同结构的页面，只要换指令，就不必重写解析代码。

进阶：动态页面与反爬

如今的网页大量依赖 JavaScript 渲染，requests 直接取回的可能只是空壳。这类页面可以用 Playwright 等无头浏览器先把页面跑起来，再交给 BeautifulSoup 解析。遇到反爬严格的站点，则可以配合代理轮换来控制请求频率。

三点提醒

抓取行为应当遵守目标站的 robots.txt 与服务条款，控制请求节奏，避免对服务器造成压力；只抓公开内容，不碰付费墙后或涉及个人隐私的数据；把爬虫用于学习与研究，而不是批量搬运他人成果。

把三层组合起来——requests 负责抓、BeautifulSoup 负责解、大模型负责提——一个能用的 AI 网页爬虫就搭好了。对需要频繁收集外部数据的开发者来说，这是一项值得掌握的基础能力。

来源：KDnuggets