Python 网页爬虫入门：requests+BeautifulSoup 实战 09

本篇为Python爬虫入门实战案例，专为编程小白打造！教你用requests和BeautifulSoup库，从零实现一个功能完整的网页爬虫，获取网页标题、链接、正文等数据，新手能快速掌握HTTP请求、HTML解析的核心用法，轻松入门Python爬虫开发！

图1：Python爬虫核心流程 – HTTP请求与HTML数据提取

pip install requests beautifulsoup4

# 基于requests+BeautifulSoup的网页爬虫入门实战
import requests
from bs4 import BeautifulSoup
import time # 导入时间库，用于添加请求延迟，规避反爬def web_spider(url):
“””
网页爬虫核心函数，实现标题、链接、正文的提取
:param url: 待爬取的目标网页URL地址
:return: 爬取成功返回数据字典，失败返回None
“””
# 配置请求头，模拟Chrome浏览器访问，解决403 Forbidden反爬
headers = {
“User-Agent”: “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36”,
“Accept”: “text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8”,
“Accept-Language”: “zh-CN,zh;q=0.9”
}try:
# 发送GET请求，设置10秒超时，防止网络卡顿程序卡死
response = requests.get(url, headers=headers, timeout=10)
# 检查响应状态码，非200直接抛出异常，进入错误处理
response.raise_for_status()
# 强制设置编码为UTF-8，彻底解决网页中文乱码问题
response.encoding = “utf-8”
# 初始化BeautifulSoup，使用python内置解析器，无需额外安装
soup = BeautifulSoup(response.text, “html.parser”)# 1. 提取网页标题，做空值判断，避免程序报错
page_title = soup.title.string if soup.title else “该网页无标题”
print(f”\n 爬取结果 – 网页标题：{page_title}”)# 2. 提取网页所有有效超链接，仅展示前10个避免输出过多
print(“\n 爬取结果 – 网页有效链接（前10个）：”)
all_links = soup.find_all(“a”, href=True) # 只获取带href属性的a标签
valid_links = [link for link in all_links if not link[“href”].startswith((“javascript:”, “#”, “mailto:”))]
for idx, link in enumerate(valid_links[:10], start=1):
print(f” {idx}. {link[‘href’]}”)# 3. 提取网页正文内容，仅展示前5段，每段截取前150字符
print(“\n 爬取结果 – 网页正文内容（前5段）：”)
all_paragraphs = soup.find_all(“p”)
for idx, para in enumerate(all_paragraphs[:5], start=1):
para_text = para.get_text().strip() # 去除文本前后空格和换行
if para_text: # 过滤空的p标签
print(f” {idx}. {para_text[:150]}…” if len(para_text) > 150 else f” {idx}. {para_text}”)# 添加1秒请求延迟，模拟人类访问行为，降低被封IP风险
time.sleep(1)
# 封装爬取结果，返回字典便于后续数据处理
return {
“page_title”: page_title,
“valid_links”: valid_links,
“page_paragraphs”: all_paragraphs
}# 捕获所有requests请求异常，统一错误处理
except requests.exceptions.RequestException as e:
print(f”\n 爬取失败！错误原因：{str(e)}”)
return Nonedef main():
“””
主程序入口，处理用户输入，调用爬虫函数
“””
print(“=” * 60)
print(” 网页爬虫入门 v1.0 | 基于requests+BeautifulSoup”)
print(” 功能：网页标题提取 + 有效链接爬取 + 正文内容提取”)
print(” 适用：Python零基础小白 | 爬虫入门学习”)
print(“=” * 60)

# 获取用户输入的URL，做简单的格式处理
user_url = input(“\n请输入要爬取的网页URL（示例：https://www.example.com）：”).strip()
# 自动补全HTTPS协议，避免用户输入无协议URL导致爬取失败
if not user_url.startswith((“http://”, “https://”)):
user_url = f”https://{user_url}”
print(f”🔧 自动补全协议，目标URL：{user_url}”)

# 调用爬虫函数执行爬取
web_spider(user_url)
print(“\n 爬虫程序执行完成！”)

# 程序入口，防止被导入时自动执行
if __name__ == “__main__”:
main()

============================================================
网页爬虫入门 v1.0 | 基于requests+BeautifulSoup
功能：网页标题提取 + 有效链接爬取 + 正文内容提取
适用：Python零基础小白 | 爬虫入门学习
============================================================
请输入要爬取的网页URL（示例：https://www.example.com）：https://www.example.com
爬取结果 – 网页标题：Example Domain
爬取结果 – 网页有效链接（前10个）：
1. https://www.iana.org/domains/example 爬取结果 – 网页正文内容（前5段）：
1. This domain is for use in illustrative examples in documents. You may use this domain in literature without prior coordination or asking for permission.爬虫程序执行完成！

爬虫入门学习小贴士：
1. 本文是「Python实战案例10篇技术专栏」的第09篇，聚焦爬虫入门核心知识点，适合零基础小白；
2. 学习爬虫的核心是「多动手实践」，尝试爬取不同类型的静态网页，对比标签结构和解析方式；
3. 遇到反爬问题不要放弃，通过搜索引擎查找解决方案，是提升编程能力的最佳方式；
4. 后续将更新Scrapy框架实战教程，带你从「入门爬虫」升级为「专业爬虫开发」。

本文为「小白编程笔记」原创 · Python零基础入门实战系列 | 未经授权，禁止转载

文章标签：
Python 网页爬虫入门
Python爬虫
requests库
BeautifulSoup4
HTML解析
Python网络爬虫
Python实战案例
爬虫入门教程