0

0

Python里urllib.request 网络请求模块urllib的核心功能详解

尼克

尼克

发布时间:2025-06-09 16:51:03

|

384人浏览过

|

来源于php中文网

原创

python中urllib.request的核心用途是发送网络请求并获取响应,其作为标准库适用于轻量级或受限环境。1. 它可通过urlopen()发起get请求,并支持设置超时;2. 使用request对象可自定义请求头、发送post数据;3. 可结合http.cookiejar处理cookie以保持登录状态;4. 支持默认重定向处理,也可通过httpredirecthandler禁用;5. 必须捕获urlerror、httperror及socket.timeout等异常以确保稳定性。

在Python中,urllib.requesturllib 模块中最核心的组件之一,用于发送网络请求并获取响应。虽然它不像第三方库如 requests 那样简洁易用,但它是标准库的一部分,不需要额外安装,在一些轻量级或受限环境中非常实用。

如果你只是想快速发起一个GET请求,或者需要对HTTP细节有更精细的控制,urllib.request 就派上用场了。下面我们就来详细看看它的几个关键功能和使用方法。


发起基本的GET请求

最简单的使用方式是通过 urllib.request.urlopen() 方法来发起一个GET请求,获取网页内容:

import urllib.request

response = urllib.request.urlopen('https://example.com')
html = response.read()

这个过程相当于浏览器访问了一个网址,并获取到了返回的内容(通常是HTML)。你可以通过 .read() 获取字节流,也可以用 .decode('utf-8') 转成字符串处理。

立即学习Python免费学习笔记(深入)”;

需要注意:

  • 返回的是 http.client.HTTPResponse 对象
  • 默认超时时间较长,建议加上超时设置:
    response = urllib.request.urlopen('https://example.com', timeout=10)

自定义请求头与POST请求

有时候我们需要模拟浏览器行为,比如添加User-Agent、Referer等头部信息,或者发送POST数据。这时就需要构造一个 Request 对象:

import urllib.request
import urllib.parse

data = urllib.parse.urlencode({'username': 'test', 'password': '123456'}).encode('utf-8')
headers = {
    'User-Agent': 'Mozilla/5.0',
    'Content-Type': 'application/x-www-form-urlencoded'
}
req = urllib.request.Request('https://example.com/login', data=data, headers=headers, method='POST')
response = urllib.request.urlopen(req)

几点说明:

Bolt.new
Bolt.new

Bolt.new是一个免费的AI全栈开发工具

下载
  • data 必须是 bytes 类型,所以要用 encode()
  • headers 可以是 dict 或者用 .add_header() 添加
  • method 参数可选,默认根据是否有 data 决定是否为 POST

处理Cookie和重定向

默认情况下,urllib.request 会自动处理重定向(最多20次),但不会持久化保存 Cookie。如果需要保存 Cookie,可以结合 http.cookiejar 模块:

import urllib.request
import http.cookiejar

cj = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
urllib.request.install_opener(opener)

response = opener.open('https://example.com')

这样你就可以在后续请求中复用登录状态了。

关于重定向:

  • 如果你想禁用自动重定向,可以通过自定义 HTTPRedirectHandler 来实现
  • 默认允许最多20次重定向,超过会抛出异常

异常处理不可忽视

网络请求难免遇到各种问题,比如连接失败、超时、服务器错误等,所以必须做好异常捕获:

from urllib.error import URLError, HTTPError
import socket

try:
    response = urllib.request.urlopen('https://example.com', timeout=5)
except HTTPError as e:
    print(f'HTTP 错误: {e.code}')
except URLError as e:
    print(f'URL 错误: {e.reason}')
except socket.timeout:
    print('请求超时')

常见异常类型:

  • URLError:通用错误,比如无法解析域名
  • HTTPError:继承自 URLError,包含状态码和原因
  • socket.timeout超时异常需要单独捕获

基本上就这些。urllib.request 功能虽不如 requests 强大,但在标准库中已经足够应对大多数基础场景。只要注意好请求头、数据格式、异常处理这几个关键点,就能写出稳定可用的网络请求代码。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
cookie
cookie

Cookie 是一种在用户计算机上存储小型文本文件的技术,用于在用户与网站进行交互时收集和存储有关用户的信息。当用户访问一个网站时,网站会将一个包含特定信息的 Cookie 文件发送到用户的浏览器,浏览器会将该 Cookie 存储在用户的计算机上。之后,当用户再次访问该网站时,浏览器会向服务器发送 Cookie,服务器可以根据 Cookie 中的信息来识别用户、跟踪用户行为等。

6500

2023.06.30

document.cookie获取不到怎么解决
document.cookie获取不到怎么解决

document.cookie获取不到的解决办法:1、浏览器的隐私设置;2、Same-origin policy;3、HTTPOnly Cookie;4、JavaScript代码错误;5、Cookie不存在或过期等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

368

2023.11.23

阻止所有cookie什么意思
阻止所有cookie什么意思

阻止所有cookie意味着在浏览器中禁止接受和存储网站发送的cookie。阻止所有cookie可能会影响许多网站的使用体验,因为许多网站使用cookie来提供个性化服务、存储用户信息或跟踪用户行为。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

446

2024.02.23

cookie与session的区别
cookie与session的区别

本专题整合了cookie与session的区别和使用方法等相关内容,阅读专题下面的文章了解更详细的内容。

97

2025.08.19

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

760

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

221

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1566

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

649

2023.11.24

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

76

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 4.9万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号