asyncpg是postgresql异步操作的首选,1. 因其原生支持async/await语法,无需适配层,代码更自然;2. 性能卓越,基于c语言实现,直接对接postgresql二进制协议,减少python解释器开销;3. 提供精准的错误处理机制,将postgresql错误码映射为具体的python异常类,如uniqueviolationerror;4. 内置高效的连接池机制,通过create_pool创建连接池,利用min_size和max_size控制连接数量,结合async with pool.acquire()实现连接自动获取与释放,显著降低连接开销并提升资源利用率;5. 支持事务的上下文管理,通过async with conn.transaction()确保操作的原子性,异常时自动回滚,正常结束时自动提交,保障数据一致性;6. 具备良好的类型转换能力,支持jsonb、数组等复杂数据类型,便于处理实际业务场景;综上,asyncpg凭借高性能、易用性和健壮的错误处理机制,成为python中操作postgresql数据库最推荐的异步库。

Python实现异步数据库操作,通常推荐使用支持
async/await
asyncpg
实现异步数据库操作,核心在于利用Python的
asyncio
asyncpg
使用
asyncpg
pip install asyncpg
立即学习“Python免费学习笔记(深入)”;
基本的异步操作流程包括:
execute
fetch
fetchrow
fetchval
import asyncpg
import asyncio
async def main():
# 建立一个连接(通常不推荐在生产环境直接使用,而是用连接池)
conn = None
try:
conn = await asyncpg.connect(user='your_user', password='your_password',
database='your_database', host='127.0.0.1')
print("连接成功!")
# 插入数据
await conn.execute('''
CREATE TABLE IF NOT EXISTS users (
id SERIAL PRIMARY KEY,
name TEXT,
age INT
)
''')
print("表创建或已存在。")
user_name = 'Alice'
user_age = 30
await conn.execute('INSERT INTO users(name, age) VALUES($1, $2)', user_name, user_age)
print(f"插入了用户: {user_name}, {user_age}")
# 查询数据
rows = await conn.fetch('SELECT id, name, age FROM users WHERE age > $1', 25)
print("查询结果:")
for row in rows:
print(f" ID: {row['id']}, Name: {row['name']}, Age: {row['age']}")
# 更新数据
await conn.execute('UPDATE users SET age = $1 WHERE name = $2', 31, 'Alice')
print("更新了Alice的年龄。")
# 再次查询,验证更新
updated_row = await conn.fetchrow("SELECT name, age FROM users WHERE name = 'Alice'")
if updated_row:
print(f"Alice更新后的年龄: {updated_row['age']}")
except asyncpg.exceptions.PostgresError as e:
print(f"数据库操作失败: {e}")
finally:
if conn:
await conn.close()
print("连接已关闭。")
# 运行主函数
# asyncio.run(main()) # 在Python 3.7+ 中使用当我第一次接触到异步编程,尤其是需要与数据库交互时,
asyncpg
首先,它原生支持async/await
其次,性能是它的王牌。
asyncpg
psycopg2
asyncpg
再者,它的错误处理和类型转换做得相当到位。
asyncpg
asyncpg.exceptions.UniqueViolationError
最后,它内置了连接池。这对于任何生产级应用都是至关重要的。手动管理连接非常麻烦且容易出错,而连接池能够高效地复用连接,减少了连接建立和关闭的开销,同时也限制了数据库的最大连接数,保护了数据库资源。这一点,我们接下来会详细聊聊。
谈到数据库连接,尤其是在高并发场景下,连接的创建和销毁是一个不小的开销。每次用户请求都去建立一个新的数据库连接,然后用完就关闭,这就像你每次喝水都要重新烧开水、洗杯子一样,效率极低。这就是为什么连接池如此重要,而
asyncpg
动态WEB网站中的PHP和MySQL详细反映实际程序的需求,仔细地探讨外部数据的验证(例如信用卡卡号的格式)、用户登录以及如何使用模板建立网页的标准外观。动态WEB网站中的PHP和MySQL的内容不仅仅是这些。书中还提到如何串联JavaScript与PHP让用户操作时更快、更方便。还有正确处理用户输入错误的方法,让网站看起来更专业。另外还引入大量来自PEAR外挂函数库的强大功能,对常用的、强大的包
508
asyncpg
asyncpg.create_pool
这种模式带来了几个显著的好处:
max_size
实际使用中,通常会创建一个全局的或应用级别的连接池,然后所有数据库操作都通过这个池来获取连接。
import asyncpg
import asyncio
async def create_and_use_pool():
# 创建连接池
# min_size: 最小连接数
# max_size: 最大连接数
# timeout: 获取连接的超时时间
# command_timeout: SQL命令执行的超时时间
pool = await asyncpg.create_pool(
user='your_user', password='your_password',
database='your_database', host='127.00.1',
min_size=5, max_size=10, command_timeout=60
)
print("连接池创建成功!")
try:
# 从连接池获取一个连接,使用async with确保连接在块结束后自动释放回池
async with pool.acquire() as conn:
# 执行查询
result = await conn.fetchval('SELECT 1 + 1')
print(f"1 + 1 = {result}")
# 插入数据
await conn.execute('INSERT INTO users(name, age) VALUES($1, $2)', 'Bob', 25)
print("插入了Bob。")
# 再次获取连接执行其他操作
async with pool.acquire() as conn:
users = await conn.fetch('SELECT name, age FROM users WHERE name = $1', 'Bob')
if users:
print(f"查询到Bob: {users[0]['name']}, {users[0]['age']}")
except asyncpg.exceptions.PostgresError as e:
print(f"数据库操作失败: {e}")
finally:
# 关闭连接池,释放所有连接
await pool.close()
print("连接池已关闭。")
# asyncio.run(create_and_use_pool())使用
async with pool.acquire() as conn:
数据库操作中,事务和错误处理是保证数据一致性和系统健壮性的基石。在异步环境中,这些概念依然重要,
asyncpg
事务(Transaction)是一组原子性的数据库操作,要么全部成功提交,要么全部失败回滚。这对于需要多步操作才能完成的逻辑(比如转账:从A账户扣款,向B账户加款)至关重要。
asyncpg
import asyncpg
import asyncio
async def transaction_example(pool):
try:
async with pool.acquire() as conn:
# 使用 conn.transaction() 作为上下文管理器来管理事务
async with conn.transaction():
print("事务开始...")
# 假设有一个accounts表,有id和balance字段
# 模拟从账户1转账100到账户2
# 扣款
await conn.execute(
'UPDATE accounts SET balance = balance - $1 WHERE id = $2', 100, 1
)
print("账户1扣款成功。")
# 模拟一个可能失败的操作,比如账户2不存在,或者余额不足
# if True: # 模拟一个错误
# raise ValueError("模拟一个非数据库错误,看事务是否回滚")
# 加款
await conn.execute(
'UPDATE accounts SET balance = balance + $1 WHERE id = $2', 100, 2
)
print("账户2加款成功。")
print("事务成功提交!") # 如果没有异常,事务会自动提交
except asyncpg.exceptions.PostgresError as e:
print(f"数据库事务失败,已回滚: {e}") # 任何PostgresError都会导致事务回滚
except Exception as e:
print(f"非数据库错误导致事务回滚: {e}") # 其他异常也会导致事务回滚当你在
async with conn.transaction():
asyncpg
BEGIN
COMMIT
ROLLBACK
asyncpg
asyncpg
asyncpg.exceptions.PostgresError
import asyncpg
import asyncio
async def error_handling_example(pool):
try:
async with pool.acquire() as conn:
# 尝试插入一个违反唯一约束的数据
# 假设有一个users表,name字段是UNIQUE
await conn.execute('''
CREATE TABLE IF NOT EXISTS unique_users (
id SERIAL PRIMARY KEY,
username TEXT UNIQUE
)
''')
print("unique_users表创建或已存在。")
await conn.execute("INSERT INTO unique_users(username) VALUES($1)", "john_doe")
print("第一次插入john_doe成功。")
# 再次插入相同的username,这将触发UniqueViolationError
await conn.execute("INSERT INTO unique_users(username) VALUES($1)", "john_doe")
print("第二次插入john_doe成功。") # 这行代码通常不会执行到
except asyncpg.exceptions.UniqueViolationError as e:
print(f"捕获到唯一约束冲突错误: {e}")
# 这里可以进行特定的错误处理,例如提示用户换一个用户名
except asyncpg.exceptions.PostgresError as e:
print(f"捕获到其他PostgreSQL错误: {e}")
# 处理其他数据库错误
except Exception as e:
print(f"捕获到非数据库错误: {e}")
# 处理其他所有非数据库错误
finally:
print("错误处理示例完成。")
# 假设 pool 已经创建
# asyncio.run(error_handling_example(pool))通过捕获
asyncpg.exceptions
UniqueViolationError
IntegrityConstraintViolationError
当然,在实际项目中,你可能还会遇到网络问题、连接超时等,这些也都可以通过
asyncpg
asyncio
以上就是Python如何实现异步数据库操作?asyncpg库使用详解的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号