数据库连接
数据库可以处理数量有限的并发连接。每个连接都需要 RAM,这意味着仅仅增加数据库连接限制而没有扩展可用资源
- ✔ 可能允许更多进程连接 但是
- ✘ 会显著影响数据库性能,并可能导致数据库由于内存不足错误而关闭
应用程序管理连接的方式也会影响性能。本指南介绍了如何在无服务器环境和长期运行的进程中处理连接管理。
本指南重点关注关系型数据库以及如何配置和调整 Prisma ORM 连接池(MongoDB 使用 MongoDB 驱动程序连接池)。
长期运行的进程
长期运行的进程示例包括托管在 Heroku 或虚拟机等服务上的 Node.js 应用程序。使用以下清单作为在长期运行环境中进行连接管理的指南
推荐的连接池大小
对于长期运行的进程,推荐的连接池大小 (connection_limit
) 初始值 为默认池大小 (num_physical_cpus * 2 + 1
) ÷ 应用程序实例数。
num_physical_cpus
指的是应用程序运行所在的机器的 CPU 数量。
如果你有一个应用程序实例
- 默认情况下应用默认池大小 (
num_physical_cpus * 2 + 1
) - 你不需要设置connection_limit
参数。 - 你可以选择调整池大小。
如果你有多个应用程序实例
- 你必须手动设置
connection_limit
参数。例如,如果你的计算池大小为 10 并且你有 2 个应用程序实例,则connection_limit
参数应不超过 5。 - 你可以选择调整池大小。
PrismaClient
在长期运行的应用程序中
在长期运行的应用程序中,我们建议你
- ✔ 创建一个
PrismaClient
实例并在你的应用程序中重复使用它 - ✔ 仅在开发环境中将
PrismaClient
分配给全局变量以防止热重载创建新的实例
重复使用单个 PrismaClient
实例
要重复使用单个实例,请创建一个导出 PrismaClient
对象的模块
import { PrismaClient } from '@prisma/client'
let prisma = new PrismaClient()
export default prisma
该对象会在首次导入模块时被缓存。后续请求返回缓存的对象,而不是创建新的 PrismaClient
import prisma from './client'
async function main() {
const allUsers = await prisma.user.findMany()
}
main()
你不需要完全复制上面的示例 - 目标是确保 PrismaClient
被缓存。例如,你可以在context
对象中实例化 PrismaClient
,然后你将传递到 Express 应用程序中。
不要显式地 $disconnect()
在持续服务请求的长期运行应用程序的上下文中,你不需要显式地 $disconnect()
。如果在每次查询后断开连接,则打开新连接需要时间,并且可能会减慢应用程序速度。
防止热重载创建新的 PrismaClient
实例
像Next.js这样的框架支持热重载已更改的文件,这使你能够在不重启应用程序的情况下查看应用程序的更改。但是,如果框架刷新负责导出 PrismaClient
的模块,则会导致在开发环境中创建额外的、不需要的 PrismaClient
实例。
作为解决方法,你可以在开发环境中仅将 PrismaClient
存储为全局变量,因为全局变量不会被重新加载
import { PrismaClient } from '@prisma/client'
const globalForPrisma = globalThis as unknown as { prisma: PrismaClient }
export const prisma =
globalForPrisma.prisma || new PrismaClient()
if (process.env.NODE_ENV !== 'production') globalForPrisma.prisma = prisma
导入和使用 Prisma Client 的方式不会改变
import { prisma } from './client'
async function main() {
const allUsers = await prisma.user.findMany()
}
main()
无服务器环境 (FaaS)
无服务器环境的示例包括托管在 AWS Lambda、Vercel 或 Netlify Functions 上的 Node.js 函数。使用以下清单作为在无服务器环境中进行连接管理的指南
- 熟悉无服务器连接管理挑战
- 根据你是否使用外部连接池设置池大小 (
connection_limit
),并可以选择调整池大小 - 在处理程序外部实例化
PrismaClient
并且不要显式地$disconnect()
- 配置函数并发性 并处理空闲连接
无服务器挑战
在无服务器环境中,每个函数都会创建自己的 PrismaClient
实例,并且每个客户端实例都有自己的连接池。
考虑以下示例,其中单个 AWS Lambda 函数使用 PrismaClient
连接到数据库。connection_limit
为3
流量高峰导致 AWS Lambda 生成两个额外的 Lambda 来处理增加的负载。每个 Lambda 创建一个 PrismaClient
实例,每个实例的 connection_limit
为3,这导致数据库的最大连接数为9
200 个并发函数(以及因此可能产生的 600 个连接)响应流量高峰📈可能会很快耗尽数据库连接限制。此外,任何暂停的函数默认情况下都会保持其连接打开,并阻止其他函数使用它们。
- 首先将
connection_limit
设置为1
- 如果较小的池大小不足,请考虑使用像 PgBouncer 这样的外部连接池
推荐的连接池大小
无服务器环境中的推荐池大小 (connection_limit
) 取决于
无外部连接池
如果您**没有**使用外部连接池,请首先将池大小 (connection_limit
) 设置为1,然后进行优化。每个传入请求都会启动一个短暂的 Node.js 进程,并且许多具有高 connection_limit
的并发函数在流量高峰期间可能会很快**耗尽数据库连接限制**。
以下示例演示了如何在连接 URL 中将 connection_limit
设置为 1
- PostgreSQL
- MySQL
postgresql://USER:PASSWORD@HOST:PORT/DATABASE?schema=public&connection_limit=1
mysql://USER:PASSWORD@HOST:PORT/DATABASE?connection_limit=1
如果您正在使用 AWS Lambda 且未配置 connection_limit
,请参阅以下 GitHub 问题以获取有关预期默认池大小的信息:https://github.com/prisma/docs/issues/667
使用外部连接池
如果您正在使用外部连接池,请使用默认池大小 (num_physical_cpus * 2 + 1
) 作为起点,然后调整池大小。外部连接池应防止流量高峰压垮数据库。
优化并行请求
如果池大小设置为 1 时,您很少或从未超过数据库连接限制,则可以进一步优化连接池大小。考虑一个并行发送查询的函数
Promise.all() {
query1,
query2,
query3
query4,
...
}
如果 connection_limit
为 1,则此函数将被迫**串行**(一个接一个)而不是**并行**发送查询。这会减慢函数处理请求的速度,并可能导致池超时错误。调整 connection_limit
参数,直到流量高峰
- 不会耗尽数据库连接限制
- 不会导致池超时错误
PrismaClient
在无服务器环境中
在处理程序外部实例化 PrismaClient
实例化 PrismaClient
在函数处理程序范围之外 以增加重用机会。只要处理程序保持“热”状态(正在使用),连接就有可能被重用。
import { PrismaClient } from '@prisma/client'
const client = new PrismaClient()
export async function handler() {
/* ... */
}
不要显式 $disconnect()
您不需要在函数末尾显式调用 $disconnect()
,因为容器可能被重用。建立新连接需要时间,并且会降低函数处理请求的速度。
其他无服务器注意事项
容器重用
无法保证函数的后续附近调用会命中同一个容器 - 例如,AWS 可以随时选择创建一个新容器。
代码应假设容器是无状态的,并且仅在不存在连接时才创建连接 - Prisma Client JS 已经实现了此逻辑。
僵尸连接
标记为“要删除”且未被重用的容器仍会**保持连接打开**,并且可能会保持这种状态一段时间(AWS 未公开或记录)。这可能导致数据库连接的利用率不佳。
一个潜在的解决方案是**清理空闲连接**(serverless-mysql
实现了这个想法,但不能与 Prisma ORM 一起使用)。
并发限制
根据您的无服务器并发限制(同时运行的无服务器函数数量),您仍然可能耗尽数据库的连接限制。当太多函数并发调用时,每个函数都有自己的连接池,最终耗尽数据库连接限制,就会发生这种情况。为防止这种情况,您可以设置您的无服务器并发限制为小于数据库最大连接限制除以每个函数调用使用的连接数(因为您可能希望能够从其他客户端连接以用于其他目的)。
优化连接池
如果查询引擎无法在时间限制之前处理队列中的查询,您将在日志中看到连接池超时异常。如果发生以下情况,可能会发生连接池超时
- 许多用户同时访问您的应用程序
- 您并行发送大量查询(例如,使用
await Promise.all()
)
如果您在配置推荐的池大小后持续遇到连接池超时,则可以进一步调整 connection_limit
和 pool_timeout
参数。
增加池大小
增加池大小允许查询引擎并行处理更多查询。请注意,您的数据库必须能够支持增加的并发连接数,否则您将**耗尽数据库连接限制**。
要增加池大小,请手动将 connection_limit
设置为更大的数字
datasource db {
provider = "postgresql"
url = "postgresql://johndoe:mypassword@localhost:5432/mydb?schema=public&connection_limit=40"
}
**注意**:在无服务器环境中将
connection_limit
设置为 1 是推荐的起点,但此值也可以调整。
增加池超时
增加池超时为查询引擎提供更多时间来处理队列中的查询。您可以在以下场景中考虑此方法
- 您已经增加了
connection_limit
。 - 您确信队列不会增长到超出某个特定大小,否则**最终会耗尽 RAM**。
要增加池超时,请将 pool_timeout
参数设置为大于默认值(10 秒)的值
datasource db {
provider = "postgresql"
url = "postgresql://johndoe:mypassword@localhost:5432/mydb?connection_limit=5&pool_timeout=20"
}
禁用池超时
禁用池超时可防止查询引擎在等待连接 x 秒后抛出异常,并允许队列累积。您可以在以下场景中考虑此方法
- 您在有限的时间内提交大量查询 - 例如,作为导入或更新数据库中每个客户的作业的一部分。
- 您已经增加了
connection_limit
。 - 您确信队列不会增长到超出某个特定大小,否则**最终会耗尽 RAM**。
要禁用池超时,请将 pool_timeout
参数设置为 0
datasource db {
provider = "postgresql"
url = "postgresql://johndoe:mypassword@localhost:5432/mydb?connection_limit=5&pool_timeout=0"
}
外部连接池
像 Prisma Accelerate 和 PgBouncer 这样的连接池可以防止您的应用程序耗尽数据库的连接限制。
如果您想使用 Prisma CLI 对数据库执行其他操作,例如迁移和内省,则需要添加一个环境变量,该变量在您的 Prisma 模式中的 datasource.directUrl
属性中提供数据库的直接连接
# Connection URL to your database using PgBouncer.
DATABASE_URL="postgres://root:[email protected]:54321/postgres?pgbouncer=true"
# Direct connection URL to the database used for migrations
DIRECT_URL="postgres://root:[email protected]:5432/postgres"
然后,您可以更新您的 schema.prisma
以使用新的直接 URL
datasource db {
provider = "postgresql"
url = env("DATABASE_URL")
directUrl = env("DIRECT_URL")
}
有关 directUrl
字段的更多信息,请参见此处。
Prisma Accelerate
Prisma Accelerate 是 Prisma 构建的托管外部连接池,集成在 Prisma 数据平台 中,并为您处理连接池。
PgBouncer
PostgreSQL 仅支持一定数量的并发连接,并且当服务使用量增加时,此限制可能会很快达到 - 特别是在无服务器环境中。
PgBouncer 维护着一个到数据库的连接池,并在 Prisma Client 和数据库之间充当代理,处理传入的客户端连接。这减少了数据库在任何给定时间需要处理的进程数量。PgBouncer 向数据库传递有限数量的连接,并在连接可用时将其他连接排队以进行传递。要使用 PgBouncer,请参阅 使用 PgBouncer 配置 Prisma Client。
AWS RDS 代理
由于 AWS RDS 代理固定连接的方式,它在与 Prisma Client 一起使用时不会提供任何连接池优势。