Django DB 연결 예산: psycopg 풀과 PgBouncer를 함께 쓸 때의 함정
worker를 늘렸더니 처리량보다 DB 연결 수가 먼저 폭증한다. 연결 풀의 max_size=10을 서비스 전체 10개로 이해하면 이런 상황을 놓치기 쉽다. 풀은 보통 프로세스와 DB alias의 경계 안에서 존재하며 배포 중에는 구·신 프로세스가 겹친다.
기준: Django 5.2 · PostgreSQL 17 · psycopg 3. PgBouncer 사용 여부와 pooling mode는 운영 구성에서 직접 확인해야 한다.
지속 연결과 풀링은 다른 기능이다
CONN_MAX_AGE는 Django가 연결을 얼마나 오래 재사용할지와 관련된다. 풀은 여러 작업에 사용 가능한 연결을 빌려주고 돌려받는 구조다. Django의 PostgreSQL backend는 psycopg connection pool을 설정할 수 있으며 psycopg 2에는 이 옵션이 적용되지 않는다. Django PostgreSQL 연결 풀
# DATABASES['default']의 일부 설정 예시. 실제 접속 값은 별도 환경 설정을 쓴다.
database_options = {
"ENGINE": "django.db.backends.postgresql",
"CONN_MAX_AGE": 0,
"OPTIONS": {
"pool": {
"min_size": 1,
"max_size": 5,
"timeout": 10,
},
},
}
풀 옵션의 단위와 동작은 설치한 psycopg_pool 버전에 맞춰 확인한다. 여기의 값은 설명용이며 서비스 권장값이 아니다. Django 문서는 async 모드에서 지속 연결을 비활성화하고 적절한 풀링을 검토하도록 안내한다. async 연결 지침
연결 수는 배포 토폴로지로 계산한다
웹 프로세스 8개가 alias 하나에 최대 5개씩 연결한다면 이 부분의 상한 후보는 40개다. 여기에 작업 워커, 관리 명령, 다른 alias, 모니터링, migration 연결을 더한다. 롤링 배포 중 프로세스 수가 두 배가 될 수 있는지도 확인한다.
이는 예산 계산이지 실제 사용 연결 수의 실측값이 아니다. 최소 연결 수, lazy 초기화, 동시 요청 수에 따라 실제치는 다르다. 중요한 것은 모든 구성 요소의 상한 합계와 DB가 감당할 수 있는 연결·메모리 예산을 비교하는 일이다.
풀 크기를 늘리면 대기열이 DB 내부로 이동할 뿐일 수 있다. 풀 대기 시간, active/idle 연결, DB CPU, 잠금 대기, 쿼리 지연을 함께 측정한다. timeout을 늘려 오류를 감추면 사용자가 기다리는 시간만 길어질 수 있다.
PgBouncer transaction mode에서는 커서 수명이 문제다
PostgreSQL의 서버 측 cursor는 연결에 속한다. transaction pooling에서는 다음 트랜잭션이 같은 서버 연결을 받는다는 보장이 없다. autocommit 상태에서 iterator가 여러 번 fetch하는 동안 연결이 바뀌면 cursor를 찾지 못할 수 있다. Django의 transaction pooling 주의점
선택지는 용도에 따라 다르다.
- 해당 alias에
DISABLE_SERVER_SIDE_CURSORS=True를 설정하고 메모리·드라이버 버퍼링을 측정한다. - 내보내기 전용 alias를 직접 연결이나 session pooling으로 구성한다.
- 명시적 트랜잭션 안에서 cursor를 소비하되 긴 트랜잭션의 비용을 받아들일 수 있는지 검토한다.
단순히 iterator를 포기하면 QuerySet 전체 캐시가 더 큰 문제를 만들 수도 있다. 연결 방식과 데이터 읽기 전략을 같이 결정한다.
세션 상태에 기대는 코드도 점검한다
세션 단위 SET, 임시 테이블, 세션 advisory lock처럼 서버 연결에 붙는 상태를 다음 트랜잭션에서도 사용할 수 있다고 가정하지 않는다. 필요한 설정을 트랜잭션 범위로 제한하고 같은 트랜잭션 안에서 소비하도록 설계한다. prepared statement 지원 같은 세부 사항은 PgBouncer 버전과 설정에 따라 달라지므로 배포 버전 문서로 확인한다.
애플리케이션 풀과 PgBouncer를 함께 쓴다고 반드시 잘못된 것은 아니다. 다만 어느 계층에서 얼마 동안 대기하고 어느 timeout이 먼저 발생하는지 설명할 수 있어야 한다. 두 대기열이 겹치면 지연 원인을 찾기 어려워진다.
검증은 정상 부하와 롤링 배포를 모두 포함한다
낮은 트래픽, 피크 동시성, 느린 DB, 프로세스 재시작을 나눠 관찰한다. migration과 긴 export를 동시에 실행하는 경우도 확인한다. DB 최대 연결 수를 꽉 채우지 말고 운영 접근과 장애 복구 여유를 남긴다.
연결 풀을 튜닝할 때의 질문은 “몇 개면 빠를까”보다 “어느 계층에서 얼마나 기다리며, DB가 과부하일 때 어떤 방식으로 실패할까”에 가깝다.
댓글
댓글 쓰기