커넥션 풀과 DataSource

데이터베이스와의 connection은 비용이 많이 드는 작업이다.
매 요청마다 새 커넥션을 생성하면 성능 저하와 리소스 낭비가 발생한다.
Connection Pool을 사용하면 미리 생성된 연결을 재사용하여 성능을 높이고 안정적인 트랜잭션 처리를 보장할 수 있다.

 

데이터베이스 connection을 획득할 때 다음과 같은 복잡한 과정을 거친다.

1. 애플리케이션 로직은 DB 드라이버를 통해 커넥션을 조회

 

2. DB 드라이버는 DB와 TCP/IP 커넥션을 연결

 

3. DB 드라이버는 TCP/IP 커넥션이 연결되면 ID, PW와 기타 부가정보를 DB에 전달

 

4. DB는 ID, PW를 통해 내부 인증을 완료하고, 내부에 DB 세션을 생성

 

5. DB는 커넥션 생성이 완료되었다고 응답

 

6. DB 드라이버는 커넥션 객체를 생성해서 반환

---

 

이렇게 커넥션을 새로 만드는 것은 과정도 복잡하고 시간도 많이 많이 소모되는 일이다,

 

DB는 물론이고 애플리케이션 서버에서도 TCP/IP 커넥션을 새로 생성하기 위한 리소스를 매번 사용해야 한다,

 

이런 문제를 한번에 해결하는 아이디어가 바로 커넥션을 미리 생성해두고 사용하는 방식인 커넥션 풀이다.

 

애플리케이션을 시작하는 시점에 커넥션 풀은 필요한 만큼 커넥션을 미리 확보해서 풀에 보관한다.

 

커넥션 풀에 들어 있는 커넥션은 TCP/IP로 DB와 커넥션이 연결되어 있는 상태이기 때문에 언제든지 즉시 SQL을 DB에 전달 가능하다.

 

애플리케이션 로직에서 DB 드라이버를 통해서 새로운 커넥션을 획득하는 것이 아니다.

 

커넥션 풀을 통해 이미 생성되어 있는 커넥션을 객체 참조로 그냥 가져다 쓰기만 하면 된다.

 

커넥션 풀에 커넥션을 요청하면 커넥션 풀은 자신이 가지고 있는 커넥션 중에 하나를 반환한다.

 

애플리케이션 로직은 커넥션 풀에서 받은 커넥션을 사용해서 SQL을 데이터베이스에 전달하고 그 결과를 받아서 처리한다.

 

커넥션을 모두 사용하고 나면 이제는 커넥션을 종료하는 것이 아니라, 다음에 다시 사용할 수 있도록 해당 커넥션을 살아있는 상태 그대로 커넥션 풀에 반환하면 된다.

 

커넥션 풀은 서버당 최대 커넥션 수를 제한할 수 있다.

 

따라서 DB에 무한정 연결이 생성되는 것을 막아주어서 DB를 보호하는 효과도 있다.

 

적절한 커넥션 풀 숫자는 서비스의 특징과 애플리케이션 서버 스펙, DB 서버 스펙에 따라 다르기 때문에 성능 테스트를 통해서 정해야 한다.

 

커넥션 풀은 개념적으로 단순해서 직접 구현할 수도 있지만, 사용도 편리하고 성능도 뛰어난 오픈소스 커넥션 풀이 많기 때문에 오픈소스를 사용하는 것이 좋다.

 

대표적인 커넥션 풀 오픈소스는 commons-dbcp2 , tomcat-jdbc pool , HikariCP 등이 있다.

 

스프링 부트 2.0 부터는 기본 커넥션 풀로 hikariCP 를 제공한다.

 

성능, 사용의 편리함, 안전성 측면에서 이미 검증이 되었기 때문에 커넥션 풀을 사용 할 때는 고민할 것 없이 hikariCP 를 사용하면 된다.

 

---

 

DataSource

애플리케이션 로직에서 DriverManager 를 사용해서 커넥션을 획득하다가 HikariCP 같은 커넥션 풀을 사용하도록 변경하면 커넥션을 획득하는 애플리케이션 코드도 함께 변경해야 한다.

 

의존관계가 DriverManager 에서 HikariCP 로 변경되기 때문이다.

 

커넥션을 획득하는 방법을 추상화 하는 인터페이스가 필요하다.

 

자바에서는 이런 문제를 해결하기 위해 javax.sql.DataSource 라는 인터페이스를 제공한다.

 

이제 application logic은 Datasource 인터페이스에만 의존하면 된다.

public interface DataSource  extends CommonDataSource, Wrapper {
	Connection getConnection() throws SQLException;
	...
}

한가지 주의 해야할 점은 DriverManager는 DataSource 인터페이스를 사용하지 않는다.

 

따라서 DriverManager를 사용하다가 Datasource 기반의 커넥션 풀을 사용하도록 변경하면 관련 코드를 전부 고쳐야한다.

 

스프링은 이러한 문제를 해결하기 위해 DriverManagerDataSource 구현체를 제공한다.

 

커넥션 획득 비교

DriverManager

@Slf4j
class DataSourceTest {

	@Test
	void driverManager() throws SQLException {
		Connection conn1 = DriverManager.getConnection(URL, USERNAME, PASSWORD);
		Connection conn2 = DriverManager.getConnection(URL, USERNAME, PASSWORD);

		log.info("conn1={}, class={}", conn1, conn1.getClass());
		log.info("conn2={}, class={}", conn2, conn2.getClass());
	}
}

conn1=com.mysql.cj.jdbc.ConnectionImpl@76b74e9c, class=class com.mysql.cj.jdbc.ConnectionImpl conn2=com.mysql.cj.jdbc.ConnectionImpl@5dda6f9, class=class com.mysql.cj.jdbc.ConnectionImpl

 

DriverManager는 connection을 획득할 때마다 파라미터를 계속 전달해야 한다.

 

DriverManagerDataSource

@Test
	void driverManagerDataSource() throws SQLException {
		DataSource dataSource = new DriverManagerDataSource(URL, USERNAME, PASSWORD);
		Connection conn1 = dataSource.getConnection();
		Connection conn2 = dataSource.getConnection();

		log.info("conn1={}, class={}", conn1, conn1.getClass());
		log.info("conn2={}, class={}", conn2, conn2.getClass());
	}

conn1=com.mysql.cj.jdbc.ConnectionImpl@5bd73d1a, class=class com.mysql.cj.jdbc.ConnectionImpl conn2=com.mysql.cj.jdbc.ConnectionImpl@15bcf458, class=class com.mysql.cj.jdbc.ConnectionImpl

 

DataSource를 사용하는 방식은 처음 객체를 생성할 때 파라미터를 통해 만들고 dataSource를 통해서 커넥션을 획득한다.

 

즉 필요한 파라미터를 설정하는 부분과 사용이 분리되어 있다.

 

사용하는 곳에서는 DataSource만 주입받아서 getConnection()을 호출하면 된다.

 

HikariDataSource

@Test
	void dataSourceConnectionPool() throws SQLException, InterruptedException {
		HikariDataSource dataSource = new HikariDataSource();
		dataSource.setJdbcUrl(URL);
		dataSource.setUsername(USERNAME);
		dataSource.setPassword(PASSWORD);
		dataSource.setMaximumPoolSize(10);
		dataSource.setPoolName("CactusPool");

		Connection conn1 = dataSource.getConnection();
		Connection conn2 = dataSource.getConnection();

		log.info("conn1={}, class={}", conn1, conn1.getClass());
		log.info("conn2={}, class={}", conn2, conn2.getClass());

		Thread.sleep(1000);

	}

 

커넥션 풀에서 커넥션을 생성하는 작업은 애플리케이션 실행 속도에 영향을 주지 않기 위해 별도의 쓰레드에서 작동한다.

 

별도의 쓰레드에서 동작하기 때문에, 테스트가 먼저 종료되어 버리는 것을 막기 위해 sleep을 사용했다.

...
[CactusPool connection adder] DEBUG com.zaxxer.hikari.pool.HikariPool -- CactusPool - After adding stats (total=10, active=2, idle=8, waiting=0)

 

커넥션 풀 최대 사이즈를 10으로 설정하여 커넥션 10개를 생성했다.

 

conn1=HikariProxyConnection@1767532961 wrapping com.mysql.cj.jdbc.ConnectionImpl@1eea9d2d, class=class com.zaxxer.hikari.pool.HikariProxyConnection

 

HikariCP는 HikariProxyConnection을 통해 Connection 객체를 프록시로 감싸서 반환하고 있으며, 내부적으로는 com.mysql.cj.jdbc.ConnectionImpl을 사용한다.

 

왜 proxy를 사용할까?

JDBC에서는 Connection 객체를 close() 하면 DB와의 연결이 완전히 종료된다.

 

이 방식은 매번 새로운 커넥션을 생성해야 하므로 비효율적이다.

 

HikariCP는 프록시 패턴을 사용해서 close() 호출을 가로채고, 커넥션을 반납하게 한다.