본문 바로가기
CS/데이터베이스

[DB] 커넥션풀과 데이터소스 이해

by 2245 2023. 10. 7.

커넥션 풀 이해

데이터베이스 커넥션 획득 과정

데이터베이스의 커넥션을 획득하는 과정은 다음과 같이 매우 복잡합니다. 

  1. DB 드라이버를 통해 커넥션을 조회한다.
  2. DB 드라이버는 TCP/IP 커넥션을 연결한다. (물론 이 과정에서 3-way-handshake 같은 TCP/IP 연결을 위한 네트워크 동작이 발생합니다.)
  3. DB 드라이버는 TCP/IP 커넥션이 연결되면, ID, PW, 부가정보들을 전달한다. 
  4. DB는 전달받은 부가정보를 통해 내부 인증을 완료하고, 내부에 DB 세션을 생성한다.
  5. DB는 커넥션 생성이 완료되었다는 응답을 보낸다.
  6. DB 드라이버는 커넥션 객체를 생성하여 클라이언트에게 반환한다.

문제점

  • 과정이 복잡하므로 시간이 많이 소모됩니다. 
  • TCP/IP 커넥션을 새로 생성하기 위해 리소스를 매번 사용해야 합니다. 
  • 궁극적인 문제점은, 고객이 애플리케이션을 사용할 때마다 SQL을 실행하는 시간 뿐만 아니라 커넥션을 새로 만드는 시간이 추가로 발생하기 때문에 결과적으로 응답 속도에 영향을 줍니다.
  • 이것은 사용자에게 좋지 않은 경험을 줍니다. 
  • 참고로, 데이터베이스마다 커넥션을 생성하는 시간은 다릅니다. MySQL 계열은 수 ms(밀리초) 정도로 매우 빠르게 커넥션을 확보할 수 있는 반면에 수십 밀리초 이상 걸리는 데이터베이스들도 있습니다. 

 

 

커넥션 풀: 복잡한 과정을 미리 한 번에 여러 개 해두자.

커넥션 풀 초기화

  • 애플리케이션을 시작하는 시점에, 커넥션 풀에 필요한 만큼 수의 커넥션을 미리 연결하여 확보한 후 풀에 보관합니다. 
  • 보통 얼마나 보관할 지는 서비스의 특징과 서버 스펙에 따라 다르지만 기본 값은 10개입니다. 

 

커넥션 풀의 연결 상태

  • 커넥션 풀에 들어있는 커넥션은 TCP/IP로 DB와 커넥션 연결이 모두 완료되어 있는 상태입니다.
  • 따라서 따로 연결하는 과정없이 언제든지 즉시 SQL을 DB에 전달할 수 있습니다. 
  • 현재 10명의 고객의 요청이 동시에 들어와도 요청들을 동시에 처리할 수 있습니다. (멀티 쓰레드) 

 

커넥션 풀 사용 과정

1. 조회

  • 이제 DB 드라이버를 통해 새로운 커넥션을 획득하는 것이 아니라, 커넥션 풀을 통해 이미 생성되어 있는 커넥션 객체 참조를 가져다 사용하면 됩니다. 
  • 커넥션 풀에 커넥션을 요청하면, 커넥션 풀은 커넥션 객체를 하나를 반환합니다. 

 

2. 반환

  • 커넥션을 사용해 SQL을 데이터베스에 전달한 후 사용이 끝나면, 사용한 커넥션 객체 자원을 해제하는 것이 아니라 다음에 다시 사용할 수 있도록 커넥션 풀에 반환하면 됩니다. 
  • 주의해야할 점은 종료가 아니라 커넥션이 살아있는 상태로 커넥션 풀에 반환하는 것입니다. 

 

 

✔️ 적절한 커넥션 풀의 숫자는?

  • 적절한 커넥션 풀의 숫자는 서비스의 특징, 애플리케이션 서버 스펙, DB 서버 스펙에 따라 다르기 때문에 성능 테스트를 통해 정해야 합니다.
  • 커넥션 풀은 커넥션 수를 제한하여 DB에 무한정 연결이 생성되는 것을 막아주어 DB를 보호합니다.

 

✔️ 커넥션 풀은 직접 개발해서 쓰나요?

  • 커넥션 풀에서 얻는 이점은 매우 크기 때문에 실무에서는 항상 기본으로 사용합니다.
  •  커넥션 풀은 개념적으로 단순해서 직접 구현할 수도 있지만, 사용이 편리하고 성능이 뛰어난 오픈소스 커넥션 풀이 많기 때문에 오픈소스를 사용하는 것이 좋습니다.
  •  대표적인 커넥션 풀 오픈 소스는 commons-dbcp2, tomcat-jdbc pool, Hikari CP 등이 있습니다.
  • 성능과 사용의 편리함 측면에서 최근에는 HikariCP를 주로 사용합니다. 
  • 스프링 부트 2.0부터는 기본 커넥션 풀로 HikariCP를 제공합니다. 성능, 사용의 편리함, 안전성 측면에서 모두 이미 검증이 되었기 때문에 커넥션 풀을 사용할 때는 고민할 것 없이 HikariCP를 사용하면 됩니다.
  • 실무에서도 레거시 프로젝트가 아닌 이상 대부분 HikariCP를 사용합니다.

 

 

DataSource 이해

이제 커넥션을 얻는 방법은 이전 글에서 학습한 DriverManager를 통해 획득하거나, 커넥션 풀을 통해 획득하는 방법 2가지가 존재합니다. 

 

커넥션을 얻는 다양한 방법

참고 커넥션 풀에서 커넥션을 얻는 방법도 내부적으론 DriverManager를 사용하기는 합니다.
여기선 DIrverManager를 직접적으로 사용하느냐, 오픈소스인 커넥션 풀을 통해 사용하느냐로 이해하면 됩니다. 

 

 

문제점: 커넥션 획득 방법의 변경

만약 이전 글에서 작성했던 방법처럼 DriverManager를 통해 커넥션을 획득하다가 커넥션 풀을 사용하는 방법으로 변경하려면 어떻게 해야 할까요? 

둘의 사용법은 조금씩 다르기 때문에, 이 또한 코드의 변경이 필요합니다. 

 

 

이렇게 코드의 변경이 필요한 이유는 애플리케이션이 DriverManager를 직접 의존하고 있기 때문입니다.

따라서 이처럼 애플리케이션이 구체적인 구현체를 직접 의존하는 것이 아니라, 추상화한 인터페이스를 의존하면 문제는 해결됩니다.  

 

해결책: 추상화 인터페이스 DataSource 사용

  • 자바에서는 이 문제를 해결하기 위해 javax.sql.DataSource라는 인터페이스를 제공합니다.
  • 커넥션 풀 오픈 소스인 DBCP2나 HikariCP 뿐만 아니라, DriverManager 또한 이 인터페이스를 구현한 구현체를 통해 기능을 제공합니다. 
  • 이 인터페이스의 기능은 커넥션 조회 하나입니다. (다른 일부 기능도 있지만, 크게 중요하지 않습니다.)
  • 따라서 애플리케이션은 DataSource를 의존하여 커넥션 획득 코드를 작성하면, 어떤 구현체로든 변경이 용이합니다. 
  • 즉, DataSource는 커넥션을 획득하는 방법을 추상화하는 인터페이스입니다. 

 

DataSource 핵심 기능 - 커넥션 획득

public interface DataSource {
    Connection getConnection() throws SQLException;
}

 

참고 스프링이 제공하는 DrivateManagerDataSource
DriverManager는 DataSource 인터페이스를 사용하지 않습니다. 따라서 DriverManager를 사용하다가 DataSource 기반의 커넥션 풀을 사용하기 위해 변경하려면 코드를 다 고쳐야 합니다. 이 문제를 해결하기 위해 스프링은 DriverManager도 DataSource를 통해서 사용할 수 있도록 DriverManagerDataSource라는 DataSource를 구현한 클래스를 제공합니다. 
헷갈릴 수 있는 점은 DriverManagerDataSource를 사용한다고 해서 커넥션 풀을 사용하는 것은 아닙니다. 

 

 

 

DriverManager vs DriverManagerDataSource

 

DriverManager

먼저 이전 글에서 작성했던 DriverManager 를 통해 커넥션을 획득하는 방법은 다음과 같습니다. 

 

ConnectionTest

package hello.jdbc.connection;

...

@Slf4j
public class ConnectionTest {

    @Test
    void driverManager() throws SQLException {
        Connection con1 = DriverManager.getConnection(URL, USERNAME, PASSWORD);
        Connection con2 = DriverManager.getConnection(URL, USERNAME, PASSWORD);
        log.info("connection={}, class={}", con1, con1.getClass());
        log.info("connection={}, class={}", con2, con2.getClass());
    }
}

 

DriverManagerDataSource

이번에는 스프링이 제공하는 DataSource가 적용된 DriverManager인 DriverManagerDataSource를 사용해봅시다.

 

ConnectionTest

@Test
void dataSourceDriverManager() throws SQLException {
    //DriverManagerDataSource - 항상 새로운 커넥션 획득
    DriverManagerDataSource dataSource = new DriverManagerDataSource(URL, USERNAME, PASSWORD);
    useDataSource(dataSource);
}

private void useDataSource(DataSource dataSource) throws SQLException{
    Connection con1 = dataSource.getConnection();
    Connection con2 = dataSource.getConnection();
    log.info("connection={}, class={}", con1, con1.getClass());
    log.info("connection={}, class={}", con2, con2.getClass());
}

 

 

차이점: 파라미터의 차이

DriverManager

DriverManager.getConnection(URL, USERNAME, PASSWORD)
DriverManager.getConnection(URL, USERNAME, PASSWORD)

 

DataSource

DriverManagerDataSource dataSource = new DriverManagerDataSource(URL, USERNAME, PASSWORD);
Connection con1 = dataSource.getConnection();
Connection con2 = dataSource.getConnection();

 

  • DriverManager는 커넥션을 획득할 때마다 URL, USERNAME, PASSWORD와 같은 파라미터를 계속 전달해야 합니다.
  • 반면, DataSource는 처음 객체를 생성할 때만 파라미터를 전달하고, 커넥션을 획득할 땐 단순히 dataSource.getConnection()을 호출하면 됩니다. 

 

설정과 사용의 분리

  • 설정: 커넥션을 획득하기 위해 URL, USERNAME, PASSWORD와 같은 파라미터를 입력하는 부분을 말합니다.
  • 사용 : getConnection()을 통해 커넥션을 획득하는 부분을 말합니다.

설정과 사용 부분은 분리하는 것이 좋습니다. 

이 부분이 작아보이지만 큰 차이를 만들어냅니다. 필요한 데이터를 DataSource가 만들어지는 시점에 미리 다 넣어두면 DataSource를 사용하는 곳은 URL, USERNAME, PASSWORD 과 같은 속성들을 의존하지 않아도 됩니다. 

즉, 리포지토리(Repository)는 DataSource만 의존하고 이러한 설정 부분은 몰라도 됩니다. 

이렇게 한 곳에서 설정을 모아두면 나중에 변경에도 용이합니다.

애플리케이션을 개발하다보면 보통 설정은 한 곳에서 하고, 사용은 수 많은 곳에서 합니다. 

 

 

 

커넥션 풀 적용

HikariDataSource를 통해 커넥션 풀을 사용하는 예제를 작성하도록 하겠습니다.

 

ConnectionTest

@Test
void dataSourceConnectionPool() throws SQLException, InterruptedException {
    //커넥션 풀링: HikariProxyConnection(proxy) -> JdbcConnection(Target);
    HikariDataSource dataSource = new HikariDataSource();
    dataSource.setJdbcUrl(URL);
    dataSource.setUsername(USERNAME);
    dataSource.setPassword(PASSWORD);
    dataSource.setMaximumPoolSize(10);
    dataSource.setPoolName("MyPool");

    Connection con1 = dataSource.getConnection();
    Connection con2 = dataSource.getConnection();
    log.info("connection={}, class={}", con1, con1.getClass());
    log.info("connection={}, class={}", con2, con2.getClass());
    
    Thread.sleep(1000);     //커넥션 풀에서 커넥션 생성 시간 대기
}
  • HikariDataSource는 DataSource 인터페이스를 구현하고 있습니다. 
  • 데이터베이스 설정 정보인 URL, USERNAME, PASSWORD를 설정하고, 커넥션 풀의 사이즈는 10으로 설정하고, 풀의 이름은 MyPool이라고 지정했습니다. (풀의 이름을 지정하는 이유는 하나의 데이터베이스가 아니라 여러 개의 데이터베이스를 사용한다면 커넥션 풀이 여러개일 수 있기 때문입니다.)
  • dataSource.getConnection()을 통해 커넥션 풀에서 커넥션을 획득합니다. 

 

참고 Thread.sleep(1000); - 커넥션 생성은 별도의 쓰레드에서 진행한다.
현재 테스트를 실행하는 쓰레드와 커넥션 풀에 커넥션을 생성하는 작업은 별도의 쓰레드에서 진행됩니다. 
이렇게 커넥션 생성을 별도의 쓰레드에서 생성하는 이유는 애플리케이션 실행 속도에 영향을 주지 않기 위해서입니다. 따라서, 커넥션 풀이 모두 생성되기도 전에 테스트 쓰레드에선 getConnection()을 통해 필요한 커넥션을 받고 log 를 찍으면 테스트 쓰레드는 종료가 되기 때문에, 커넥션 풀에 커넥션을 생성하는 로그를 끝까지 확인하기 위해 잠시 sleep(1000)을 걸어두었습니다. 

 

✔️ 커넥션 풀에 설정한 10개의 커넥션이 차기 전에 getConnection()을 호출하면 어떻게 되나요?

커넥션 풀에 커넥션이 1개가 있다면 바로 획득할 수 있습니다. 그런데, 다음 getConnection()에서 획득할 커넥션이 없다면 풀에 1개가 생성이 될 때까지 기다립니다. 

 

✔️ 만약, 10개를 초과해서 getConnection()하면 어떻게 되나요?

커넥션이 확보될 때까지 멈춰서 대기합니다. 현재는 30초가 지나도 확보가 되지 않으면 커넥션이 끊기는데, 해당 초는 설정할 수 있습니다. 

 

 

실행 결과

#커넥션 풀 초기화 정보 출력
HikariConfig - MyPool - configuration:
HikariConfig - maximumPoolSize................................10
HikariConfig - poolName................................"MyPool"

#커넥션 풀 전용 쓰레드가 커넥션 풀에 커넥션을 10개 생성
[MyPool connection adder] MyPool - Added connection conn0: url=jdbc:h2:..user=SA
[MyPool connection adder] MyPool - Added connection conn1: url=jdbc:h2:..user=SA
[MyPool connection adder] MyPool - Added connection conn2: url=jdbc:h2:..user=SA
[MyPool connection adder] MyPool - Added connection conn3: url=jdbc:h2:..user=SA
[MyPool connection adder] MyPool - Added connection conn4: url=jdbc:h2:..user=SA
...
[MyPool connection adder] MyPool - Added connection conn9: url=jdbc:h2:..user=SA

#커넥션 풀에서 커넥션 획득1
ConnectionTest - connection=HikariProxyConnection@446445803 wrapping conn0: url=jdbc:h2:tcp://localhost/~/test user=SA, class=class com.zaxxer.hikari.pool.HikariProxyConnection
#커넥션 풀에서 커넥션 획득2
ConnectionTest - connection=HikariProxyConnection@832292933 wrapping conn1: url=jdbc:h2:tcp://localhost/~/test user=SA, class=class com.zaxxer.hikari.pool.HikariProxyConnection

#현재 커넥션 풀 상태 정보: 전체 10개, 활성화: 2개, 비활성화: 8개, 대기: 0개
MyPool - After adding stats (total=10, active=2, idle=8, waiting=0)

 

참고 HikariCP 커넥션 풀에 관한 자세한 내용은 공식 사이트에서 확인할 수 있습니다.
https://github.com/brettwooldridge/HikariCP

 

 

DataSource 적용

MemberRepository

package hello.jdbc.repository;

...

/**
 * jDBC - DataSource 사용, JdbcUtils 사용
 */
@Slf4j
public class MemberRepositoryV1 {
    
    private final DataSource dataSource;
    
    public MemberRepositoryV1(DataSource dataSource) {
        this.dataSource = dataSource;
    }
    
    //save()...
    //findById()...
    //update()...
    //delete()...

    private void close(Connection con, Statement stmt, ResultSet rs) {
        JdbcUtils.closeResultSet(rs);
        JdbcUtils.closeStatement(stmt);
        JdbcUtils.closeConnection(con);
    }

    private Connection getConnection() throws SQLException {
        Connection con = dataSource.getConnection();
        log.info("get connection={}, class={}", con, con.getClass());
        return con;
    }
}
  • DataSource 의존관계를 주입받음으로써 다른 커넥션 풀로 변경되어도, 현재 리포지토리의 코드는 수정하지 않아도 됩니다. 
  • getConnection()을 할 때, 이제 DriverManager.getConnection()이 아닌 DataSource.getConnection()을 사용합니다. 
  • 스프링은 JDBC를 편리하게 다룰 수 있는 JdbcUtils라는 편의 메서드를 제공합니다. JdbcUtils를 사용하면 커넥션을 편리하게 닫을 수 있습니다. (커넥션 풀을 사용한다면, 닫는 것이 아니라 커넥션 풀에 반환합니다.)

 

 

MemberRepositoryTest

  • MemberRepository는 DataSource 의존관계 주입을 필요로합니다.
  • DataSource 인터페이스를 사용하기 때문에 DriverManagerDataSource나 HikariDataSource 등 필요한 구현체로 변경이 용이합니다. 
package hello.jdbc.repository;

...

@Slf4j
public class MemberRepositoryV1Test {

    MemberRepositoryV1 repository;

    @BeforeEach
    void beforeEach() throws Exception {
        //DriverManagerDataSource - 항상 새로운 커넥션 획득
//        DriverManagerDataSource dataSource = new DriverManagerDataSource(URL, USERNAME, PASSWORD);

        //커넥션 풀링: HikariProxyConnection(proxy) -> JdbcConnection(Target);
        HikariDataSource dataSource = new HikariDataSource();
        dataSource.setJdbcUrl(URL);
        dataSource.setUsername(USERNAME);
        dataSource.setPassword(PASSWORD);

        repository = new MemberRepositoryV1(dataSource);
    }

    @Test
    void crud() throws SQLException {
        //save
        Member member = new Member("memberV0", 10000);
        repository.save(member);

        //findById
        Member findMember = repository.findById(member.getMemberId());
        log.info("findMember={}", findMember);
        assertThat(findMember).isEqualTo(member);

        //update: money: 10000 -> 20000
        repository.update(member.getMemberId(), 20000);
        Member updatedMember = repository.findById(member.getMemberId());
        assertThat(updatedMember.getMoney()).isEqualTo(20000);

        //delete
        repository.delete(member.getMemberId());
        assertThatThrownBy(() -> repository.findById(member.getMemberId()))
                .isInstanceOf(NoSuchElementException.class);
    }

}

 

실행

DriverManagerDataSource

get connection=conn0: url=jdbc:h2:.. user=SA class=class org.h2.jdbc.JdbcConnection
get connection=conn1: url=jdbc:h2:.. user=SA class=class org.h2.jdbc.JdbcConnection
get connection=conn2: url=jdbc:h2:.. user=SA class=class org.h2.jdbc.JdbcConnection
get connection=conn3: url=jdbc:h2:.. user=SA class=class org.h2.jdbc.JdbcConnection
get connection=conn4: url=jdbc:h2:.. user=SA class=class org.h2.jdbc.JdbcConnection
get connection=conn5: url=jdbc:h2:.. user=SA class=class org.h2.jdbc.JdbcConnection

conn0 ~ conn5까지 항상 새로운 커넥션이 생성되어 사용되는 것을 확인할 수 있습니다.

 

 

HikariDataSource 사용

get connection=HikariProxyConnection@xxxxxxxx1 wrapping conn0: url=jdbc:h2:...user=SA
get connection=HikariProxyConnection@xxxxxxxx2 wrapping conn0: url=jdbc:h2:...user=SA
get connection=HikariProxyConnection@xxxxxxxx3 wrapping conn0: url=jdbc:h2:...user=SA
get connection=HikariProxyConnection@xxxxxxxx4 wrapping conn0: url=jdbc:h2:...user=SA
get connection=HikariProxyConnection@xxxxxxxx5 wrapping conn0: url=jdbc:h2:...user=SA
get connection=HikariProxyConnection@xxxxxxxx6 wrapping conn0: url=jdbc:h2:...user=SA
  • 커넥션 풀을 사용하기 때문에 conn0 커넥션이 재사용된 것을 확인할 수 있습니다.
  • 한 번에 여러 개 요청을 한 것이 아니라 테스트를 순서대로 실행했기 때문에 커넥션을 사용하고 되돌려주는 것을 반복해서 conn0만 사용이 됩니다. 
  • 웹 애플리케이션에 동시에 여러 요청이 들어오면, 여러 쓰레드에서 커넥션 풀의 커넥션을 다양하게 가져가는 상황을 확인할 수 있습니다.

 

 

정리

DI와 OCP 원칙 

  • MemberRepository는 DataSource 인터페이스에 의존합니다. 
  • 따라서 DriverManagerDataSource를 HikariDataSource로 변경해도 MemberRepository의 코드는 전혀 변경하지 않아도 됩니다. 
  • 이것이 DataSource를 사용하는 장점입니다.

 

 

출처

https://www.inflearn.com/course/%EC%8A%A4%ED%94%84%EB%A7%81-db-1/dashboard

 

스프링 DB 1편 - 데이터 접근 핵심 원리 - 인프런 | 강의

백엔드 개발에 필요한 DB 데이터 접근 기술을 기초부터 이해하고, 완성할 수 있습니다. 스프링 DB 접근 기술의 원리와 구조를 이해하고, 더 깊이있는 백엔드 개발자로 성장할 수 있습니다., 백엔

www.inflearn.com

 

'CS > 데이터베이스' 카테고리의 다른 글

[JDBC] JdbcTemplate 간단히 알아보기  (0) 2023.10.17
[DB] 예외 의존성 해결 - 예외 전환, 스프링의 예외 추상화  (0) 2023.10.17
[DB] 트랜잭션 매니저, 트랜잭션 템플릿, @Transactional  (0) 2023.10.08
[DB] 트랜잭션 이해  (0) 2023.10.08
[DB] JDBC 이해  (0) 2023.10.07

관련글

티스토리툴바