조인 수행 원리

조인이란 두 개 이상의 테이블을 하나의 집합으로 만드는 연산이다. SQL문에서 FROM 절에 두 개 이상의 테이블이 나열될 경우 조인이 수행된다. 조인 연산은 두 테이블 사이에서 수행된다. FROM 절에 A, B, C라는 세 개의 테이블이 존재하더라도 세 개의 테이블이 동시에 조인이 수행되는 것이 아니다. 세 개의 테이블 중에서 먼저 두 개의 테이블에 대해 조인이 수행된 후, 먼저 수행된 조인 결과와 나머지 테이블 사이에서 조인이 수행된다. 이러한 작업은 FROM 절에 나열된 모든 테이블을 조인할 때까지 반복한다.

 

테이블 또는 조인 결과를 이용하여 조인을 수행할 때 조인 단계별로 다른 조인 기법을 사용할 수 있다. 예를 들어, A와 B 테이블을 조인할 때는 NL Join 기법을 사용하고 해당 조인 결과와 C 테이블을 조인할 때는 Hash Join 기법을 사용할 수 있다. 조인 기법은 두 개의 테이블을 조인할 때 사용할 수 있는 방법이다.

이번 글에서는 조인 기법 중에서 자주 사용되는 NL Join, Hash Join, Sort Merge Join에 대한 원리를 설명한다.

 

NL Join(Nested Loop Join, 중첩 루프 조인)

---

프로그래밍에서 사용하는 중첩된 반복문과 유사하다. 반복문의 외부에 있는 테이블을 선행 테이블 또는 외부 테이블(Outer Table)이라고 하고, 반복문의 내부에 있는 테이블을 후행 테이블 또는 내부 테이블(Inner Table)이라고 한다.

 

1. FOR 선행 테이블 읽음
2. 외부 테이블(Outer Table) FOR 후행 테이블 읽음
3. 내부 테이블(Inner Table) (선행 테이블과 후행 테이블 조인)

먼저 선행 테이블의 조건을 만족하는 행을 추출하여 후행 테이블을 읽으면서 조인을 수행한다. 이 작업은 선행 테이블의 조건을 만족하는 모든 행의 수만큼 반복 수행한다. 선행 테이블의 조건을 만족하는 행의 수가 많을수록, 그만큼 많은 후행 테이블의 조인 작업이 반복 수행된다. 따라서 결과 행의 수가 적은(처리 주관 범위가 좁은) 테이블을 조인 순서상 선행 테이블로 선택하는 것이 전체 일량을 줄일 수 있다. NL Join은 랜덤 방식으로 데이터를 액세스하기 때문에 처리 범위가 좁은 것이 유리하다. 랜덤 엑세스에 대한 좀 더 자세한 사항은 여기를 참고하기 바란다. NL Join의 작업 방법은 다음과 같다. 

 

1. 선행 테이블에서 주어진 조건을 만족하는 행을 찾음
2. 선행 테이블의 조인 키 값을 가지고 후행 테이블에서 조인 수행
3. 선행 테이블의 조건을 만족하는 모든 행에 대해 1번 작업 반복 수행

1. 선행 테이블에서 조건을 만족하는 행을 찾음 
2. 선행 테이블의 조인 키를 가지고 후행 테이블에 조인 키를 찾음
3. 후행 테이블의 인덱스에 선행 테이블의 조인 키가 존재하는지 확인 → 존재하지 않으면 데이터 필터링
4. 인덱스에서 추출한 레코드 식별자를 이용해 후행 테이블을 액세스 → 후행 테이블에 주어진 조건까지 모두 만족하면 해당 행을 추출 버퍼에 넣음
5. 앞의 작업을 반복 수행함

추출버퍼는 SQL 문의 실행결과를 보관하는 버퍼로서 일정 크기를 설정하여 추출 버퍼에 결과가 모두 차거나 더 이상 결과가 없어서 추출 버퍼를 채울 것이 없으면 결과를 반환한다. 추출버퍼는 운반 단위, Array Size, Prefetch Size라고도 한다.

 

만약 선행 테이블에 사용 가능한 인덱스가 존재한다면 인덱스를 통해 선행 테이블을 액세스 할 수 있다. (여기서는 사용할 인덱스가 없음을 가정으로 설명한 것) NL Join 기법은 조인이 성공하면 바로 조인 결과를 사용자에게 보여 줄 수 있다. 그래서 결과를 가능한 빨리 화면에 보여줘야 하는 온라인 프로그램에 적당한 조인 기법이다.

 

Sort Merge Join (정렬 병합 조인)

---

Sort Merge Join은 조인 칼럼을 기준으로 데이터를 정렬하여 조인을 수행한다. NL Join은 랜덤 액세스 방식으로 데이터를 읽는 반면 Sort Merge Join은 주로 스캔 방식으로 데이터를 읽는다. Sort Merge Join은 랜덤 액세스로 NL Join에서 부담이 되던 넓은 범위의 데이터를 처리할 때 이용되던 조인 기법이다.

 

Sort Merge Join은 정렬할 데이터가 많아 메모리에서 모든 정렬 작업을 수행하기 어려운 경우에는 임시 영역(디스크)을 사용하기 때문에 성능이 떨어질 수 있다. 일반적으로 대량의 조인 작업에서 정렬 작업을 필요로 하는 Sort Merge Join 보다는 CPU 작업 위주로 처리하는 Hash Join이 성능상 유리하다. 그러나 Sort Merge Join은 Hash Join과는 달리 동등 조인뿐만 아니라 비 동등 조인에 대해서도 조인 작업이 가능하다는 장점이 있다.

Sort Merge Join의 동작은 위와 같다.

 

1. 선행 테이블에서 주어진 조건을 만족하는 행을 찾음
2. 선행 테이블의 조인 키를 기준으로 정렬 수행
3. 후행 테이블에서 주어진 조건을 만족하는 행을 찾음
4. 후행 테이블의 조인 키를 기준으로 정렬 수행
5. 정렬된 결과를 이용하여 조인을 수행하며 조인에 성공하면 추출 버퍼에 넣음

Sort Merge Join은 조인 칼럼의 인덱스를 사용하지 않기 때문에 조인 칼럼의 인덱스가 존재하지 않을 경우에도 사용할 수 있는 조인 기법이다. Sort Merge Join이 항상 정렬 작업이 발생하는 것은 아니다. 일례로, 조인할 테이블 중에서 이미 앞 단계의 작업 중에 정렬 작업이 미리 수행되었다면 조인을 위한 정렬은 발생하지 않을 수 있다.

 

Hash Join (해시 조인)

---

Hash Join은 해슁 기법을 이용하여 조인한다. 조인을 수행할 테이블의 조인 칼럼을 기준으로 해쉬 함수를 수행하여 동일한 해쉬 값을 갖는 것들 사이에서 실제 값이 같은지 비교하며 조인한다. Hash Join은 NL Join의 랜덤 액세스 문제점과 Sort Merge Join의 문제점인 정렬 작업의 부담을 해결 위한 대안으로 등장하였다.

 

Hash Join의 동작은 위와 같다.

 

1. 선행 테이블에서 주어진 조건을 만족하는 행을 찾음
2. 선행 테이블의 조인 키를 기준으로 해쉬 함수 적용하여 해쉬 테이블 생성 → 조인 칼럼과 SELECT 절에서 필요로 하는 칼럼도 함께 저장됨
3. 후행 테이블에서 주어진 조건을 만족하는 행을 찾음
4. 후행 테이블의 조인 키를 기준으로 해쉬 함수 적용하여 해당 버킷을 찾음 → 조인 키를 이용해서 실제 조인될 데이터를 찾음
5. 조인에 성공하면 추출버퍼에 넣음

Hash Join은 조인 칼럼의 인덱스를 사용하지 않기 때문에 조인 칼럼의 인덱스가 존재하지 않을 경우에도 사용할 수 있는 조인 기법이다. Hash Join은 해쉬 함수를 이용하여 조인을 수행하기 때문에 '='로 수행하는 조인 즉, 동등 조인에서만 사용할 수 있다. 해쉬 함수가 적용될 때 동일한 값은 항상 같은 값으로 해슁 됨이 보장된다.

하지만, 큰 값이 항상 큰 값으로 해슁되고 작은 값이 항상 작은 값으로 해슁 된다는 보장은 없다. 그렇기 때문에 Hash Join은 동등 조인에서만 사용할 수 있다.

 

Hash Join은 조인 작업을 위해 해쉬 테이블을 메모리에 생성해야 한다. 생성된 해쉬 테이블의 크기가 메모리에 적재 가능한 크기보다 더 크면 임시 영역(디스크)에 해쉬 테이블을 저장한다. 그러면 추가적인 작업이 필요해 지기 때문에, Hash Join을 할 때는 결과 행의 수가 적은 테이블을 선행 테이블로 사용하는 것이 좋다. 

 

Hash Join에서는 선행 테이블을 이용하여 해쉬 테이블을 생성한다고 해서 선행 테이블을 Build Input이라고도 하며, 후행 테이블은 만들어진 해쉬 테이블에 대해 해쉬 값의 존재여부를 검사한다고 해서 Prove Input이라고도 한다.

정리

---

추출 버퍼

• SQL문의 실행결과를 보관하는 버퍼
• 추출 버퍼에 결과가 모두 차거나 더 이상 결과가 없어서 추출 버퍼를 채울 것이 없으면 결과를 반환

NL join

• for문을 중첩하여 랜덤하게 데이터를 액세스 하는 방식
• 선행 테이블에서 조건에 만족하는 데이터 행만큼 반복 수행
• 조인 결과 행이 적은 테이블을 선행 테이블로 선택하는 것이 유리함
• 조인이 성공하면 바로 조인 결과를 사용자에게 보여 줄 수 있음. 가능한 빨리 화면에 보여줘야 하는 온라인 프로그램에 적당함

Sort Merge Join

• 조인 칼럼을 기준으로 데이터 정렬하여 조인
• 랜덤 엑세스가 아닌 스캔 방식으로 데이터를 읽음
• 데이터가 많아 메모리에서 모든 정렬을 수행하기 어려운 경우에 임시 영역(디스크)을 사용하기 때문에 성능이 떨어질 수 있음.
• CPU 작업 위주로 처리하는 Hash Join이 성능상 유리하지만, Hash Join과는 달리 동등 조인 뿐만 아니라 비 동등 조인도 가능
• 조인 칼럼의 인덱스를 사용하지 않음. 따라서, 조인 칼럼에 인덱스가 없어도 사용 가능

Hash Join

• 해슁 기법을 이용한 조인
• NL Join의 랜덤 엑세스, Sort Merge Join의 정렬 작업의 부담을 해결하기 위한 대안으로 등장
• 조인 칼럼의 인덱스를 사용하지 않음. 따라서, 조인 칼럼에 인덱스가 없어도 사용 가능
• '='로 수행하는 조인 즉, 동등 조인에서만 사용가능.
• 조인 작업을 위해 해쉬 테이블을 메모리에 생성. Sort Merge Join과 같이 데이터가 많으면 임시 영역을 사용하므로 선행 테이블의 결과 행이 적은 것을 선택하는 것이 유리
• 선행 테이블은 해쉬 테이블을 생성한다고 해서 선행 테이블을 Build Input이라고도 함.
• 후행 테이블은 만들어진 해쉬 테이블에 대해 해쉬 값의 존재 여부를 검사한다고 해서 Prove Input이라고도 함.

참조

---

https://dataonair.or.kr/db-tech-reference/d-guide/sql/?pageid=1&mod=document&kboard_search_option%5Btree_category_1%5D%5Bkey%5D=tree_category_1&kboard_search_option%5Btree_category_1%5D%5Bvalue%5D=SQL+%EA%B8%B0%EB%B3%B8+%EB%B0%8F+%ED%99%9C%EC%9A%A9&uid=356

조인 수행 원리

https://eehoeskrap.tistory.com/84

[SQLD] 31. 조인 수행 원리

http://www.gurubee.net/lecture/2230

랜덤 액세스의 이해

https://velog.io/@jooh95/DB-Scan-%EC%A2%85%EB%A5%98-%EC%A0%95%EB%A6%AC

[DB] 테이블 데이터 스캔 방식 및 디스크 접근 정리