수백만 건의 데이터를 끊어서 가져오기

바이브코딩 AI의 끔찍한 함정

AI에게 "게시판 목록 보여주는 API 만들어줘"라고 지시하면, 열에 아홉은 무책임하게 다음과 같은 형태의 쿼리를 짭니다.

SELECT title, author, created_at 
FROM posts 
ORDER BY created_at DESC;

이 코드는 개발 중 데이터가 10개밖에 없을 때는 아무런 문제 없이 0.001초 만에 최신순 목록을 보여줍니다. 그러나 서비스가 대박이 나서 글이 100만 개가 되었다고 상상해 봅시다. 위 쿼리는 100만 개의 글을 전부 다 데이터베이스에서 퍼올린 뒤, 백엔드 서버의 메모리에 100만 개를 욱여넣고, 그제야 프론트엔드 화면으로 전송을 시도합니다. 서버의 메모리는 터져버리고(Out Of Memory), 데이터베이스는 과부하에 걸리며, 사용자는 하얀색 로딩 화면만 보게 됩니다.

10개씩만 주세요: `LIMIT`

이 참사를 막는 가장 직관적이고 강력한 무기가 바로 `LIMIT` 구문입니다. SQL 문장의 맨 꼬리에 붙어서 데이터베이스에게 "다 찾을 필요 없고, 위에서부터 딱 N개만 찾고 바로 멈춰!"라고 지시합니다.

SELECT title, author, created_at 
FROM posts 
ORDER BY created_at DESC 
LIMIT 10;

따라서 바이브코딩 시에는 AI에게 언제나 "목록 조회 쿼리에는 반드시 페이지네이션(LIMIT)을 기본으로 적용해서 10개나 20개씩 끊어서 내려줘"라고 강력하게 요구해야 합니다.

다음 페이지로 넘어가기: `OFFSET`

`LIMIT 10`으로 첫 번째 페이지(1~10번째 글)를 띄웠습니다. 유저가 스크롤을 내려 '2페이지' 버튼을 누르거나 무한 스크롤이 발동했습니다. 두 번째 페이지(11~20번째 글)는 어떻게 가져올까요?

이때 사용하는 것이 `OFFSET`입니다. `OFFSET`은 "앞에서부터 N개는 이미 봤으니 건너뛰고(버리고), 그다음부터 줘"라는 의미입니다.

-- 1페이지 (처음부터 10개 가져오기)
SELECT * FROM posts ORDER BY id DESC LIMIT 10 OFFSET 0;

-- 2페이지 (앞에 10개는 버리고 11번째부터 10개 가져오기)
SELECT * FROM posts ORDER BY id DESC LIMIT 10 OFFSET 10;

-- 3페이지 (앞에 20개는 버리고 21번째부터 10개 가져오기)
SELECT * FROM posts ORDER BY id DESC LIMIT 10 OFFSET 20;

이렇게 `LIMIT`와 `OFFSET`의 조합만으로 우리가 흔히 보는 게시판의 1페이지, 2페이지, 3페이지 이동 버튼 기능을 완벽하게 구현할 수 있습니다. 이것을 오프셋 기반 페이지네이션(Offset Pagination)이라고 부릅니다.

우선은 초기 서비스 구축 시 가장 직관적이고 구현이 쉬운 `LIMIT/OFFSET` 조합만으로도 99%의 과부하 문제를 훌륭하게 막아낼 수 있습니다.