다음(Daum) 검색 결과 수집이 안 된다고?

시부레... 소리가 자동으로 나오는 이유와 진짜 대응법

오늘은 다음(Daum) 검색 결과 크롤링하다가 멘탈이 먼저 크롤링당한 분들을 위한 글입니다.

분명히 F12 개발자 도구로 보면 검색 결과가 떡하니 보이는데, 막상 코드로 긁으면 결과가 0개.

"내 코드가 잘못됐나? 셀렉터가 바뀌었나? 아니 이런 시부레...여기 분명히 있잖아!"

이런 혼잣말이 나왔다면 당신은 정상입니다. 문제는 코드가 아니라 다음의 시부레.. 같은 최신 렌더링 방식에 있습니다.

다음(Daum)이 쓰는 이 괴상한 방식의 정체

요즘 다음 검색 결과 HTML을 뜯어보면 이런 태그들이 보일 겁니다.

c-container
 c-card class="_cubic hydrated"
 c-title.../c-title
 /c-card
/c-container

❓ div는 어디 가고 c-card는 뭐냐?

이건 웹 컴포넌트(Web Components) 기반 구조입니다.

핵심 키워드: _cubic hydrated

이 클래스 하나에 모든 진실이 들어 있습니다.

1. Web Components

HTML을 컴포넌트 단위로 캡슐화
내부 구조는 숨기고, 외부에는 커스텀 태그만 노출
React, Vue 같은 SPA 철학을 순수 웹 표준으로 구현

2. Hydration(하이드레이션)

서버에서 빈 뼈대 HTML만 먼저 내려줌
이후 JavaScript가 실행되면서 DOM을 다시 조립
화면은 이미 떴는데, 내용은 나중에 생김

즉, "페이지 로딩 완료 = 데이터 준비 완료" 공식이 깨진 것이 모든 비극의 시작입니다.

다음 방식의 장단점 (솔직하게 까보자)

장점 (다음 입장: 개이득)

미친 수준의 수집 방지 (Anti-Scraping): 기존 .class, div a 방식 전부 무력화
PC모바일앱 통합 관리: 하나의 컴포넌트로 모든 플랫폼 재사용 가능
레이아웃 변경 자유: HTML 구조를 거의 안 바꾸고도 UI 실험(A/B Test) 가능

단점 (수집하는 우리 입장: 지옥)

렌더링 대기 지옥: document.readyState 가 완료되어도 데이터가 없을 수 있음
기존 셀렉터 전멸:document.querySelector('.wrap_cont') 같은 방식은 더 이상 통하지 않음
Shadow DOM의 벽: 일부 컴포넌트는 외부 접근을 차단하여 Selenium으로도 안 잡힐 수 있음

대응 전략: 다 그릴 때까지 지켜본다

이런 구조에 대응하려면 "다 그릴 때까지 존버한다"는 마인드가 필요합니다.

정답 접근

요소가 실제로 등장했는지 감시
짧은 주기로 반복 체크
등장하는 순간 즉시 처리

실전 대응 로직 (Chrome Extension / 콘솔 공용)

핵심 함수: 기다리는 놈이 이긴다

// 요소가 나타날 때까지 감시하는 독한 함수
const waitForElements = async (selector) = {
 for (let i = 0; i 10; i++) { // 최대 약 3초 대기
 const found = document.querySelectorAll(selector).length;
 if (found 0) return found; // 발견 즉시 탈출
 await new Promise(r = setTimeout(r, 300)); 
 }
 return 0; // 끝까지 안 나오면 실패
};

다음(Daum) 전용 맞춤 사격 팁

렌더링 완료 타이밍에 자동 대응
구조가 조금 바뀌어도 생존 확률이 높음
Selenium, Puppeteer, 브라우저 확장 프로그램 어디든 응용 가능

한 단계 더 나아간 팁 (고급자용)

MutationObserver로 DOM 변화 실시간 감지
Network 탭에서 JSON API 직접 추출
모바일 User-Agent(UA)로 요청하여 구조 단순화

하지만 일단 되게 만드는 용도라면, 오늘 소개한 waitForElements가 가성비 최강입니다.

다음이 아무리 웹 컴포넌트로 감싸고 Shadow DOM으로 잠가도, 결국 브라우저에 그리는 이상 방법은 있습니다.

이 글이 다음 검색 결과 수집 때문에 모니터를 한 대 더 살 뻔한 개발자분들께 작은 사이다가 되었길 바랍니다.

Daily Hub