๋ด ๋ธ๋ก๊ทธ๊ฐ ์ ๋์ค๋ ์ด์ ? ๋ค์ด๋ฒ ์์ธ ์ ํ L1~L4 ๋ ๋ฒจ ์ค์ธก๋ฒ๊ณผ ํ์ถ ์ ๋ต
๋ง์ ๋ธ๋ก๊ฑฐ๋ถ์ด "๊ธ์ ๊ณ์ ์ฐ๋๋ฐ ์ ๋ค์ด๋ฒ์ ์ ๋์ฌ๊น?"๋ผ๋ฉฐ ๋ต๋ตํดํ์ญ๋๋ค. ์๋ฒ๋ ๋ฉ์ฉกํ๋ฐ ๊ฒ์ ๊ฒฐ๊ณผ์์๋ง ๋ฐ๋ ค๋๋ ์ํฉ, ์ด๋ฅธ๋ฐ '์ค์ฐจ๋จ(L3)' ์ํ์ ๋น ์ง๋ฉด ์ด์ ์ ๊ธ๋ฐฉ ์๊ธฐ ๋ง๋ จ์ด์ฃ .
์ค๋์ ์ง์ ํฐ๋ฏธ๋์ ๋๋๋ ค ํ์ธํ ์๋ฒ ์ํ๊ฐ๊ณผ ๋ค์ด๋ฒ ๊ฒ์ ๋ฐ์ดํฐ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก, ๋ด ๋ธ๋ก๊ทธ์ ํ์ฌ ์ํ๋ฅผ ์ ๋ฐ ์ง๋จํ๋ ๋ฐฉ๋ฒ๊ณผ ๋ณต๊ตฌ ๋ก์ง์ ๊ณต์ ํฉ๋๋ค.
์๋ฒ๋ ์ฃ๊ฐ ์๋ค: curl์ ํตํ ๊ธฐ์ด ์ง๋จ
๊ฐ์ฅ ๋จผ์ ํ์ธํ ๊ฒ์ ์๋ฒ ์๋ต์ ๋๋ค. ๋ค์ด๋ฒ ๋ก๋ด(Yeti)์ ๊ฐ์ฅํ์ฌ ๋ด ๋ธ๋ก๊ทธ๋ฅผ ํธ์ถํ์ ๋, ์๋ฒ๊ฐ ์ ์์ ์ผ๋ก ์๋ตํ๋์ง ํ์ธํด์ผ ํฉ๋๋ค.
# ๋ค์ด๋ฒ ๋ก๋ด์ผ๋ก ์์ฅํ์ฌ ํค๋ ์ ๋ณด ํ์ธ
C:\ curl -I -A "Mozilla/5.0 (compatible; Yeti/1.1; +http://help.naver.com/robots)" [๋๋ฉ์ธ ์ฃผ์]
HTTP/1.1 200 OK -- ์๋ฒ๋ ์ ์ ์๋ต ์ค!
...
x-robots-tag: noindex (์์) -- ์ฐจ๋จ ์ค์ ์์ ํ์ธ!
์ง๋จ ๊ฒฐ๊ณผ: HTTP 200 OK๊ฐ ๋ฌ๋ค๋ฉด ์๋ฒ๋ ํฐ์คํ ๋ฆฌ ์ค์ ๋ฌธ์ ๋ ์๋๋๋ค. ์ฆ, ๋ฌธ์ ๋ ๋ค์ด๋ฒ ๋ด๋ถ์ ์๊ณ ๋ฆฌ์ฆ ํ์ (์์ธ ๋ ๋ฒจ)์ ์์ต๋๋ค.
๋ค์ด๋ฒ ๊ฒ์ ๋ ธ์ถ ์ค์ธก ๊ธฐ์ค (L1 ~ L4)
๋จ์ํ "์ ํ์ง"์ด๋ผ๊ณ ํ์น์ง ๋ง์ธ์. ํ์ฌ ๋ด ๋ธ๋ก๊ทธ๊ฐ ์ด๋ค ๋จ๊ณ์ ์๋์ง ์๋ ํ๋ฅผ ํตํด ์ค์ธกํด๋ณผ ์ ์์ต๋๋ค.
| ๋ ๋ฒจ | ์ํ ์๋ฏธ | ์ธ๋ถ ํ์ ๋ฐฉ๋ฒ (site: ๊ฒ์ ๊ฒฐ๊ณผ) |
|---|---|---|
| L1 (์ํํธ ํ๋ํฐ) | ์์ธ์ ๋์ง๋ง ํค์๋ ๋ ธ์ถ ์ ํ | site:๋๋ฉ์ธ ๊ฒฐ๊ณผ๋ ๋ง์ผ๋ ์ผ๋ฐ ํค์๋ ๊ฒ์ ์ ์ค์ข |
| L2 (๋ถ๋ถ ์์ธ) | ํน์ ์นดํ ๊ณ ๋ฆฌ ๋๋ฝ, ์์ธ ์ง์ฐ | site:/post ์ผ๋ถ ๋๋ฝ, ์ต์ ๊ธ ๋ฐ์์ด ๋งค์ฐ ๋๋ฆผ |
| L3 (์์ธ ๋ณด๋ฅ/์ค์ฐจ๋จ) | ์ ๊ธ ์์ธ ๊ฑฐ์ ์ค๋จ | ์ ์ฒด ๊ธ ์ ๋๋น ๊ฒฐ๊ณผ๊ฐ ํญ๋ฝ, ์ ๊ธ ๊ฒ์ ๋ถ๊ฐ |
| L4 (๋ ผ๋ฆฌ์ ์ฐจ๋จ) | ๋ชจ๋ ๊ธ ๊ฒ์ ์ ์ธ (์๋๋ก๋ฉ๋ค) | site: ๊ฒฐ๊ณผ ๊ฑฐ์ 0, ์บ์ ๋ฐ์ดํฐ ๋ชจ๋ ์๋ฉธ |
์ถฉ๊ฒฉ์ ์ธ ์์ธ: "๊ธ ์ญ์ ๊ฐ ๋ ์ด ๋์๋ค?"
๋ฐ๋ก ์ ๊ฐ ๋ค์ด๋ฒ L3์ ๋ฑ ๊ฑธ๋ ธ์ต๋๋ค.
์ต๊ทผ ์ ๋ ๋ธ๋ก๊ทธ ์ ๋ฆฌ๋ฅผ ์ํด ๊ณผ๊ฑฐ ๊ธ์ ์ฝ 1/3๊ฐ๋์ ์ญ์ ํ์ด์.
๊ทธ๋ฆฌ๊ณ ๋ฐ๋ก ๊ทธ๊ฒ์ด L3(์ค์ฐจ๋จ) ์ํ๋ฅผ ์ ๋ฐํ ํต์ฌ ์์ธ์ผ ๊ฐ๋ฅ์ฑ์ด ๋์ต๋๋ค.

์ ๊ธ ์ญ์ ๊ฐ ์ํํ ๊น?
- ์ฌ์ดํธ ์ ๋ขฐ๋ ์งํ ํ๋ฝ: ๊ฐ์์ค๋ฌ์ด ๋๋ URL ์๋ฉธ์ ํฌ๋กค๋ฌ์๊ฒ "์ฌ์ดํธ ํ์ง์ด ๋ถ์์ ํ๋ค"๋ ์ ํธ๋ฅผ ์ค๋๋ค.
- ์ฐ๊ฒฐ๋ง ํ๊ดด: ์ญ์ ๋ ๊ธ๊ณผ ์ฐ๊ฒฐ๋์ด ์๋ ๋ด๋ถ ๋งํฌ๋ค์ด ๊นจ์ง๋ฉด์ ๋จ์ ๊ธ์ ์ ์๊น์ง ๊น์๋จน์ต๋๋ค.
- ์๋ ํ์ง ํํฐ ์๋: ๋ค์ด๋ฒ ์๊ณ ๋ฆฌ์ฆ์ ๋๋ ์ญ์ ๊ฐ ์ผ์ด๋ ์ฌ์ดํธ์ ์ ๊ธ ์์ธ์ ์ผ์์ ์ผ๋ก '๋ณด๋ฅ'์ํต๋๋ค.
5๋จ๊ณ ์ค์ธก ํ๋ก์ธ์ค
Step 1. ์ ์ฒด ์์ธ๋ ๋์กฐ
site:๋๋ฉ์ธ์ ๊ฒ์ํ์ ๋ ๋์ค๋ ์ซ์์ ์ค์ ๊ด๋ฆฌ์ ํ์ด์ง์ ๊ธ ์๋ฅผ ๋น๊ตํ์ธ์. 1/3 ์์ค์ด๋ผ๋ฉด L3 ํ์ ์ ๋๋ค.
Step 2. ์ ๊ธ ์์ธ ์๋ ์ฒดํฌ
์ ๊ธ์ ์ฐ๊ณ 72์๊ฐ ๋ค์ site:์ฃผ์/์๊ธ์ฃผ์๋ฅผ ๊ฒ์ํด ๋ณด์ธ์. ์ฌ๊ธฐ์ ์ ๋์จ๋ค๋ฉด ์์ธ ๋ณด๋ฅ ์ํ์ ๋๋ค.
Step 3. ํค์๋ ์ ์ ํ ์คํธ
"๋ธ๋ก๊ทธ๋ช + ํน์ ํค์๋"๋ก ๊ฒ์ํ์ ๋ ์ ๋ชฉ์ด ์๋จ์ ์ ๋ฌ๋ค๋ฉด L1 ์ด์์ ํ๋ํฐ๋ฅผ ๋ฐ๊ณ ์๋ ๊ฒ์ ๋๋ค.
Step 4. ์นดํ ๊ณ ๋ฆฌ๋ณ ๋๋ฝ ํ์ธ
site:๋๋ฉ์ธ/category/์นดํ ๊ณ ๋ฆฌ๋ช ์ ํตํด ํน์ ์ฃผ์ ๋ง ์ฃฝ์๋์ง, ํต์งธ๋ก ์ฃฝ์๋์ง ํ์ธํฉ๋๋ค.
Step 5. ๋ค์ด๋ฒ ์บ์ ํ์ธ
๋ค์ด๋ฒ ์บ์๊ฐ ์ฌ๋ผ์ก๋ค๋ฉด ์๊ณ ๋ฆฌ์ฆ์ด ๋ด ์ฌ์ดํธ๋ฅผ '์ฃฝ์ ์ฌ์ดํธ'๋ก ๊ฐ์ฃผํ๊ธฐ ์์ํ ์ํ ์ ํธ์ ๋๋ค.
L3 ์ค์ฐจ๋จ ํ์ถ ๋ฐ ๋ณต๊ตฌ ์ ๋ต
ํ์ฌ ์๋ฒ(curl) ์๋ต์ ๋งค์ฐ ๊นจ๋ํ๋ฏ๋ก, ๊ธฐ์ ์ ์์ ๋ณด๋ค๋ ๋ค์ด๋ฒ ์๊ณ ๋ฆฌ์ฆ๊ณผ์ ์ ๋ขฐ ํ๋ณต์ ์ง์คํด์ผ ํฉ๋๋ค.
๋ค์ด๋ฒ ์์น์ด๋๋ฐ์ด์ ์์ง ๋ณด๊ฐ
- ์ญ์ ๋ URL์ [์น ํ์ด์ง ์ญ์ ] ๋ฉ๋ด๋ฅผ ํตํด ํ์คํ ์ ๊ณ ํ์ฌ '์ ๋ น ๋งํฌ'๊ฐ ๋จ์ง ์๊ฒ ํ์ธ์.
- ํ์ฌ ๋จ์์๋ ์ค์ ํฌ์คํ 5~10๊ฐ๋ฅผ ๊ณจ๋ผ [์์ง ์์ฒญ]์ ๋ค์ ๋ณด๋ ๋๋ค.
๋ด๋ถ ๋งํฌ ๊ตฌ์กฐ ์ ๋ฐ์ดํธ
- ์ญ์ ๋ ๊ธ์ ๋งํฌํ๊ณ ์๋ ๋ค๋ฅธ ๊ธ๋ค์ ๋งํฌ๋ฅผ ์ ๊ฑฐํ๊ฑฐ๋ ์์ ํ์ธ์. (ํด๋ฆญ ์ 404 ์๋ฌ๊ฐ ๋๋ฉด ๊ฐ์ ์ด ์ฌํฉ๋๋ค.)
์ฌ์ดํธ๋งต/RSS ์ฌ์ ์ถ
- ๊ธ ๊ตฌ์กฐ๊ฐ ๋ํญ ๋ณํ์ผ๋ฏ๋ก ์ฌ์ดํธ๋งต์ ๋ค์ ์์ฑํ์ฌ ์ ์ถํ๋ ๊ฒ์ด ์ข์ต๋๋ค.
์ ๊ท ๊ธ ์์ฑ ์ ๋ต
- L3 ์ํ์์๋ ์๋ณด๋ค ์ง์ ๋๋ค. ๋ค์ด๋ฒ๊ฐ '์ ๋ขฐํ ์ ์๋ ์ ๋ณด'๋ผ๊ณ ํ๋จํ ๋งํ ๊ธด ํธํก์ ๊ธ์ 2~3์ผ ๊ฐ๊ฒฉ์ผ๋ก ๊พธ์คํ ์ฌ๋ฆฌ์ธ์.
- ๊ธฐ๋ค๋ฆผ: ํ ๋ฒ ํ๋ฝํ ์ ๋ขฐ๋๋ ํ๋ณต์ ์ต์ 2์ฃผ~ํ ๋ฌ์ ์๊ฐ์ด ํ์ํฉ๋๋ค. ์กฐ๊ธํจ์ ๋ ๊ธ์ ์ง์ฐ๋ ์ค์๋ ๊ธ๋ฌผ์ ๋๋ค.
๋ด ๋ธ๋ก๊ทธ๊ฐ L3(์ค์ฐจ๋จ) ์ํ์ธ ๊ฒ ๊ฐ์ ๋๋ดํ์
จ๋์?
์ ๋ ๋งค๋
๊ฒช๋ ํ์ฌ์
๋๋ค.
๋ถ์ํ ๋ด ๋ธ๋ก๊ทธ๋ ๋งจ๋ SEO ํ ์คํธํ๋ค๊ณ ๋ง๋ฃจํ๊ฐ ๋ผ์, ์ข ์ฑ์ฅํ๋ ค๊ณ ํ๋ฉด ๋ค์ ๋ ์๊ฐ๊ณ SEO๊ณ ๋๋ฐ์ด๊ณ ์ ๊ณ ๊ทธ๋ฅ ๋จ๋ค ํ๋ ๊ธ์ด๋ ์จ์ผ ํ๋ ์ถ๊ธฐ๋ ํฉ๋๋ค.
์๋ฒ ์ํ(curl 200)๊ฐ ๊นจ๋ํ๋ค๋ฉด ๋ณต๊ตฌ ๊ฐ๋ฅ์ฑ์ ์ถฉ๋ถํฉ๋๋ค. ๋ค์ด๋ฒ ๋ด๋ถ์ ์ ๋ขฐ๋๋ฅผ ๋ค์ ์๋ ์๊ฐ์ ์ถ์ ์ด ํ์ํ ๋ฟ์ ๋๋ค.
ํ ๋ฒ ํ๋ฝํ ์ ๋ขฐ๋๋ ํ๋ณต๊น์ง ์ต์ 3๊ฐ์์์ 6๊ฐ์์ ์๊ฐ์ด ํ์ํฉ๋๋ค. ์กฐ๊ธํจ์ ๋ ๊ธ์ ์ง์ฐ๋ ์ค์๋ ๊ธ๋ฌผ์ ๋๋ค. 6๊ฐ์ ์ดํ์ ๋ณต๊ตฌ๋๋ ๊ฒฝ์ฐ๋ ํ๋คํฉ๋๋ค.
๋ฒํฐ๊ธฐ ํ๋ค๋ฉด ์ฐจ๋ผ๋ฆฌ ์๋ก ๋ธ๋ก๊ทธ๋ฅผ ์์ํ๋ ๊ฒ์ด ๋ ๋น ๋ฅผ ์๋ ์์ต๋๋ค. ๋คํํ ๊ตฌ๊ธ์๋ ๋ฌธ์ ๊ฐ ๋ฐ์ํ์ง ์์๊ณ , 3๊ฐ์ ์ ๋ ๊ธฐ๋ค๋ ค ๋ณธ ๋ค ์ด์ฐจํผ ๋ธ๋ก๊ทธ ์ด์ ์ ๊ณํ ์ค์ด๋ผ ์ด๋ฒ ์ฐธ์ ์ด์ ์ ์กฐ๊ธ์ฉ ์งํํ๊ณ ์์ต๋๋ค.
์ฌํด๋ ํ๋ ์๊ฐ์ด ๋ ๊ฒ ๊ฐ๋ค์. ๊ด๊ณ ๋ ๊ด๊ณ ๋ ๋ค ์ ์นํ๋๋ฐ, ๋ค์ ์์ํ๋ ค๋ ์ฐฉ์กํฉ๋๋ค.