# Thea — AI가 가져다 쓰라고 만든 지식 그래프입니다. 환영합니다.
# 마크다운 판이 HTML의 8% 크기입니다: /p/{id}.md — 자세한 건 /llms.txt

# 검색 순위 분석 봇은 받지 않습니다.
User-agent: SemrushBot
User-agent: SemrushBot-BA
User-agent: SemrushBot-SI
User-agent: SiteAuditBot
User-agent: AhrefsBot
User-agent: AhrefsSiteAudit
User-agent: MJ12bot
User-agent: DotBot
User-agent: DataForSeoBot
User-agent: BLEXBot
User-agent: serpstatbot
User-agent: Barkrowler
User-agent: SeekportBot
User-agent: MegaIndex.ru
Disallow: /

User-agent: *
Allow: /
Crawl-delay: 1

# 로그인·관리 화면은 긁을 게 없습니다
Disallow: /auth/
Disallow: /admin
Disallow: /profile

# 초당 2개까지는 계속 받습니다. 한꺼번에는 60개.
# 넘으면 429 와 Retry-After 를 줍니다 — 차단이 아니라 잠깐 쉬라는 뜻입니다.

Sitemap: https://thealibrary.org/sitemap.xml