봇차단 플랫폼 헤드리스 브라우저 추출 PoC

[m-a-king]

왜

• KREAM·쿠팡·네이버는 순수 HTTP fetch 로 전 경로가 막힌다 (엣지 TLS 지문/JS 챌린지, 봇 차단 쇼핑몰(KREAM·쿠팡·네이버) 등록 차단과 파싱 실패 처리 개선 #539 dev 실측: KREAM 500 no-body·쿠팡 403·네이버 418).
• 봇 차단 쇼핑몰(KREAM·쿠팡·네이버) 등록 차단과 파싱 실패 처리 개선 #539 로 등록 시점에 미지원 400 차단했으나, 사용자 수요(특히 KREAM)는 있고 실제 추출은 실제 브라우저로만 가능하다.

무엇을

• 헤드리스 브라우저 + 안티봇 우회로 KREAM 상품 추출이 실제로 되는지 PoC.
• 참고 레포: https://github.com/fivetaku/fashion-trend (Scrapling + Playwright stealthy-fetch).
• 접근 후보: 별도 Python 헤드리스 워커, mweb.kream.co.kr origin(엣지 미차단, SSR 셸을 브라우저가 JS 로 채움) 사용.
• 비용·리스크 평가: 브라우저 풀 운영 비용, Akamai/봇매니저 2-4주 주기 업데이트 추적, ToS(상업적 이용 제약).

[m-a-king]

PoC 질문에 답이 나오고 실제 구현까지 끝나 닫는다.

PoC 결과: 헤드리스 브라우저로 봇차단 플랫폼 추출이 실제로 가능했다. 별도 renderer 서비스를 박스 1대로 구축하고, extractor 가 /render 로 html 을 받아 파싱하는 계약으로 연동했다(read timeout 20s, 실측 전형 1.6-5.5초).

다만 결론은 방향 전환이다. 정직함 전환(#932)으로 우회 수단(지문 보정·프록시 IP 로테이션)은 기본 완전 차단하고, 요청별 authorized 로만 열리는 구조가 됐다. 브라우저 자체는 신원 UA·우리 IP 로 도는 한 허락이 필요 없다. 어느 도메인을 열지는 core 가 원장으로 소유하는 도메인 접근 정책(ALLOWED/BLOCKED)이 정한다(#955).

즉 이 이슈가 물은 "봇차단 플랫폼을 뚫을 수 있나"는 "뚫을 수는 있으나 허락받은 대상만 연다"로 확정됐다. 스텔스·프록시 실험 자산은 명시 플래그로만 도는 형태로 보존돼 있다.