HttpOnly 는 페이지의 JS(document.cookie)에서만 가려질 뿐 브라우저 쿠키 저장소에는 있다. Puppeteer 의 browser.cookies() 가 그 저장소를 읽으므로 HttpOnly·Secure 쿠키도 받는다. 받은 쿠키를 파일에 저장해 두고 다음에 browser.setCookie 로 되돌려 쓰다가 만료되면 갱신한다. 예전 방식인 CDP Network.getAllCookies 와 page.setCookie 는 폐기됐다.

-- HttpOnly 는 페이지 JS(document.cookie)에서만 가려진다 — 저장소에는 있다
cookies :: Browser -> IO [Cookie]           -- browser.cookies(): httpOnly: true 도 들어 있다

reuse :: Browser -> IO ()
reuse b = do
  saved <- decode <$> readFile "cookies.json"
  if any expired saved
    then cookies b >>= writeFile "cookies.json" . encode     -- 만료되면 갱신
    else setCookie b saved                                   -- browser.setCookie(...saved)
-- 폐기: CDP Network.getAllCookies · page.setCookie
#91

모든 요청에 같은 헤더를 붙이려면 page.setExtraHTTPHeaders 를 부른다. 요청마다 다르게 바꾸려면 setRequestInterception(true) 로 가로채는데, 켜는 순간 모든 요청이 멈추므로 request 이벤트에서 헤더를 고쳐 request.continue({ headers }) 로 반드시 내보내야 한다.

-- 모든 요청에 같은 헤더
-- await page.setExtraHTTPHeaders(headers)

-- 요청마다 고치려면 가로챈다 — 켜면 모든 요청이 멈춘다
onRequest :: Request -> IO ()
onRequest req = continue req { headers = modify (headers req) }   -- continue·respond·abort 중 하나를 꼭
#92

페이지 안 JS 로 캔버스에서 꺼내거나 서버에서 다시 받는 길이 있고, DevTools 프로토콜로 꺼내는 길이 있다. CDP 는 Page.getResourceTree 로 프레임의 리소스 목록을 얻고 Page.getResourceContent 로 각 리소스의 내용을 받는다(base64 면 디코딩). 또는 page.on(“response”) 로 응답이 올 때마다 response.buffer() 를 받는다.

-- 헤드리스 브라우저에서 이미지 꺼내기
data Way = InPageCanvas | InPageRefetch | Cdp | OnResponse

images :: Page -> IO [Buffer]
images page = do
  cdp <- createCDPSession page
  tree <- send cdp "Page.getResourceTree"
  forM (resources tree) $ \r -> do
    c <- send cdp "Page.getResourceContent" (frameId tree, url r)
    pure (decode (if base64Encoded c then Base64 else Utf8) (content c))

-- 또는: page.on('response', r => r.buffer())
#93