cuckoogetをcurl-impersonateに対応しました
1 min read
こんにちは、無能です。
ウェブサイトのミラーを作成するcuckoogetですが、Impersonating Chrome, tooに対応しました。
クライアント側がTLS handshake時にサーバー側に応答するTLS Fingerprintを偽装することでCloudflareの必要とするTLS handshake時に検出するbot検知を突破できます。
あくまでTLS handshake時に検知されるものなので、JS loadでのbot検知までは行なえません。
メインブランチに取り込んでないのは、ユーザに使用の可否を変えていることととあくまで機能として使えるだけとしています。
haturatu/cuckooget
ミラーサイト以外の使い方
これにはstate.jsonで対象保存したURL自体が保存されるため、実際のウェブサイトのテストケースや404としてリンク切れ先を検出することが可能となります。
自分の管理してるウェブサイトに対して、ローカルで実行することも有益のはずです。
それでは。またよろしくお願いいたします。