求助： selenium chrome 模拟真实请求 DHL 跟踪数据返回 Access Denied 怎么破？使用随机代理+随机 UA 仍然不行

[yasea]

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--disable-gpu')# win 必须使用该选项
chrome_options.add_argument('log-level=2')#屏蔽日志
chrome_options.add_argument('--disable-software-rasterizer')
chrome_options.add_argument("--disable-extensions")
chrome_options.add_argument('--disable-logging')
chrome_options.add_argument('--ignore-certificate-errors')
chrome_options.add_argument('--ignore-ssl-errors')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument("--window-size=1220,800")
chrome_options.add_argument('user-agent=' + spider_utils.get_ua())
chrome_options.add_argument('--proxy-server={0}'.format(proxy_ip))
prefs = {
'profile.default_content_setting_values' : {
'notifications' : 2
}
}
chrome_options.add_experimental_option('prefs',prefs)
前几个月是能正常工作的， 最近不好使了， 有经验的朋友，请帮忙瞅瞅

[yasea]

补充一下，写爬虫的主要目的是对物流单号的 DHL 跟踪数据批量截图保存，因为官方只支持查询近 3 个月的数据。

[dicc]

add_argument data-dir 这个目录指向你 chrome 真实的数据目录

[yasea]

@dicc 谢谢，中午测试了下， 依然被反爬了，有时候返回 Access Denied ， 有时候返回这个：
Your tracking attempt has been blocked
Please note that the tracking status information on this website is intended for human consumption via the website only. It is not intended to be used for integration with your systems. Automated extraction of information by bots, website scraping etc. is prohibited.

[dicc]

兄弟,试试这个思路,我用这个思路绕过了一个网站.

https://www[.]cnblogs.com/lovealways/p/9813059.html

相当于它在启动的时候,是以用户的方式启动.但是后续可以用程序控制

[yasea]

@dicc 谢谢啦，新思路比较有启发， 我尽快试试看

[janda]

这个可以试试看
# 禁止网站识别自动化
chrome_options.add_argument('disable-blink-features=AutomationControlled')

自己可以在浏览器 console 打印下：window.navigator.webdriver
正常浏览器返回的 false 、chromedrive 的浏览器会是 true

[yasea]

@janda 谢谢老铁，也不好使， 反爬机制不太好突破了