这是一个创建于 240 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近在抓取 Instagram 数据，基本需求是：寻找一些指定国家、指定类别的用户。
研究了 Instagram ，功能如下
- 部分支持直接搜索，比如搜索 usa makeup ，能够直接出来一批帖子
- 支持搜索标签，跳转到标签页。但不支持同时搜索多个标签
- 支持搜索地点，但在地点中不支持进一步搜索定制
结合我的需求，其限制如下
- 直接搜索出来的比较随机，有些关键词无法搜出帖子，因此这是一个不稳定的功能
- 不支持多维度搜索，即指定多个标签、同时指定标签和帖子等
于是要实现我的需求，比较靠谱的方案是
- 抓取指定国家下的帖子，然后从中按照标签筛出想要的帖子，再解析其用户
- 抓取指定标签下的帖子，然后从中按照用户地点筛选
我使用 AccessibilityService 对 Instagram 客户端做了自动化操作，然后使用 MITMProxy addon 在代理层解析数据包入库，方便后续统计，但这里又遇到一些问题
- 在帖子列表页面下拉两千个帖子左右时，就可能被卡住，无法加载更多帖子。且约到后面，加载出来的帖子和重复度越高，使得我无法得到足够多的帖子
- 随着帖子加载越来越多，Instagram 的网络我访问就变得很慢，导致没法继续抓取工作
总之就是我目前很难在短时间内获取足够的帖子，导致无法进行下一步获取到足够多的符合要求的用户。
请问有人有 Instagram 爬虫经验吗？或者要实现我的需求还有别的方法吗？（排除直接从数据平台直接购买的方式）
目前尚无回复
Select Language