1
bshu 2013-10-23 12:39:46 +08:00
国内的正规网站去遍历 icp 备案数据库
|
2
qiayue 2013-10-23 12:56:26 +08:00
看你的具体需求了,如果不是需要全网所有网站的数据,而是只需要一部分有名/有流量的网站的话,手工去填都很快,数据也准确。
“世界上 95% 的网站每天只有不到30个IP的流量,里面还包括了自己及亲戚朋友的访问” |
3
mengzhuo 2013-10-23 12:57:46 +08:00
whois信息里没有?
|
4
shiny 2013-10-23 12:58:33 +08:00
爬网址导航或者开放目录。
|
5
dongbeta 2013-10-23 13:00:45 +08:00
收集一大批网址导航站,用爬虫去爬链接提取 A 标签的相关信息。
|
10
xiya 2013-12-25 17:09:29 +08:00
爬一些备案信息,定义关键字呢?
|