开源一个 google 爬虫项目

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2671 天前的主题，其中的信息可能已经有所发展或是发生改变。

这个项目写了一段时间了，主要功能就是实时爬取 googlesearch 的结果。google 反爬很严格，我这边也没有很好的办法，后面可能也不太搞了，就整理了开源出去，希望能给其他人一些思路。 github: https://github.com/FastSchnell/googlebridge

目前只支持 python2.7，有兴趣的可以试一下下载 wget http://googlebridge.com/googlebridge.py 运行 python googlebridge.py

第 1 条附言 · 2017-08-29 23:51:15 +08:00

忘记说了，要在墙外主机跑。

第 2 条附言 · 2017-08-30 08:03:41 +08:00

这个服务跑起来以后就是一个网站，访问 vps 公网 IP 即可

第 3 条附言 · 2017-08-30 10:10:53 +08:00

默认使用 tcp80 端口

Python

开源

Google

GitHub

10 条回复 • 2017-08-30 09:49:25 +08:00

mingyun

2017-08-29 23:08:38 +08:00

支持 py3 啊

Fing

2017-08-29 23:51:35 +08:00

@mingyun 没测过欸~

mckelvin

2017-08-30 00:03:18 +08:00

楼主代码写得挺认真的，建议了解下 requests, urlparse, pyquery 或 BeautifulSoup, jinja2 这几个库，能剩不少代码。

viosey

2017-08-30 00:08:52 +08:00

有办法爬 Google image 吗?

gaotongfei

2017-08-30 00:11:55 +08:00 via iPhone

@mckelvin jinja 在爬虫中有什么应用？

mckelvin

2017-08-30 07:58:15 +08:00 via iPhone

@gaotongfei 我也好奇呢。但楼主代码里有 html 模版。

Fing

2017-08-30 08:05:18 +08:00 via iPhone

@mckelvin 不用三方库为了简化部署。里面有 html 模版是因为脚本跑起来就是一个网站。

xiaozizayang

2017-08-30 08:25:06 +08:00 via Android

关键是对谷歌反爬机制的研究我也写过一个轮循谷歌全球域名有点效果 https://github.com/howie6879/MagicGoogle

jisibencom

2017-08-30 09:29:16 +08:00

难道用反代不是更方便些不？

Fing

2017-08-30 09:49:25 +08:00 via iPhone

@jisibencom http://www.lofter.com/lpost/1d575b02_110546ad