这是一个专门讨论 idea 的地方。
每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。
那这个时候，不妨可以把那些 idea 分享出来，启发别人。
每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。
那这个时候，不妨可以把那些 idea 分享出来，启发别人。
这是一个创建于 1460 天前的主题，其中的信息可能已经有所发展或是发生改变。
打算搞一个在线爬虫平台，就是最近在爬租房数据，然后百度了下在线爬取，不是付费就是功能比较简单 支持在线编辑代码，执行，直接获取到结果下载 不同用户数据，代码隔离 有一个公共爬虫库，点击后可以直接使用
希望大家多多提意见。
 |
1
FaceBug 2020-11-09 15:48:01 +08:00
是爬房租的价格么
|
 |
2
efaun 2020-11-09 15:55:28 +08:00
从入门到坐牢？
|
 |
3
alexchinatests OP @FaceBug 不是，就是一个在线爬虫系统，不需要搭建环境，不需要部署。前期可能需要一点代码基础，后面功能完善了就不需要代码基础了。
|
|
4
alexchinatests OP @efaun 面向监狱编程
|
 |
5
qfdk 2020-11-09 15:57:36 +08:00
早就有了啊 好像是 binux 还是谁写的
|
|
6
alexchinatests OP 额
|
 |
7
icedir 2020-11-09 16:02:57 +08:00
这是面向监狱编程啊
|
 |
8
pckillers 2020-11-09 16:02:58 +08:00
然后贵产品各 IP 被各大网站疯狂屏蔽？
|
|
9
alexchinatests OP |
|
10
alexchinatests OP 写好声明不就行了。。。
实在不行就私有部署吧 |
 |
11
em70 2020-11-09 16:13:15 +08:00
就是采集器嘛,十年前就已经很多类似产品了,即刻不也是采集器的变种么
|
|
12
alexchinatests OP @em70 叫这个名呀。我搜了下好像蛮多的
|
 |
13
madlifer 2020-11-09 16:56:56 +08:00
其实如果你能写出来个开源的无代码采集器肯定火爆，参考火车头
|
 |
14
flicking2015 2020-11-09 16:58:42 +08:00  1
不推荐做，了解下 crawlab，你能短时间内做一个比他更好的就去弄吧
|
 |
15
lazycat353 2020-11-09 17:04:36 +08:00
面向牢饭
|
 |
16
yolee599 2020-11-09 17:25:31 +08:00
爬虫写得好，牢饭吃得早
|
 |
17
tikazyq 2020-11-09 17:26:37 +08:00
crawlab 传送门
https://github.com/crawlab-team/crawlab |
 |
18
westoy 2020-11-09 17:32:06 +08:00
提供软件没事
提供采集规则和平台是找死 |
 |
19
agdhole 2020-11-09 17:43:18 +08:00
曾经有人搞过，叫“造数”
刚才去官网已经打不开了 |
 |
21
zhule0601 2020-11-09 18:25:13 +08:00 via iPhone
GitHub 上面搜一下，肯定有人弄过了，，
|
 |
22
linksNoFound 2020-11-10 16:52:40 +08:00
神箭手也倒闭了,我在上面写的几十个脚本全给我清咯
|
 |
23
streamrx 2020-11-10 19:32:52 +08:00 via iPhone
你说的这个好像就是神箭手那种平台 这种已经很早就有人搞了
|
 |
24
lxfcool 2020-11-11 08:56:15 +08:00
几年前没学爬虫用过类似的软件, 感觉还是不如自己实现的好.
|
 |
25
xinyana 2020-11-12 18:50:01 +08:00 via Android
写爬虫本身没什么门槛，不懂的人，不会用你的平台，懂得人自己搭，不好定位用户群
|
 |
26
jackrebel 2020-11-13 13:59:37 +08:00
建议楼主熟读《面向监狱编程++》
|
 |
27
linktom 2021-05-08 17:05:44 +08:00
3 年起步哟
|
Select Language