V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
Shevckcccc
V2EX  ›  分享创造

新作品,论坛二手交易信息搜索引擎

  •  
  •   Shevckcccc · 2013-11-18 15:32:50 +08:00 · 9069 次点击
    这是一个创建于 4029 天前的主题,其中的信息可能已经有所发展或是发生改变。
    这是在v2ex上发布的第三个项目。

    依旧还是爬虫+聚合(为什么老是做聚合。。因为我一直在努力的尝试怎么做才能降低运营成本,聚合比较简单省力,一个人也能照顾的过来,当然,这只是起点不是终点)

    网站名称: 找闲置
    网站地址: www.zhaoxianzhi.com (找闲置全拼,界面请吐槽)
    网站定位: 论坛二手交易信息搜索引擎



    项目初始的想法来自于一淘网,大家知道一淘网是做购物搜索的,它抓取的是各大B2C站点的商品信息(比如京东易迅),然后聚合起来做比价搜索。于是我就想是不是可以做一个基于BBS的购物搜索引擎呢,事实上个人卖东西的话,除了58,赶集,淘宝这些之外,在很多BBS论坛上也存在有大量的高质量的交易信息(比如v2ex的交易节点),如果把这些信息聚合到一起的话,也是一个很可观的资源。


    欢迎大家帮忙测试吐槽,谢谢啦


    以下是一些补充说明:

    1. 在线论坛远比我预想的少,很多原先活跃的现在都已经没有什么人气了,一些本地论坛倒是有一点交易数据,但却不适合放上来,所以能用的资源真是特别少

    2. 一淘有比价和商品分类,比价在二手商品里面可能用处不大,但商品分类我真的有想过要做的,不过这个归类的难度实在太大了,还没想好怎么实现。

    3. 界面是东拼西凑搞定的,每次打开网站看到这么渣的界面都特别影响心情,但以我的能力,也只能做到这一步了。。请大家多提点意见。
    第 1 条附言  ·  2013-11-20 23:15:45 +08:00
    今天重新画了一下界面,新界面 http://www.zhaoxianzhi.com 老界面:http://www.361.im
    49 条回复    1970-01-01 08:00:00 +08:00
    LetFoxRun
        1
    LetFoxRun  
       2013-11-18 16:02:16 +08:00 via Android
    代码开源了没,求开源代码(如果可以的话),谢谢。
    9hills
        2
    9hills  
       2013-11-18 16:05:00 +08:00
    ls。。。莫做伸手党
    LetFoxRun
        3
    LetFoxRun  
       2013-11-18 16:18:50 +08:00 via Android
    @9hills 我是看他之前帖子,评论中提到过开源。所以就脸皮厚了点求代码了。
    yaway
        4
    yaway  
       2013-11-18 16:29:40 +08:00   ❤️ 1
    推荐几个之前逛的坛子
    家电论坛-交易区:http://www.jdbbs.com/forum-97-1.html
    耳机大家坛-二手区:http://www.erji.net/thread.php?fid=8
    iMP3-交易版:http://bbs.imp3.net/forum-63-1.html
    电玩巴士-交易区:http://bbs.tgbus.com/forum-50-1.html
    Gawie
        5
    Gawie  
       2013-11-18 16:36:24 +08:00
    关注,有着同样的想法,不过想做其他行业
    Shevckcccc
        6
    Shevckcccc  
    OP
       2013-11-18 16:48:43 +08:00
    @LetFoxRun


    谢谢评论 :) 其实每次被v友求开源心里都感觉特别惭愧,求开源在v2ex里面应该是很正常的事情,不过我也刚学会写python,现在的代码依旧混乱不堪,幸运的是我还有很多小项目要做,所以我争取明年放几个开源的项目上来吧,今年的这几次真是不行了。

    @9hills 谢谢
    Shevckcccc
        7
    Shevckcccc  
    OP
       2013-11-18 16:51:17 +08:00
    @yaway 谢谢! imp3我有关注,后来太懒了没有爬,下次有空把这些都加上,非常感激。
    LetFoxRun
        8
    LetFoxRun  
       2013-11-18 16:54:34 +08:00 via Android
    @Shevckcccc
    嗯。很惭愧,直接开口就要了。没事主要想知道你聚合是怎么实现的,没事,谢谢了。
    9hills
        9
    9hills  
       2013-11-18 17:12:17 +08:00
    @LetFoxRun 恩,我没注意,抱歉啊
    Shevckcccc
        10
    Shevckcccc  
    OP
       2013-11-18 17:19:56 +08:00 via iPhone
    @LetFoxRun 我用的requests + pyquery,晚上有空给你个代码,很简单,关键是自己要动手写
    forest520
        11
    forest520  
       2013-11-18 18:03:38 +08:00 via iPhone
    如果论坛代码变了 你的爬虫抽取部分是不是要改呢?
    vipdomain
        12
    vipdomain  
       2013-11-18 20:53:14 +08:00
    我是觉得这类需求应该不是很大
    论坛二手交易注定只能是小圈子生意
    个人浅见,楼主莫怪
    taresky
        13
    taresky  
       2013-11-18 21:17:31 +08:00 via iPhone
    @vipdomain

    还真不是吧,大部分二手数码交易都发生在论坛才对…
    vipdomain
        14
    vipdomain  
       2013-11-18 21:24:12 +08:00
    @taresky
    嗯,这个我赞同
    我的意思是
    论坛二手交易 基本就是些熟客交易(至少ID眼熟?)
    但是如果情景是这样的
    我在楼主的站上面看到某个论坛的某个二手数码,比较感兴趣,我注册一个新帐号去交易,交易起来应该会有一些障碍吧?
    Shevckcccc
        15
    Shevckcccc  
    OP
       2013-11-18 21:42:12 +08:00
    @LetFoxRun 这个是最简单的爬虫,我爬了一点饮水思源的交易数据,看看就知道怎么写了。

    https://gist.github.com/Shevckcccc/7527414
    Shevckcccc
        16
    Shevckcccc  
    OP
       2013-11-18 21:50:00 +08:00   ❤️ 1
    @vipdomain 是的,不过大部分论坛都是discuz做的,变动不大。像学校BBS的这种,一般更是几年都不会变。


    @vipdomain 对的,合适的论坛并不多,请看我的补充说明第一条 [一些本地论坛倒是有一点交易数据,但却不适合放上来] 。 论坛式微,这也是没有办法的事,像weiphone这种广域的论坛还是太少了。豆瓣里也有一些,不过总的来说,整体还是不景气。除非我增加用户所在地功能,然后再细分论坛,但这样的工作量就多了


    @taresky 谢谢讨论,数码类的在线交易比较多,所以我选的大部分都是数码类的:D
    yywudi
        17
    yywudi  
       2013-11-18 22:33:22 +08:00
    我就知道weiphone 机锋,塞班论坛 这几个
    depress
        18
    depress  
       2013-11-18 23:08:33 +08:00
    首先非常感谢楼主这个聚合,很方便,然后补充几个数码类的站,能爬上最好了:
    Hi!PDA(需要登陆才能看到):http://www.hi-pda.com/forum/forumdisplay.php?fid=6
    PCINLIFE:http://we.poppur.com/forum-137-1.html
    PCEVA:http://bbs.pceva.com.cn/forum-53-1.html
    耳机大家坛:http://www.erji.net/thread.php?fid=8
    imp3:http://bbs.imp3.net/forum-63-1.html
    zasv:http://www.zasv.com/forum-110-1.html
    anzhi:http://bbs.anzhi.com/forum-107-1.html
    hiapk:http://bbs.hiapk.com/forum-187-1.html
    jdbbs:三个交易区,就不贴地址了。
    thinkxen
        19
    thinkxen  
       2013-11-18 23:31:33 +08:00 via Android
    不错,支持。
    sohoer
        20
    sohoer  
       2013-11-19 10:07:52 +08:00
    一淘能直接赢利,这个难
    jjplay
        21
    jjplay  
       2013-11-19 10:50:24 +08:00
    @sohoer 这的确是个问题,不过页面里可以通过智能识别 检索商品类别 名称 调取 推送一些淘宝客 和一些返现广告 或者 adsense也能很好的识别,这样应该至少可以微利吧。
    vipdomain
        22
    vipdomain  
       2013-11-19 11:00:56 +08:00
    买二手,安全很重要。
    楼主这个月转型为专业中介 提供服务
    wxstorm
        23
    wxstorm  
       2013-11-19 11:25:52 +08:00
    @Shevckcccc 我也觉得细分有必要,如果是论坛交易,受众还是本地用户,而且一般希望面交,这样才有保证(毕竟论坛的可信度不高,面交看到东西才放心。)
    如果只是这种广义的搜索,意义不大,我完全可以去本地的几个论坛自己去看。
    但如果按地域分类了,不管你来自哪个论坛,我能搜到本地的交易,看起来就方便多了,也确实有用。
    wxstorm
        24
    wxstorm  
       2013-11-19 11:45:50 +08:00
    真是赞楼主的执行力~~~
    还有那些带点小清新的域名~~mogufu不错~~
    banbanchs
        25
    banbanchs  
       2013-11-19 13:12:08 +08:00
    好想法,建议分出城市,方便同城交易
    Shevckcccc
        26
    Shevckcccc  
    OP
       2013-11-19 13:55:23 +08:00
    @depress 谢谢补充,晚上有空回去加上,需要登录验证的可能搞不了,有点麻烦。。


    @jjplay @sohoer 其实一开始没有想过盈利的问题,现在还不知道怎么推广,没精力没时间也没人一起,流量少做什么都不管用啊!如果以后真的用的人多,倒是可以学学苹果团的做法,自己开网站卖东西总是更方便一点

    @vipdomain 二手的安全问题,其实我这边还有另一个关于此的小项目,当初研究了一段时间,但后来精力实在不够,所以就放弃了

    @wxstorm 一个人做,功能太多搞不过来啊!细分的话实现起来比较麻烦,太花时间啦,我现在是宁愿功能越少越好。。呵呵!mogufu不是我的第一个豆瓣系域名,还有比如doubanhouse.com之类的当时也注册了几个,很早的那段时间,老是想做点豆瓣的app,但豆瓣的API实在太弱了(好在我现在已经学会了爬虫),更新也特别慢。所以之后就不了了之了。

    @thinkxen @banbanchs 谢谢支持
    sedgwickz
        27
    sedgwickz  
       2013-11-19 14:34:17 +08:00
    lz可以开放出api,我来搞一个iPhone版本:)
    wxstorm
        28
    wxstorm  
       2013-11-19 15:46:28 +08:00
    @Shevckcccc 觉得你做很多个小产品不如把一个做完善~
    借用 黑客与画家里一句话, 做你觉得很困难很麻烦的部分,才能真的产生价值~
    scalaview
        29
    scalaview  
       2013-11-19 16:25:56 +08:00
    之前我也做过这种聚合,主要是imp3,塞班和太平洋的,UP这个更多更全了
    里面好像没有爬塞班闲置区的信息,那边有很多信息
    http://bbs.dospy.com/forum-141-1.html
    sohoer
        30
    sohoer  
       2013-11-19 16:48:19 +08:00
    一淘能够通过TITLE信息智能分类,你要实现这功能,才有看头。
    Shevckcccc
        31
    Shevckcccc  
    OP
       2013-11-20 23:14:19 +08:00
    不好意思,昨天晚上比较忙,正在重画界面,所以站点的爬取被我延后了,周末会完成。

    @sedgwickz 我只写过java的RESTful生成json,python的还没搞过!api的优先级在界面和功能之后,等我把网站搞定了再说。。有兴趣的话可以一起搞。


    @wxstorm 你是对的。。谢谢!不过现在除了想方法的控制后期运营成本之外,也在想办法控制开发的时间和成本,小产品一路做减法,是为了给更重要的事让路啊,小产品的定位是:支线+前途不大+搞着玩+不花时间,不过刚刚我重构了一下页面,把城市的标签加上去了,但功能真的确实还没想好怎么实现。。

    @scalaview 恩,周末看情况把加闲置区加上:D
    momo5269
        34
    momo5269  
       2013-11-21 01:13:59 +08:00   ❤️ 1
    那啥 好像很多硬件媒体的下属论坛都有 但是除了没zol太平洋和小熊8080都没逛过啊
    crny520
        35
    crny520  
       2013-11-21 08:33:54 +08:00
    @Shevckcccc requests和httplib功能上有什么不同?
    Numbcoder
        36
    Numbcoder  
       2013-11-21 09:29:35 +08:00
    很不错。
    V2EX 肿么没收录?
    yelite
        37
    yelite  
       2013-11-21 09:46:02 +08:00
    @Shevckcccc SJTU的吗?居然能在这里见到校友
    Shevckcccc
        38
    Shevckcccc  
    OP
       2013-11-21 20:17:55 +08:00
    @momo5269 哇,这么多,太感谢啦! 我一直觉得能爬的论坛太少,没想到你一下子就贴了这么多。论坛地域细分我还在考虑怎么实现,谢谢啦
    Shevckcccc
        39
    Shevckcccc  
    OP
       2013-11-21 20:34:22 +08:00
    @crny520 功能上应该没有什么不同,但requests写起来特别简单顺手,用requests可以很方便的保留cookie和header,并在下一次请求时再次使用


    @Numbcoder 因为我觉得v2ex现在的氛围很好啊,这么安静优质的地方,如果有太多闲杂人等来刷帖做广告卖假东西就不太好了。。我做的那个站还是面向的是普通用户


    @yelite 不是,只是一个demo :D
    momo5269
        40
    momo5269  
       2013-11-22 02:59:10 +08:00
    @Shevckcccc里面有几个没有交易区或者不活跃的...地域问题主要是8080之类论坛,他是南京的
    momo5269
        41
    momo5269  
       2013-11-22 03:09:59 +08:00
    我上面网站有一两个可能没有交易区,有几个因为论坛规模可能交易区不够活跃。
    贴吧平台信息多活跃度高,有时候分类信息平台和跳蚤街也有惊喜,但是不好抓...
    其实里面还漏了不少手机相关和数码相关(比如家电坛)

    网上三好街的论坛之类,都是地域类型的;多玩、电玩巴士之类网站,主要是游戏相关的;其余的很多论坛光名字就决定了局限性,比如手电坛、外设坛和准系统坛
    Shevckcccc
        42
    Shevckcccc  
    OP
       2013-11-22 21:04:13 +08:00 via iPhone
    @momo5269 恩,你知道的好多!这些我大部分都没逛过,这周末看一下,把能加的尽量加上,Thanks!
    Shevckcccc
        43
    Shevckcccc  
    OP
       2013-11-23 22:55:39 +08:00
    今天写了一会程序,新增 [家电论坛] [耳机大家坛] [IMP3] [电玩巴士] [PCEVA] [杂碎后院] [HiApk安卓网] [极速社区] [本友会] 几个站点。 现在界面依旧体验不好,正在努力改,再次谢谢大家!

    @yaway
    @momo5269
    @depress
    momo5269
        44
    momo5269  
       2013-11-24 01:41:49 +08:00
    @Shevckcccc 挺好的
    lj0014
        45
    lj0014  
       2013-11-24 17:33:01 +08:00
    对于要淘二手的很实用哈,不过现在搜索功能还比较弱
    gongweixin
        46
    gongweixin  
       2013-11-25 10:29:10 +08:00
    支持楼主,感觉很不错。
    depress
        47
    depress  
       2013-12-04 22:56:39 +08:00
    @Shevckcccc 没有收到你的@ 提示,才看到,我觉得这类网站实用性是最重要的,所以现在的界面我是觉得还可以啦,呵呵。
    ql9075
        48
    ql9075  
       2013-12-20 18:18:38 +08:00
    @Shevckcccc 我也有個想法,想一起做做,看可以聊聊不。
    likaci
        49
    likaci  
       2014-03-14 12:51:49 +08:00
    无法访问了?一直关注的……
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3667 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 10:31 · PVG 18:31 · LAX 02:31 · JFK 05:31
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.