微信的 robots.txt 是否涉嫌违反《反垄断法》？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1429 天前的主题，其中的信息可能已经有所发展或是发生改变。

最近搜东西时，发现微信的 robots.txt 文件禁止了除首页和几个页面的爬虫索引： https://mp.weixin.qq.com/robots.txt

User-Agent: *
Allow: /$     #关于此指令解释在链接 [2] 文末
Allow: /debug/
Allow: /qa/
Allow: /wiki
Allow: /cgi-bin/loginpage
Allow: /cgi-bin/wx
Disallow: /

作为中文互联网最大的内容平台之一，微信竟然只对其他搜索引擎开放了几个页面[1]，如果需要搜微信公众号的文章必须得在微信内，或者腾讯系搜索引擎——搜狗内进行搜索，这是否已经涉嫌违反了《反垄断法》？

[1] https://www.google.com/search?q=site:mp.weixin.qq.com

[1] https://www.baidu.com/s?wd=site%3Amp.weixin.qq.com

[2] https://developers.google.com/search/reference/robots_txt

allow

微信

cgi-bin

robots

30 条回复 • 2020-12-26 12:58:14 +08:00

PureWhiteWu

2020-12-25 10:36:25 +08:00

不涉嫌。
这是知识产权问题。

lakehylia

2020-12-25 10:44:21 +08:00

不涉嫌，这是 WWW 的设计问题，robots.txt 就是一个行业自律协议而已，没有法律效力的。

takemeaway

2020-12-25 10:49:35 +08:00

微信本身就涉嫌垄断了，还需要管 robots 文件？

captray

2020-12-25 10:55:55 +08:00

@lakehylia
@PureWhiteWu
了解，谢谢回答

@takemeaway
确实，感觉目前我国的反垄断法条还需进一步改进哈

helionzzz

2020-12-25 10:57:45 +08:00

一个日活 12 亿的软件本身已经处在实质垄断的地位了，不缺你一个行业自律 txt

Jooooooooo

2020-12-25 10:58:10 +08:00

那淘宝也应该开放百度抓取?

longaiwp

2020-12-25 10:58:37 +08:00

这个文件完全没有任何违规，但是微信垄断也不需要这个文件来证明，我们从它的行为已经能判断出它垄断了。

PureWhiteWu

2020-12-25 11:05:32 +08:00

@lakehylia robots.txt 有法律效力。

captray

2020-12-25 11:16:39 +08:00

@PureWhiteWu 嗯嗯，找到几篇文章对此也做了专业的讨论分析
http://pkulaw.cn/fulltext_form.aspx?Db=qikan&Gid=40e6026459bd2d2aa0fd56b72ccfdb53bdfb&EncodingName=
http://www.lw828.com/mingfalunwen/112861.html

jfdnet

2020-12-25 11:20:36 +08:00

@longaiwp
微软垄断官司当年不是打了好多年差点被分拆也极大影响了微软的产品策略不然可能都不会错过移动时代。

luoqeng

2020-12-25 11:35:34 +08:00

南山必胜客了解下

natashahollyz

2020-12-25 11:41:14 +08:00

第一 wx 本身就是垄断了，和 robots 无关

第二你家不让人进，这不是很正常吗？

duhongle

2020-12-25 12:43:39 +08:00

robots 可以遵守也可以不遵守。。。关键是你爬取微信文章使用。。。微信直接搞死你

EminemW

2020-12-25 13:16:31 +08:00 via iPhone

想啥呢？

maichael

2020-12-25 13:28:09 +08:00

@luoqeng #10 现在南山必胜客也没用了，阿里遭了下一个就是腾讯，这些互联网大公司这段时间会一个接一个被砍几刀。

glennv2ex

2020-12-25 13:31:02 +08:00

robots 就是个君子协议

passerbytiny

2020-12-25 14:12:44 +08:00 via Android

如果微信公众号占有市场主导地位，那么这么做是垄断的。在这一点上确实没垄断，因为微信公众号在内容平台市场不具有主导地位，事实上也不可能有任何商业公司能够主导国内的内容平台市场。

prodcd

2020-12-25 14:56:20 +08:00

https://www.taobao.com/robots.txt

User-agent: Baiduspider
Disallow: /

User-agent: baiduspider
Disallow: /

xhpan10

2020-12-25 17:20:20 +08:00

是垄断了。。用户发的文章，他不能去强制决定这篇文章不能被其它搜索引擎收录

x86

2020-12-25 17:26:50 +08:00 via iPhone

写爬虫还理直气壮了咋不要求微信给你个 api 直接调呢

aegon466

2020-12-25 17:30:10 +08:00

@x86 👍

juziss

2020-12-25 19:21:57 +08:00

@x86 这个跟对方的反爬机制太强了，直接投诉对方的行为是一样的

Cielsky

2020-12-25 20:11:02 +08:00 via Android

@xhpan10 用户可以自己选择多处发表吧

zhoushiya

2020-12-25 20:30:17 +08:00

求问如果直接在 robots.txt 里写了禁止爬虫的目录，比如后台 admin 目录。。。但是通过网址直接打开 http://xxx.com/robots.txt 不就看到了后台的地址？

mmdsun

2020-12-25 22:17:01 +08:00 via Android

腾讯：只要我招聘国家退休官员够多，永远别想搞我反垄断。（梗来源于腾讯招要求）

watzds

2020-12-25 22:23:13 +08:00 via Android

说得好！淘宝禁止百度爬商品带的头

Urutora

2020-12-25 23:55:47 +08:00 via iPhone

整天盯着蚊子吸你血，吸血鬼当没看见，服了。行政机关的垄断算不算垄断呢？怎么没人不服？

iamsad3508

2020-12-26 08:27:17 +08:00 via Android

1.法律.txt 不改也行
2.以前有 MSN，QQ 不构成垄断。现在有钉钉，说不定还是不能构成垄断呢
3.360 的案子好像是说明 robot 还是有一些效力的吧？

dfkjgklfdjg

2020-12-26 12:55:01 +08:00 via iPhone

@zhoushiya
Disallow: /，然后 allow 你想要开放的目录就可以了，方向思考一下呗

zhoushiya

2020-12-26 12:58:14 +08:00

@dfkjgklfdjg #29 明白了，先禁用所有，然后打开指定目录，多谢