微信显示资源不足,微信bug已恢复正常
微信居然放开限制,把自己的robots.txt文件给移除了...
事情是这样的,小雷因为工作(摸鱼)需要,经常要在各大搜索引擎辗转,以求搜到自己想要的资料。
如果是英文资源还好说,海外的网页适用性依然很强,用谷歌和bing等搜索引擎,一般都能搜到结果。
但如果要搜的是中文资源,不好意思,搜索突然就不好用了。
即使是像百度、谷歌和bing这种顶级搜索引擎,也难以施展拳脚。
想要搜
微信最近动作频频,除了日常的更新功能上新,小雷还发现了一个「漏洞」。
微信居然放开限制,把自己的robots.txt文件给移除了...
事情是这样的,小雷因为工作(摸鱼)需要,经常要在各大搜索引擎辗转,以求搜到自己想要的资料。
如果是英文资源还好说,海外的网页适用性依然很强,用谷歌和bing等搜索引擎,一般都能搜到结果。
但如果要搜的是中文资源,不好意思,搜索突然就不好用了。
即使是像百度、谷歌和bing这种顶级搜索引擎,也难以施展拳脚。
想要搜到自己需要的东西,估计是越来越难喽。
不过奇怪的是,而搜索引擎本身并无大改,抓取规则和原理都沿袭多年,期间也就小修小补。
为啥现在就不好使了呢?
小雷想说,这确实不是搜索引擎的锅,都怪软件厂商们画了个圈圈,把自己围起来了。
举个简单的例子,微信公众号的文章相比某些平台,整体质量确实要更高。
但是嚯,你能在百度和谷歌搜到微信公众号和今日头条的文章吗?
搜不到吧,很蓝的啦。
原因其实很简单,平台不允许搜索引擎去爬取它们的文章和其他内容了。
再强的搜索引擎也得靠网络蜘蛛去爬取信息,当平台建起一堵墙,就能轻易把第三方搜索隔绝开来。
大伙也别以为这堵墙有多高技术含量,其实就靠小雷开头提到的robots.txt文件。
这个简单的文件,里面包含了一系列规则,它会告诉搜索引擎,哪些页面可抓取,哪些页面又不能抓取。
要是规则一片空白,就别怪搜索引擎一顿搜刮了。
反之,如果规则清晰明了,写着“禁止读取”,搜索引擎自然会识趣溜走。
喏,微信就在网站“weixin.qq.com”的根目录中放置了这个文件,并写上自己的规则。
而小雷通过互联网档案馆看了一下,微信的规则比较狠,直接在末尾写上一条“Disallow:/”。
给小伙伴们翻译一下,这规则的意思是,不让其他搜索引擎爬取微信任何文章...
这就能解释,为啥搜索引擎搜不到微信文章了。(搜狗是自家人,不计在内)
不过要说起来啊,robots.txt算不上是规范,只是搜索引擎和网站们达成的一项约定。
像谷歌、百度和bing等大厂出品的搜索引擎,一般都会遵守约定,但新推出的搜索引擎就不一定讲武德了。
毕竟刚出生的搜索引擎资源匮乏,只能搞点非常规手段,去收录更多内容,这一点小雷会放在后面聊。
该聊的重点,咱们得适当加速,提前摊开来讲。
而这个重点嘛,正是小雷开头提到的「微信robots.txt漏洞」。
搜索引擎一直无法收录微信文章内容,全因为那戒备森严的robots.txt。
但从昨晚到今天中午,微信的robots文件突然出现“404无法访问”。
这就给搜索引擎们提供了绝佳的爬取机会。
小雷从Google看到,目前谷歌搜索已经收录了135万篇微信文章。
虽然总量不多,但这波操作属实让人浮想联翩。
要么是微信出BUG,不小心把robots.txt删掉了,要么是微信要开放自家生态,造福中文互联网。
考虑到最近官方出手,让腾讯和阿里取消链接屏蔽,还有淘宝上线微信支付等操作...
微信放开内容生态,好像还真有搞头嚯?
害,别怪小雷给大伙泼冷水,这几乎是不太可能的事儿,多半是微信出BUG,把robots整没了。
要知道,公众号内容可是微信培养多年的王牌之一,玩得好好的,完全没必要向外界开放。
而且小雷对这事儿也经过了排查,现在只有谷歌和必应两大国外搜索引擎收录了微信文章。
作为中文互联网最强搜索引擎的百度,反倒是啥也没有,明显不符合逻辑。
于是,小雷在今天下午又访问了一下微信公众号的robot.txt文件。
发现这文件果然回来了...
域名:https://mp.weixin.qq.com/robots.txt
没过多久,微信也出来回应:因为最近平台技术升级,导致robots协议出现了漏洞。
如今robots.txt能正常访问,说明漏洞已经被补上。
这事儿闹的,小雷也不知道该咋评价了。
一方面,小雷其实挺希望各家平台能放开搜索限制,让搜索引擎变得更好用。
所以在知道微信robots文件被删除后,小雷还兴奋了好一会儿,感叹平台之间的壁垒终于要被打破了。
但另一方面,搜索引擎其实也在吃内容平台的红利,互相竞争的对手,怎么会轻易相互开放。
还是拿微信和今日头条两大内容平台来说。
微信凭借超过10亿的用户量让公众号迅速起飞,并以搜狗为搜索基础,建立起属于自己的内容生态。
说白了,大伙想搜微信的文章,只能去搜狗搜索那里搜。
而今日头条也凭借着强大的算法推荐,成为了网友们获取资讯的首选平台。
在拥有了足够了数据和用户后,今日头条也像微信那样,做起了自己的搜索。
就连限制都和微信差不多,百度是无法搜索到今日头条任何内容的。
虽然平台拥有了自己的搜索引擎后,能让用户更方便地检索信息。
但最主要的,还是想把握住搜索引擎这个巨大的流量入口。
这种操作,又俗称为互联网版自力更生,自己做饭吃,让其他搜索引擎无饭可吃...
最要命的是,这已经成为了国内移动互联网的趋势。
从“取消网页版,强制用户跳转到App”,再到“自建搜索引擎”,大厂们都在流量做出了自己的策略。
其中原地画圈,禁止外人进入这种操作最为常见。
对平台自身的发展肯定是好事儿,但也确实苦了咱们这些没得选择的老网民。
文章评论