CatGate

昨天把微贝里边的抓取部分抽取出来,做成了一个开源工具然后发布了。

catGate

这里顺便说下开源策略。整体来讲,国内开源项目的贡献率是非常低的,大概是因为加班太狠。所以一般只有在工作和生活中高频使用的项目,才会得到比较多的反馈。

以微贝为例,它是一个微博备份工具,其实微博备份是一个低频需求,而且很个人化。这种项目直接开源,除了给自己搞出一堆竞品外,意义不大。

但数据抓取却是一个常见需求,各个产品做竞品分析、行业趋势调查时,会经常需要。

比方说,了解一个城市PHP的平均薪资,你可以抓取一周内所有这个城市的招聘启事数据做统计;想知道某些亚文化在全国范围内的流行度,你可以按关键词去批量统计贴吧的发帖和互动数据。

所以,我们退后一步,去覆盖这个需求。虽然对用户要求高了(不懂代码的用户其实也不在乎开源与否),但可用范围变得更广。

从另一个角度讲,把一个应用用到的服务抽离出来,在重用上也有非常大的好处。经过一段时间的积累,就能完成自己的工具链。使用自己特别熟悉的轮子的好处是,很多bug你掐指一算,就能知道问题在哪里了。

CatGate规划

CatGate 发布后,受到了懒人程序员们的热烈欢迎,当天就上了 GitHub 的趋势榜前20,现在已经获得了400多个Star。

其实从技术角度讲,CatGate 并没有什么难度。但是从使用角度讲,它把一个复制粘贴请求 Header ,并在其基础上编写代码的过程规范化和可视化了,也非常适合一些不会写浏览器插件的后端程序员,项目开源后,随便改几行代码就能做出一个定制版的插件。这些都是有意义的。

简单并不意味着不值得去做,重要的是,它能否真的改善我们的工作和生活。