使用 nodejs 写爬虫(二): 抓取 github 热门项目

其实爬虫是一个对计算机综合能力要求比较高的技术活。 首先是要对网络协议尤其是 http 协议有基本的了解, 能够分析网站的数据请求响应。学会使用一些工具，简单的情况使用 chrome devtools 的 network 面板就够了。我一般还会配合 postman 或者 charles 来分析，更复杂的情况可能举要使用专业的抓包工具比如 wireshar...