nodeJs爬虫的技术点总结-创新互联

背景

成都创新互联专注为客户提供全方位的互联网综合服务，包含不限于成都做网站、网站设计、外贸营销网站建设、武夷山网络推广、小程序设计、武夷山网络营销、武夷山企业策划、武夷山品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等，从售前售中售后，我们都将竭诚为您服务，您的肯定，是我们大的嘉奖；成都创新互联为所有大学生创业者提供武夷山建站搭建服务，24小时服务热线：028-86922220，官方网址：www.cdcxhl.com

最近打算把之前看过的nodeJs相关的内容在复习下，顺便写几个爬虫来打发无聊，在爬的过程中发现一些问题，记录下以便备忘。

依赖

用到的是在网上烂大街的cheerio库来处理爬取的内容，使用superagent处理请求，log4js来记录日志。

日志配置

话不多说，直接上代码：

const log4js = require('log4js');

log4js.configure({
 appenders: {
  cheese: {
   type: 'dateFile',
   filename: 'cheese.log',
   pattern: '-yyyy-MM-dd.log',
   // 包含模型
   alwaysIncludePattern: true,

   maxLogSize: 1024,
   backups: 3 }
 },
 categories: { default: { appenders: ['cheese'], level: 'info' } }
});

const logger = log4js.getLogger('cheese');
logger.level = 'INFO';

module.exports = logger;

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

网站名称：nodeJs爬虫的技术点总结-创新互联
文章起源：http://shouzuofang.com/article/degspi.html