Crawlab Nodejs爬虫之依赖安装
原创Crawlab Nodejs爬虫之依赖安装
原创
easonxie
修改于 2022-08-29 20:20:45
修改于 2022-08-29 20:20:45
在成功的在crawlab里安装了nodejs环境后，遇到了一个问题就是nodejs的包依赖安装。官方自带的包依赖，可以安装全局npm包，但是爬虫脚本里面的依赖这个问题需要自己解决。
一、全局依赖安装
官方自带的nodejs依赖管理工具安装的包可以安装全局依赖。这里正常工作的前提是你必须在主镜像里安装好nodejs，并且配置好nodejs的bin目录的PATH环境变化。我们按照官方的指引安装包管理工具，然后安装下whistle
安装官方包管理插件
在包管理里安装whistle
添加个爬虫任务测试下
可以看到，包已经支持直接使用了
二、爬虫依赖安装
每次执行爬虫都安装npm依赖是比较差的体验，对于爬虫任务里面的包，可以使用pnpm来进行依赖安装。pnpm使用链接的方式，可以避免每次都下载npm包。先要全局安装下pnpm然后新建一个任务，如下配置
命令前面添加pnpm i
简单添加几个包
首次执行任务，可以看到安装的包
再次执行任务，可以看到不用再安装包，只是添加了链接
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
评论
登录后参与评论
推荐阅读
目录
相关产品与服务
轻量应用服务器
轻量应用服务器（TencentCloud Lighthouse）是新一代开箱即用、面向轻量应用场景的云服务器产品，助力中小企业和开发者便捷高效的在云端构建网站、Web应用、小程序/小游戏、游戏服、电商应用、云盘/图床和开发测试环境，相比普通云服务器更加简单易用且更贴近应用，以套餐形式整体售卖云资源并提供高带宽流量包，将热门开源软件打包实现一键构建应用，提供极简上云体验。