node.js - nodejs大批量下载图片自动中断的问题如何解决

 mobiledu2502854877 发布于 2022-11-04 20:48

图片列表大概有1万个图片地址,
使用nodejs下载的时候,莫名其妙就会出现错误。

基本代码如下:

var downloadImage2 = function (src) {
          var iArr = src.split("/");
        var imageName = iArr[iArr.length - 1];
        //console.log("Download begin: " + imageSrc);

        var download = function(uri, filename, callback) {
            request.head(uri, function(err, res, body) {
                // console.log('content-type:', res.headers['content-type']);
                // console.log('content-length:', res.headers['content-length']);
if (uri) {request(uri).pipe(fs.createWriteStream(filename)).on('close', callback);}
                
            });
        };

        download(src, "./images/" + imageName, function() {
            console.log('done: ' + index++);

        });
    
}

出现的错误也有点莫名其妙,有时候是:

events.js:160
      throw er; // Unhandled 'error' event
      ^

Error: Invalid URI "undefined"
    at Request.init (/Users//dirread/node_modules/request/request.js:275:31)
    at new Request (/Users/dirread/node_modules/request/request.js:129:8)
    at request (/Users/dirread/node_modules/request/index.js:55:10)
    at Request._callback (/Users//down.js:21:11)
    at self.callback (/Users//dirread/node_modules/request/request.js:187:22)
    at emitOne (events.js:96:13)
    at Request.emit (events.js:188:7)
3 个回答
  • 其实给URI加一个判空处理很简单,但是以我的经验来看,问题是出现了在了解析URL的时候出现了错误,导致有些资源URL没有拿到正确的地址。建议从这个角度出发排查一下。

    2022-11-08 15:49 回答
  • 改成用fs.writeFile的方式试试。

    2022-11-08 15:51 回答
  • Invalid URI "undefined"
    给src容个错,传错的地址就不要下载了。

    2022-11-08 15:53 回答
撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有