首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Node.js脚本工作一次,然后失败。

问Node.js脚本工作一次,然后失败。
EN

Stack Overflow用户
提问于 2015-10-12 22:31:14
回答 1查看 209关注 0票数 1

我需要一个执行以下操作的Node.js脚本: 1-当图像被添加到指定的S3桶时触发。 2-创建该图像的缩略图(360×203像素)。 3-在单独的S3文件夹中保存该缩略图的副本。 4-上传缩略图到指定的FTP服务器,六(6)次使用“文件名-X”命名约定。

该代码一开始的工作方式与预期的一样。示例事件将提取图像。制造出一枚重击。将其保存到另一个S3桶中。然后将其上传到FTP服务器。

问题:只为测试文件HappyFace.jpg工作一次,但随后的每个测试都失败了。另外,我尝试用一个不同的文件来做,但是没有成功。

另外:如果我能得到一些帮助,写一个循环来命名不同的文件被上传,这将是非常感谢。我通常用PHP编写代码,所以我可能要花更长的时间来编写。

注意:为了隐私起见,我删除了FTP凭据。

问题代码片段:

代码语言:javascript
复制
    function upload(contentType, data, next) {
        // Upload test file to FTP server
        c.append(data, 'testing.jpg', function(err) {
            console.log("CONNECTION SUCCESS!");
            if (err) throw err;
            c.end();
        });
        // Connect to ftp
        c.connect({
            host: "",
            port: 21, // defaults to 21
            user: "", // defaults to "anonymous"
            password: "" // defaults to "@anonymous"
        });
        // S3 Bucket Upload Function Goes Here
    }

完整代码:

代码语言:javascript
复制
// dependencies
var async = require('async');
var AWS = require('aws-sdk');
var util = require('util');
var Client = require('ftp');
var fs = require('fs');
var gm = require('gm')
            .subClass({ imageMagick: true }); // Enable ImageMagick integration.

// get reference to FTP client
var c = new Client();
// get reference to S3 client 
var s3 = new AWS.S3();

exports.handler = function(event, context) {
    // Read options from the event.
    console.log("Reading options from event:\n", util.inspect(event, {depth: 5}));
    // Get source bucket
    var srcBucket = event.Records[0].s3.bucket.name;
    // Get source object key
    // Object key may have spaces or unicode non-ASCII characters.
    var srcKey    =
    decodeURIComponent(event.Records[0].s3.object.key.replace(/\+/g, " "));  
    var url = 'http://' + srcBucket + ".s3.amazonaws.com/" + srcKey;
    // Set destination bucket
    var dstBucket = srcBucket + "-thumbs";
    // Set destination object key
    var dstKey    = "resized-" + srcKey;

    // Infer the image type.
    var typeMatch = srcKey.match(/\.([^.]*)$/);
    if (!typeMatch) {
        console.error('unable to infer image type for key ' + srcKey);
        return;
    }
    var imageType = typeMatch[1];
    if (imageType != "jpg" && imageType != "png") {
        console.log('skipping non-image ' + srcKey);
        return;
    }

    // Download the image from S3, transform, and upload to a different S3 bucket.
    async.waterfall([
        function download(next) {
            // Download the image from S3 into a buffer.
            s3.getObject({
                    Bucket: srcBucket,
                    Key: srcKey
                },
                next);
            },
        function transform(response, next) {
            gm(response.Body).size(function(err, size) {

                // Transform the image buffer in memory.
                this.toBuffer(imageType, function(err, buffer) {
                        if (err) {
                            next(err);
                        } else {
                            next(null, response.ContentType, buffer);
                        }
                    });
            });
        },
        function upload(contentType, data, next) {
            // Upload test file to FTP server
            c.append(data, 'testing.jpg', function(err) {
                console.log("CONNECTION SUCCESS!");
                if (err) throw err;
                c.end();
            });
            // Connect to ftp
            c.connect({
                host: "",
                port: 21, // defaults to 21
                user: "", // defaults to "anonymous"
                password: "" // defaults to "@anonymous"
            });
            // Stream the thumb image to a different S3 bucket.
            s3.putObject({
                    Bucket: dstBucket,
                    Key: dstKey,
                    Body: data,
                    ContentType: contentType
                },
                next);
        }
        ], function (err) {
            if (err) {
                console.error(
                    'Unable to resize ' + srcBucket + '/' + srcKey +
                    ' and upload to ' + dstBucket + '/' + dstKey +
                    ' due to an error: ' + err
                );
            } else {
                console.log(
                    'Successfully resized ' + srcBucket + '/' + srcKey +
                    ' and uploaded to ' + dstBucket + '/' + dstKey
                );
            }

//          context.done();
        }
    );
};

日志:

代码语言:javascript
复制
START RequestId: edc808c1-712b-11e5-aa8a-ed7c188ee86c Version: $LATEST 
2015-10-12T21:55:20.481Z    edc808c1-712b-11e5-aa8a-ed7c188ee86c    Reading options from event: { Records:  [ { eventVersion: '2.0', eventTime: '1970-01-01T00:00:00.000Z', requestParameters: { sourceIPAddress: '127.0.0.1' }, s3:  { configurationId: 'testConfigRule', object:  { eTag: '0123456789abcdef0123456789abcdef', sequencer: '0A1B2C3D4E5F678901', key: 'HappyFace.jpg', size: 1024 }, bucket:  { arn: 'arn:aws:s3:::images', name: 'images', ownerIdentity: { principalId: 'EXAMPLE' } }, s3SchemaVersion: '1.0' }, responseElements:  { 'x-amz-id-2': 'EXAMPLE123/5678abcdefghijklambdaisawesome/mnopqrstuvwxyzABCDEFGH', 'x-amz-request-id': 'EXAMPLE123456789' }, awsRegion: 'us-east-1', eventName: 'ObjectCreated:Put', userIdentity: { principalId: 'EXAMPLE' }, eventSource: 'aws:s3' } ] } 
2015-10-12T21:55:22.411Z    edc808c1-712b-11e5-aa8a-ed7c188ee86c    Successfully resized images/HappyFace.jpg and uploaded to images-thumbs/resized-HappyFace.jpg 
2015-10-12T21:55:23.432Z    edc808c1-712b-11e5-aa8a-ed7c188ee86c    CONNECTION SUCCESS! 
END RequestId: edc808c1-712b-11e5-aa8a-ed7c188ee86c 
REPORT RequestId: edc808c1-712b-11e5-aa8a-ed7c188ee86c  Duration: 3003.76 ms    Billed Duration: 3000 ms Memory Size: 128 MB    Max Memory Used: 43 MB   
Task timed out after 3.00 seconds  
START RequestId: d347e7e3-712d-11e5-bfdf-05baa36d50fd Version: $LATEST 
2015-10-12T22:08:55.910Z    d347e7e3-712d-11e5-bfdf-05baa36d50fd    Reading options from event: { Records:  [ { eventVersion: '2.0', eventTime: '1970-01-01T00:00:00.000Z', requestParameters: { sourceIPAddress: '127.0.0.1' }, s3:  { configurationId: 'testConfigRule', object:  { eTag: '0123456789abcdef0123456789abcdef', sequencer: '0A1B2C3D4E5F678901', key: 'HappyFace.jpg', size: 1024 }, bucket:  { arn: 'arn:aws:s3:::images', name: 'images', ownerIdentity: { principalId: 'EXAMPLE' } }, s3SchemaVersion: '1.0' }, responseElements:  { 'x-amz-id-2': 'EXAMPLE123/5678abcdefghijklambdaisawesome/mnopqrstuvwxyzABCDEFGH', 'x-amz-request-id': 'EXAMPLE123456789' }, awsRegion: 'us-east-1', eventName: 'ObjectCreated:Put', userIdentity: { principalId: 'EXAMPLE' }, eventSource: 'aws:s3' } ] } 
END RequestId: d347e7e3-712d-11e5-bfdf-05baa36d50fd 
REPORT RequestId: d347e7e3-712d-11e5-bfdf-05baa36d50fd  Duration: 3003.33 ms    Billed Duration: 3000 ms Memory Size: 128 MB    Max Memory Used: 17 MB   
Task timed out after 3.00 seconds
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2015-10-12 23:57:18

这句话:

代码语言:javascript
复制
var c = new Client();

只执行一次;对handler()函数的所有调用都将使用相同的FTP客户端实例。

如果在异步世界中可能存在对handler()-and的多次重叠调用,那么对FTP客户端的调用(包括c.connect(…)和c.end() )将针对同一个FTP客户机多次调用,该客户端可能已经在上传过程中,因此出现了这样的情况:

  1. 打电话到handler()。上传开始。
  2. 打电话到handler()。第二次上传开始。
  3. 第一次上传完成并调用c.end()。
  4. 第二次上传被取消。

解决方案是为每次上传创建一个新的FTP客户端实例,如果FTP服务器对此有问题(限制客户端连接的数量),则需要以某种方式序列化上载。由于您使用的是async库,这样做的一种方法是使用async.queue。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/33091239

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档