问题所在
我正在使用express开发Nodejs中的文件上传功能。我试图阻止一个文件被上传到我的AWS S3桶,如果它超过了一定的大小限制。
我知道您可以在其config对象中使用multer的极限属性来完成此操作:
limits: { fileSize: mbToBytes(sizeLimit) }问题是,在将文件抛出过大的错误之前,文件上传到S3的数量是有限的,例如,如果我的限制是6mb,并且上传了一个40 my的文件,那么只有第一个6mb将被上传到我的桶中,这就是我想要防止的。
我试过的
使用Multer将文件存储在内存中,并检查它是否超过了上传期间的限制,在这种情况下,抛出一个错误并停止进程。否则,继续并再次调用multer将文件上载到S3。
// ROUTE
router.post(
'/upload-cover',
userController.checkCoverSize,
userController.uploadCover,
userController.updateUserCover
);
// CONTROLLER
const {
s3CoverMulterConfig,
memoryProfileImgMulterConfig
} = require('../utils/awsMulterConfig');
// Upload cover picture to S3
const coverUploader = new Uploader(s3CoverMulterConfig, 'cover');
exports.uploadCover = coverUploader.startUpload.bind(coverUploader);
// Upload cover picture to memory
const coverMemoryUploader = new Uploader(memoryProfileImgMulterConfig, 'cover');
exports.checkCoverSize = coverMemoryUploader.startUpload.bind(
coverMemoryUploader
);上传器是一个类,因为我将上传不同类型的图像:
// uploader.js
const util = require('util');
const multer = require('multer');
const AppError = require('./appError');
class Uploader {
constructor(options, fileName) {
this.options = options;
this.fileName = fileName;
this.upload = multer(options);
}
async startUpload(req, res, next) {
try {
const upload = util.promisify(this.upload.single(this.fileName));
await upload(req, res);
} catch (err) {
return next(new AppError(err));
}
return next();
}
}我还有一个输出multer配置对象的文件:
// awsMulterConfig.js
const aws = require('aws-sdk');
const multerS3 = require('multer-s3');
const { nanoid } = require('nanoid');
const multer = require('multer');
const s3 = new aws.S3();
const mbToBytes = (numberInMb) => numberInMb * 1024 * 1024;
aws.config.update({
secretAccessKey: process.env.AWS_SECRET_ACCESS_KEY,
accessKeyId: process.env.AWS_KEY_ID,
region: process.env.REGION
});
// Validate the file type
const fileFilter = (validMimeTypes, errMsg) => (req, file, cb) => {
if (!validMimeTypes.includes(file.mimetype)) {
cb(new Error(errMsg), false);
}
cb(null, true);
};
const generateMulterConfigS3 = (sizeLimit, folderName) => {
return {
limits: { fileSize: mbToBytes(sizeLimit) },
storage: multerS3({
acl: 'public-read',
s3,
bucket: process.env.BUCKET_NAME,
metadata: (req, file, cb) => {
return cb(null, { fieldName: 'TEST_STATIC' });
},
key: (req, file, cb) => {
const fileName = `${folderName}/${nanoid(15)}.${
file.mimetype.split('/')[1]
}`;
return cb(null, fileName);
},
contentType: multerS3.AUTO_CONTENT_TYPE
})
};
};
const generateMulterConfigMemory = (validMimeTypes, errMsg, sizeLimit) => {
return {
fileFilter: fileFilter(validMimeTypes, errMsg),
limits: { fileSize: mbToBytes(sizeLimit) },
storage: multer.memoryStorage()
};
};
exports.s3CoverMulterConfig = generateMulterConfigS3(2, 'cover');
exports.memoryProfileImgMulterConfig = generateMulterConfigMemory(
['image/jpeg', 'image/png'],
'Your image must be .jpeg/jpg or .png!',
2
);问题的行为
第一个函数正确运行并将文件放入内存中,第二个函数运行但不将文件上传到S3,因此它不更新req.file。如果我删除第一个,第二个正确地将文件上传到S3,就好像您不能在同一条路径中两次使用Multer解析多部分表单数据。
// ROUTE
router.post(
'/upload-cover',
userController.checkCoverSize,
userController.uploadCover,
userController.updateUserCover
);我期待的行为
第二个函数应该将文件上传到S3并重写req.file的内容。我已经验证过,如果文件大于限制,checkImgSize能够抛出一个错误。
我用来提出请求的客户端
邮递员v7.34.0。内容类型标头设置为多部分/表单数据;发送请求时boundary= <计算
如能提供任何帮助,将不胜感激:)
发布于 2020-11-02 22:40:52
在同一个请求中不能使用multer两次,因为一旦数据从传入的读取流中读取,它就会消失,除非您将其放在其他地方(比如文件系统中)。相反,您有几种选择:
中删除该项目。
。
。
对于超过文件大小的情况,选项#2和#3可以将带宽节省到S3 (如果这是一项重要的开销),但是选项1可能会更快地将正常上传到S3。
https://stackoverflow.com/questions/64637778
复制相似问题