如何向OpenCV.js添加“累加加权”支持？

Question

上下文:这在一般意义上与龙骨?“相关。

这个问题是一个非常特殊的变体:我想使用accumulateWeighted从imgproc模块与OpenCV.js

到目前为止，我的尝试涉及到掌握事物所在的位置，因此我可以尝试稍微调整一下emscripten设置。就我所理解的大多数文件而言，我需要使用的是：

• opencv/modules/js/src
• opencv/platforms/js

例如，我可以在opencv_js.config.py中看到这一节

imgproc = {'': ['Canny', 'GaussianBlur', 'Laplacian', 'HoughLines', 'HoughLinesP', 'HoughCircles', 'Scharr','Sobel', \
                'adaptiveThreshold','approxPolyDP','arcLength','bilateralFilter','blur','boundingRect','boxFilter',\
                'calcBackProject','calcHist','circle','compareHist','connectedComponents','connectedComponentsWithStats', \
                'contourArea', 'convexHull', 'convexityDefects', 'cornerHarris','cornerMinEigenVal','createCLAHE', \
                'createLineSegmentDetector','cvtColor','demosaicing','dilate', 'distanceTransform','distanceTransformWithLabels', \
                'drawContours','ellipse','ellipse2Poly','equalizeHist','erode', 'filter2D', 'findContours','fitEllipse', \
                'fitLine', 'floodFill','getAffineTransform', 'getPerspectiveTransform', 'getRotationMatrix2D', 'getStructuringElement', \
                'goodFeaturesToTrack','grabCut','initUndistortRectifyMap', 'integral','integral2', 'isContourConvex', 'line', \
                'matchShapes', 'matchTemplate','medianBlur', 'minAreaRect', 'minEnclosingCircle', 'moments', 'morphologyEx', \
                'pointPolygonTest', 'putText','pyrDown','pyrUp','rectangle','remap', 'resize','sepFilter2D','threshold', \
                'undistort','warpAffine','warpPerspective','warpPolar','watershed', \
                'fillPoly', 'fillConvexPoly'],
           'CLAHE': ['apply', 'collectGarbage', 'getClipLimit', 'getTilesGridSize', 'setClipLimit', 'setTilesGridSize']}

我可以简单地将accumulateWeighted添加到列表中，但是我觉得这也应该适当地调整bindings.cpp / core_bindings.cpp。这是一些混乱的地方，因为我拾起的经验与应征码。

例如，添加：

// C++: void accumulateWeighted(InputArray src, InputOutputArray dst, double alpha, InputArray mask=noArray() )
void accumulateWeighted_wrapper(const cv::Mat& src, const cv::Mat& dst, double alpha, cv::Mat& mask) {
    return cv::accumulateWeighted(src, dst, alpha, mask);
}

void accumulateWeighted_wrapper_1(const cv::Mat& src, const cv::Mat& dst, double alpha) {
    return cv::accumulateWeighted(src, dst, alpha);
}
// ...
function("accumulateWeighted", select_overload<void(const cv::Mat&, const cv::Mat&, double , cv::Mat&)>(&Wrappers::accumulateWeighted_wrapper));

function("accumulateWeighted", select_overload<void(const cv::Mat&, const cv::Mat&, double)>(&Wrappers::accumulateWeighted_wrapper_1));

转到bindings.cpp

我不确定我是不是还遗漏了什么？我希望拥有更多OpenCV + emscripten经验的开发人员能够提供指导。

Update我编译了使用码头的OpenCV.js并尝试调用cv.accumulateWeighted，但是我得到了一个错误：

cv.accumulateWeighted(src, dst, 0.001)
opencv.js:9 Uncaught 6587800
___resumeException  @   opencv.js:9
(anonymous) @   02086862:0x1621d4
(anonymous) @   02086862:0x1c1f8
dynCall_viid    @   02086862:0x365dc
dynCall_viiid   @   02086862:0x37296
Module.dynCall_viiid    @   opencv.js:9
dynCall_viiid_532   @   VM1966:4
accumulateWeighted  @   VM3269:10
proto.<computed>    @   opencv.js:9
(anonymous) @   VM5257:1

我不能百分之百确定我错了什么。下面是一个片段，它包含到已编译脚本的链接：

​

function onOpenCvReady(){
  cv.then(test);
}

function test(cv){
  console.log("cv",cv.getBuildInformation());
  
  src = cv.Mat.ones(3,3, cv.CV_8UC1);
  dst = cv.Mat.ones(3,3, cv.CV_8UC1);
  mask = cv.Mat.zeros(3,3, cv.CV_8UC1);


  console.log("dst before", dst.data);

// throws error
  try{
    cv.accumulateWeighted(src, dst, 0.001, mask);
  }catch(err){
    console.warn("error running accumulateWeighted")
    console.warn(err.stack)
  }
  console.log("dst after", dst);
}

<script async src="https://lifesine.eu/so/opencv_js_ubuntu/opencv.js" onload="onOpenCvReady();" type="text/javascript"></script>

​

更新我已经更新了上面的片段，以使用在Ubuntu上编译的OpenCV.js。此外，我在accumulateWeighted_wrapper和accumulateWeighted_wrapper_1函数中有一个错误，但是我仍然收到一个非常类似的错误，这使我相信绑定代码中还有我遗漏的东西。

向accumulateWeighted添加OpenCV.js支持的正确方法是什么？

Answer 1

对于这个问题的范围，一个解决方法是不修改OpenCV.js和重新编译，以实现JS中的功能。这个函数大致有两个部分(和一个缺点)：

1. 累加:在现有图像的基础上添加新图像
2. 称重新图像与旧图像成反比
3. 捕获是使用一个图像作为累加器:否则，它只是两个图像之间的线性内插/ lerping /交叉衰落：

cv.lerp = function(lerpFromMat, lerpToMat, lerpResult, amount){
    // TODO: args safety check (including constraining amount)
    if (lerpToMat.cols === 0) {
      lerpFromMat.copyTo(lerpResult);
    } else if (lerpFromMat.cols === 0) {
      lerpToMat.copyTo(lerpResult);
    } else {
      cv.addWeighted(lerpFromMat, amount, lerpToMat, 1.0 - amount, 0.0, lerpResult);
    }
  }

// super simplified alias, skipping mask for now
cv.accumulateWeighted = function(newMat, accumulatorMat, alpha){
   p5cv.lerp(accumulatorMat, newMat, accumulatorMat, alpha);
}

我仍然期待着另一种通用解决方案:通过c++向OpenCV.js添加新的accumulateWeighted函数的过程分解(无论是accumulateWeighted还是其他什么)。