Background

画像修復(inpaint)を使ってオブジェクト消去したった(OpenCV:Python)のつづきでC++のみに存在するinpaint関数を紹介します。

Introduction

表にざっくりとまとめてみました。

inpaint type	year	python	include	library	thesis	note
ナビエ・ストークス（Navier-Stokes）法	2001	○	`#include <opencv2/photo.hpp>`	`opencv_photo`	Navier-stokes, fluid dynamics, and image and video inpainting	流体力学に基づくアルゴリズム
Alexandru Teleaによる手法	2004	○	`#include <opencv2/photo.hpp>`	`opencv_photo`	An image inpainting technique based on the fast marching method.	領域の境界から内側に向かって徐々に傷を修復するFast Marching Methodを基にしたアルゴリズム
Patch Offsetによる手法	2012	×	`#include <opencv2/xphoto.hpp>`	`opencv_xphoto`	Statistics of Patch Offsets for Image Completion	画像内の類似した画像を推測して修復するアルゴリズム
ファジィフーリエ変換による手法	2014	×	`#include <opencv2/fuzzy.hpp>`	`opencv_fuzzy`	Image reconstruction by means of F-transform	フーリエ変換を使った手法。細かい傷用`ONE_STEP`、大きな傷用`MULTI_STEP`、細かい傷・大きな傷併用`ITERATIVE`の3パターンが用意されている

Development

GNUmakefile

CXX = c++
CXXFLAGS =  -I/usr/local/Cellar/opencv/4.1.1_2/include/opencv4/
LDFLAGS = -L/usr/local/Cellar/opencv/4.1.1_2/lib/
LDLIBS =  -lopencv_core -lopencv_highgui -lopencv_imgcodecs -lopencv_imgproc -lopencv_fuzzy -lopencv_photo -lopencv_xphoto
CXXVERSION = -std=c++11

inpaint: inpaint.cpp
    $(CXX) $< -o $@ $(CXXFLAGS) $(CXXVERSION) $(LDFLAGS) $(LDLIBS)

clean :
    rm inpaint

inpaint.cpp

#include <opencv2/opencv.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/fuzzy.hpp>
#include <opencv2/photo.hpp>
#include <opencv2/xphoto.hpp>


int main(int argc, const char* argv[]) {
    cv::Mat src = cv::imread("./capture_2.png");


    cv::Mat resizeMat, dst, mergeMat;
    cv::resize(src, resizeMat, cv::Size(), 0.5, 0.5);

    //マスク画像 背景黒 - 補修区画白
    cv::Mat mask_img = cv::Mat::zeros(resizeMat.size(), CV_8UC3);
    cv::rectangle(mask_img, cv::Point(185,255), cv::Point(470,300), cv::Scalar(255,255,255), -1, cv::LINE_AA); 
    cv::rectangle(mask_img, cv::Point(40,25), cv::Point(115,65), cv::Scalar(255,255,255), -1, cv::LINE_AA);
    cv::rectangle(mask_img, cv::Point(200,40), cv::Point(440,110), cv::Scalar(255,255,255), -1, cv::LINE_AA);

    cv::cvtColor(mask_img,mask_img,cv::COLOR_BGR2GRAY);

    cv::imwrite("mask.png", mask_img);

    // ns
    cv::inpaint(resizeMat, mask_img, dst, 3, cv::INPAINT_NS);
    cv::imwrite("output_ns.png", dst);
    dst.release();

    // telea
    cv::inpaint(resizeMat, mask_img, dst, 3, cv::INPAINT_TELEA);
    cv::imwrite("output_telea.png", dst);
    dst.release();

    cv::Mat mask_inv = ~mask_img;
    resizeMat.copyTo(mergeMat, mask_inv);

    // xphoto
    cv::xphoto::inpaint(mergeMat, mask_inv, dst, cv::xphoto::INPAINT_SHIFTMAP);
    cv::imwrite("output_xphoto_shiftmap.png", dst);
    dst.release();

    // fuzzy
    cv::ft::inpaint(mergeMat, mask_inv, dst, 3, cv::ft::LINEAR, cv::ft::ONE_STEP);
    cv::imwrite("output_fuzzy_linear_one_step.png", dst);
    dst.release();

    cv::ft::inpaint(mergeMat, mask_inv, dst, 3, cv::ft::LINEAR, cv::ft::MULTI_STEP);
    cv::imwrite("output_fuzzy_linear_multi.png", dst);
    dst.release();

    cv::ft::inpaint(mergeMat, mask_inv, dst, 3, cv::ft::LINEAR, cv::ft::ITERATIVE);
    cv::imwrite("output_fuzzy_linear_iterative.png", dst);
    dst.release();

    src.release();
    mergeMat.release();
    resizeMat.release();
    mask_img.release();
    mask_inv.release();

   return 0;
}

実行

make
./inpaint

補足

マスク画像の読み込ませ方がそれぞれの関数で異なっています。
cv::inpaintでは修復する区画を白にしますが、cv::xphoto::inpaint cv::ft::inpaintは黒にする。そのため、cv::Mat mask_inv = ~mask_img;で反転させています。

Result

library	parameter	odds
photo	INPAINT_NS
photo	INPAINT_TELEA
xphoto	INPAINT_SHIFTMAP
fuzzy	ONE_STEP	×
fuzzy	MULTI_STEP	◎
fuzzy	ITERATIVE	○

上の時刻を消す処理をする場合は背景画像を元に修復をするためcv::inpaintでも問題はないです。下の字幕ですがcv::inpaintを使うと真ん中で折り目がくっきりとついてしまいますが、cv::ft::inpaintの方が少し緩和されているっぽい印象です。他の箇所よりぼやけていますがMULTI_STEPが全体的に自然に仕上がっています。

cv::xphoto::inpaint INPAINT_SHIFTMAPは画像内の区画を元にペーストしていて、背景画像がビル街や森林など同一のオブジェクトがたくさんあるときに威力が発揮できそうです。

cv::ft::inpaint ONE_STEPは、細かい傷用のパラメータなので対応できていないことがわかります。

Future

次回は動画で字幕を消去できるかをtryしてみます

画像修復(inpaint)を使ってオブジェクト消去したった(OpenCV:C++)

Background

Introduction

Development

補足

Result

Future

Reference