【図解】画像処理の6つの種類 検査自動化の手引き

【図解】画像処理の 6 つの種類をご紹介 株式会社 FA プロダクツ 植地 祐奈

【図解】画像処理の 6 つの種類をご紹介 本資料では、「画像処理の 6 つの種類」について分かりやすく解説します。現代のデジタ ル画像処理は、さまざまな分野で広く活用されており、その技術の進歩によって私たちの 生活やビジネスに様々な恩恵をもたらしています。しかし、画像処理の種類が多岐にわた るため、初めて触れる方にとっては理解するのが難しい場合もあります。 まずは、画像処理とは何かについて簡単に解説し、その後に画像処理の種類について詳し く説明します。画像処理の順序や種類、そして重要な前処理やその方法についても触れな がら、より具体的な内容に進んでいきます。また、画像処理を行う際に注意すべきポイン トについても紹介します。 さらに、本資料では、図解を用いて具体的な画像処理の方法をご紹介します。ノイズ除去 や二値化処理、パターン認識、膨張・収縮画像処理など、実際の画像処理の手法を、図解 を交えて分かりやすく解説します。これにより、初心者の方でも画像処理の基本的な方法 やその効果を把握することができるでしょう。本資料を通じて、画像処理の基本的な知識 を身につけ、さまざまな分野での応用に役立てていただければ幸いです。 目次 １．はじめに ２．画像処理とは ３．画像処理の種類 （１） 画像処理順序 （２） 画像処理の種類 （３） 前処理 （４） 前処理の仕方 （５） 画像処理の注意点 ４．図解 画像処理の方法 （１） ノイズ除去 （２） 二値化処理 （３） パターン認識 （４） 膨張・収縮画像処理 1

1. はじめに カメラなどからの映像によって私たちの生活は豊かになっています。例えば、生活に欠か せない製品の検査、監視カメラによる安全の確保、ITS 交通システムによる安全な車での 移動などがあります。工業だけでなく、生活でも欠かせなくなってきたロボットの視覚に も画像が使われます。さらに、最も重要と言えることは、CT・MRI に代表される医療の 画像診断技術でしょう。これらの画像応用が高度となった背景の一つが、画像処理技術で す。ディジタルカメラとコンピュータの高速化と、大量のデータ処理が短時間でできるよ うになって、いろいろな画像処理、難しい画像処理ができるようになりました。画像を回 転・拡大させる、ぼやけた画像をはっきりさせる、込み入った画像から特定の人を探し出 すなどを可能としたものが、画像処理の技術です。画像処理はさまざまな分野・業種で使 用されますが、本資料では、製造の分野で使われる画像処理の種類について、ご紹介しま す。 2. 画像処理とは 画像処理を実施するために必要なシステムの構成を示したものが、図１（ボトルの液面高 さの検査）です。 図１は瓶詰の飲料の液面高さを、インラインで検査する装置のイメージを描いています。 システムの構成は、ワークの状態を写し出すカメラ、ワークを照らす照明、カメラからの 画像情報を取り入れて、ＯＫかＮＧ化を判定するために処理する画像処理から成り立ちま す。図１のＣＣＤカメラは、Ｘ線カメラや赤外線カメラのほか顕微鏡を使う場合もあり、 2

超音波などのセンサーも用いられます。したがって、画像処理の種類も、用いられるカメ ラの種類やセンサーに特化した画像処理があります。本資料では、ＣＣＤカメラからの画 像情報を処理する種類についてご紹介します。 3. 画像処理の種類 （1） 画像処理順序 図２で紹介する画像処理は、処理される順序のイメージです。 ＣＣＤ入力 ワークの画像をＡＤ変換する画像入力はディジタルデータです。画像は画素の集合で、 1280P×720Ｐの画像サイズであれば、92 万画素に及びます。 前処理 取り入れた画像にはノイズなどが乗っているため、ノイズの除去を行ってから、ワークを 写した画像の計測や解析を行います。簡単に言えば、分かり難い画像を、計測などができ る分かり易い画像に加工する処理です。 画像特徴抽出と判定 前処理された画像から、ワークの面積を求めるなどの計測を行うときに、計測できる形に 画像の加工を行い、計測処理を行います。また、ワークが仕様どおりの形になっている か、画像認識を行います。画像の特徴を抽出したのちに、設定したしきい値から、検査品 のＯＫかＮＧの判定を行います。 制御・出力 画像判定を行った状況を表示し、データ保存を行います。さらに、ワークの搬送システム に対し、検査でＮＧであれば、製造ラインから除外する指令を出すことも可能です。 3

（2） 画像処理の種類 画像処理の種類について、6 つの例を表１で紹介します。 表１ 画像処理の 6 つの種類 画像処理種類 処理内容例 用いられる方式例 ①画像補正 コントラス補正 ヒストグラム変換 明るさ補正 色補正 ②画像変換 モノクロ画像変換 二値化 モルフォロジー変換 一つの色への限定化 ③画像加工 ノイズ除去 フィルタ処理 エッジ強調 アフィン変換 拡大・縮小 線型変換 ④画像特徴抽出 重心計測 モーメント特徴計算 面積計測 ハフ変換 円形度計測 主軸角度計測 ⑤画像認識 対象物の特定 パターン認識 差分画像演算 テンプレートマッチング ⑥3 次元 3 次元画像処理 投影変換（平行投影、透視投影） 3 次元再構成 ステレオ視 能動的ステレオ視 表１でご紹介した画像処理の種類や処理方式などは、ほんの一例です。また、種類の分類 方法も、さまざまにあります。ただし、どの種類、方式でも、画像処理の目的はほぼ同じ です。さらに、図２では、画像特徴抽出を行うために、画像を整頓する処理を前処理とし てご紹介しましたが、メーカーや研究者によっては、そのような区別をせずに画像処理と して扱っています。本資料では、表１と混同しないために、前処理としてご紹介します。 4

（3） 前処理 前処理で使用される、空間フィルタの概念を、図 3 で紹介します。検査画像を「3 画素 ×3 画素」のセグメントに分け、このセグメントに空間フィルタを積和します。得られた 結果を、「3 画素×3 画素」のセグメントの中間画素と入れ替えます。この処理を画像全 体で行いことが、空間フィルタの役割です。図３は、空間フィルタとして鮮鋭化（シャー プ化）を適用するイメージです。元画像セグメントと、空間フィルタの積和の計算は、図 の上部のような計算を行い、3×3 画素の中間値「4」を計算結果「6」に入れ替えます。 この処理を画像全体に施すことで、画像がシャープ化し、くっきりします。前処理の種類 例について表 2 でご紹介しましょう。 表 2 前処理の種類の 4 つの例 ①平滑化 平均値フィルタ 3×3 画素であれば、9 画素の平 均を取ります。 重み付き平均値フィルタ 原点に近いほど重みをつけて平 均化します。 ガウシアンフィルタ 重みをガウス分布より求めま す。 メディアンフィルタ 濃淡レベルを並べ、中央値を採 用します。エッジが保存されや すい長点があります 5

②エッジ抽出 プレヴィットフィルタ 隣合う画素の微分からエッジを 抽出します。垂直方向と水平方 向を別々に行います。 ソーベルフィルタ プレヴィットと同じく微分を用 いますが、中央部の画素に重み を付け、コントラストが少なく なる特徴を有します。 ラプラシアンフィルタ 二次微分を使う方式で、斜め方 向のエッジ処理ができます。 ③鮮鋭化 シャープフィルタ 画像の濃淡を残してエッジを強 調します。 ④モルフォロジー変換 膨張 中心の画素を周辺の中で最も高 い値（明るい）で置き換えま す。暗いノイズを除く特徴があ ります。 収縮 中心の画素を周辺の中で最も小 さい値（暗い）で置き換えま す。明るいノイズを除く特徴が あります。 オープニング 収縮を n 回実施した後、膨張を n 回実施します。 クロージング 膨張を n 回実施した後、収縮を n 回実施します。 （4） 前処理の仕方 前処理例として、平滑化を行う平均フィルタとメディアンフィルタを紹介します。 6

ノイズが乗った元画像では、寸法計測検査するような処理に必要なエッジ抽出ができませ ん。そのため、ノイズを除去するために必要な処理が平滑化です。画像をぼやかすこと で、ノイズ画素をなくします。図 4 の平均フィルタは、3×3 画素の全体の平均を取って、 中心の画素と入れ替える手法です。このフィルタは画像全体をぼかす効果があります。 一方、メディアンフィルタは、3×3=9 個の画素の値の小さい順から並べ、5 番目の中間 地濃度値を中心画素と入れ替える手法です。このフィルタの効果で、全体をぼかすことな く、ノイズの除去ができるようになります。 このように、同じ平滑化フィルタでもいくつかの種類があります。同じ画像処理でもいく つかの種類があって、それぞれの処理した結果が異なるため、ワークの検査の目的に合っ た画像処理を選ぶ必要があります。 （5） 画像処理の注意点 画像処理の種類を選ぶときに注意することは、処理時間です。3×3 画素の処理を画像全 体に施すと、高解像度ほど大量の処理が必要で、処理時間が長く掛かるため、インライン で検査するときには、許容された時間内で処理できるような画像処理が必要です。 4. 図解 画像処理の方法 （1） ノイズ除去 図５は、ノイズが乗った入力画像に対し、エッジ処理を行うイメージ図です。 7

⚫ ＣＣＤ入力画像にはノイズが入っています ⚫ メディアン処理を加えることでノイズを除去します ⚫ エッジ抽出処理で液面境界を明確とします ⚫ 計測処理で液面高さを求めます （2） 二値化処理 図６は、液面高さを求めるために、ボトルの画像を二値化します。二値化処理行い、白黒 の２色でボトルを表示します。 ⚫ 二値化に当たっては、白と黒を分けるしきい値によって画像が大きく変わります ※ しきい値を決める手法は、モード法、Ｐタイル法、判別分析法など色々あります。 ⚫ エッジ抽出処理で液面境界を明確とします ⚫ 計測処理で液面高さを求めます （3） パターン認識 図７では、パターン認識についてご紹介します。 8

⚫ ワークの元図を登録します ⚫ ワークの検査画像を入力します。図では、キズが付いていると仮定しています ⚫ 元図と検査図の差分を検出します ⚫ 検査図－元図＝差分画像、というイメージで画像処理がされます ⚫ 差分画像からワークにキズがあるため、ＮＧまたは修復として対応します （4） 膨張・収縮画像処理 図８では、線状のノイズが乗っているワークの、画像処理についてご紹介します。 9

⚫ 膨張処理行うことで、線状ノイズの周囲の明るい画素で、ノイズの画素を置き換え、 ノイズを除去します ⚫ １回の膨張処理ではノイズが残るため、さらに２回膨張を繰り返すことで、ノイズが 除去できます ⚫ 膨張処理によって白い文字部分の周囲の画素が明るい色に置き換えられ、ややぼやけ ています ⚫ 収縮処理によって白い文字部分の周囲の画素を暗い画素に置き換えます。これを２回 繰り返すことで、文字が元の状態近くまで戻ります 5. 画像処理システムの導入のご相談は画処ラボ（ガショラボ）まで 画像処理の目的は、画像から検査対象が仕様どおりの形状か、キズがないかなどを調べ、 不良であれば除去し、その画像から原因を調べることです。画像処理の方式は、いろいろ なものが考案されて、実用化されています。ノイズが乗る、画像に歪みがあるなどの課題 も、いくつかの画像処理方式を組み合わせて処理すれば、検査対象の形状を測るソフトを 適用することが可能です。画像処理の問題は、得られた画像から、どのような処理を加え れば、形状判定ソフトが動かせるかの判断と言えます。多くの画像処理を手掛けた SIer などを頼ることで、どのような前処理を加え、どのような加工をすれば、ワークの検査が できるといった判断ができるでしょう。画像処理システムの導入をご検討の際は、多数の メーカーの協力や実績を持つ「画処ラボ」まで、お気軽にお問合せください。「画処ラ ボ」は FA 装置メーカーの株式会社 FA プロダクツが運営していますので、検証から装置 製作、保守まで一貫してご対応させていただきます。 ⚫ 10

装置導入に関するお悩みは FAP へ こんなお悩みはありませんか？ ・生産工程の自動化をしたいがノウハウがない ・複数社への発注、スケジュール管理の手間がかかる ・どのメーカーの製品を選べばいいか分からない ・他社の SIer から「専門外なので対応できない」と言われてしまった そんな時はぜひ、関東最大級のロボット SIer である株式会社 FA プロダクツにご相談くだ さい。 FAP の強み 加工から出荷まで、生産ライン全体の最適化にまとめて対応 エンジニアによる一貫生産体制で、高品質・低価格を実現 取引先 400 社以上の豊富な実績 省人化・省力化をご検討の際はお気軽に 050-1743-0310 までお問い合わせください。 （受付時間：平日 9:00～18:00） 企業概要 社名：株式会社 FA プロダクツ（FA Products Inc.） Web サイト：https://jss1.jp/ 所在地： つくばベース 茨城県土浦市卸町 2-13-3 TEL: 050-1743-0310 E-mail: jss_sales@jss1.jp 11