カメラ・レンズ・照明・プログラムの基礎が分かる!画像処理システムの基礎知識
株式会社 FA プロダクツ 植地 祐奈
カメラ・レンズ・照明・プログラムの基礎が分かる!画像処理システムの基礎知識
生産ラインの検査工程において、作業者は目で見てワークを認識し外観上の不良を見極め
ます。作業者の目、または頭の代わりとなるのが画像処理システムです。画像処理システム
の導入は、生産ラインの自動化に欠かせない重要な要素です。この資料で、画像処理システ
ムの基礎知識が身に付きます。
目次 (4)ワーク・カメラの位置と撮像画像
1. 画像処理の基本 (ii)正反射光
(1)「画像処理」とは何か (ii)拡散反射光
(2)「画像処理装置」とは何か (5)照明の種類・色
(3)画像処理システムの構成 (6)照明とレンズの配置・使い分け例
(i)撮像装置 (i)ドーム型照明
(ii)画像処理装置 (ii)リング型照明
(4)画像処理の流れ (iii)同軸落射型
(5)画像処理で出来ること (iv)バー型照明
(i)計測 4. レンズの基礎知識
(ii)検査 (1)レンズに関する計算式
(iii)判別 (2)レンズの種類
2. カメラの基礎知識 5. プログラムの基礎知識
(1)カメラの種類と選定方法 (1)画像処理に必要な前処理(フィルタ)
(2)3D カメラの種類と選定方法 (2)プログラムの考え方
(i)奥行精度 (i)測定・検査に用いるプログラムの考え方
(ii)リアルタイム性 (ii)パターンマッチングの考え方
(iii)設置スペース (iii)異物検出の考え方
(3)3D 検査と 2D 検査の違い (3)プログラムの組み合わせ
(4)カメラの画素数と選定方法 (4)プログラムの注意点
(5)カメラに関する計算式 6. システムの構築手順
(i)有効画素数と撮像面積 (1)目的と項目の明確化
(ii)視野角 (2)機器の選定
3. 照明に関する基礎知識 (3)撮像
(1)照明の種類・当て方 (4)照明と前処理の調整
(2)物体からの反射光と得られる画像 (5)プログラム作成
(3)照明を選定するための前知識 (6)画像処理システムの評価
(i)正反射 (7)システムの維持
(ii)拡散(乱)反射
1
1. 画像処理の基本
(1) 「画像処理」とは何か
画像処理は、例えば、ヒトが物体の大きさを推定することに似ています。この図は、ヒト
がワークを見て、その大きさを測定する様子です。
ヒトの眼は、ライトに照らされたワークを見て、その情報を脳に受け渡します。脳は、ワ
ークの画像を頭に描いた上で、その特徴を捉え、求める大きさを計測します。そして、計
測結果からNGかOKかを判断し、対応します。私たちの身の回りで画像処理を行う機械
も、同じように対象物の画像を捉え、その画像から特徴を見つけ出し、計測と判定を行い
ます。この画像処理を行う機械が、画像処理装置です。
(2) 「画像処理装置」とは何か
画像処理には、セキュリティシステムで監視カメラの映像を解析する装置、ロボットで位
置決めする装置、車の自動運転を行う装置など、いろいろな分野で使用されています。ど
の分野システムであっても、画像を得て処理する方式はほぼ同じです。今回は、製造ライ
ンで製品検査をイメージし、その検査を行う機器全体を画像処理装置、検査装置として説
明します。画像処理を行うために必要な機器と、得られた画像を計測できるように処理
し、その結果を判定し、NG や OK など評価するまでの処理を行う機器を、画像処理装
置として紹介します。
(3) 画像処理システムの構成
画像処理システムの構成をご紹介します。
(i)撮像装置
①レンズ:光を集める部品です。WD(ワークまでの距離)及び視野角(撮像範囲)がレンズ
に依存します。
②カメラ:CCD や CMOS と呼ばれるイメージセンサが搭載された部品となります。セ
ンサの画素数で、分解能(何 mm のモノまで見れるのか)が決定します。
③照明:ワークの見たいもの(傷、輪郭等)によって選定します。撮像できるものが非常に
変わる重要なファクターです。画像処理は撮影した画像の品質で全てが決まります。導入
時には必ずメーカーでの検証をお勧めします。
(ii)画像処理装置
コントローラに置いて、フィルタなどの前処理及び検査と合否判定を行います。
(4) 画像処理の流れ
次に動きとしてのステップを紹介します。
①撮像:シャッターを切り、画像を撮像します。
②転送:カメラからコントローラへ画像データを送ります。
③処理前処理:画像データを加工して特徴点を画像上で分かりやすくします
計測処理:画像データより傷、寸法などを計測します
④結果出力:処理結果を制御機器(PLC 等)に信号として送ります
1
(5) 画像処理で出来ること
①カメラが人の眼に代わる検査
(例)傷検査、汚れ検査、物の有無検査(検査)
②対象物の外形抽出、長さや面積の調査
(例)形状検査、サイズ検査(計測)
③物の位置認識
(例)ある枠内の物の把持、物の設置(判別)
(i)計測
2
画像処理システムを用いて、製品・部品に触れることなく、寸法・角度・面積などを計測
します。複数部位を一度に計測ができます。自動車部品や半導体業界などの部品加工ライ
ン・組立ラインで、加工・組立後の出来栄え検査に用いられます。
(ii)検査
異物や異品の混入、ワレ・欠け・傷など、良品と異なる状態を検出します。食品・医薬
品・半導体・精密機器などの、異物の混入や微細な欠陥が許されない製品の出来栄え検査
に用いられます。
(iii)判別
数種類の製品・部品を混流して生産するラインにおいて、製品や部品の種類を判別しま
す。物流ラインやカスタムオーダー製品を生産する多品種混流ラインで利用されます。
同一製品でもマーキング工程で出荷先情報や製品のランク表示を行う場合にも製品を振り
分ける工程で利用されます。
3
2. カメラの基礎知識
(1) カメラの種類と選定方法
カメラの種類は大きくわけて「モノクロカメラ」と「カラーカメラ」の 2 種類あり、そ
の他に選定には、モノクロカメラとカラーカメラの選定、画素数がポイントになります。
適切な選定を行うことで、検査導入コストを抑えることができます。まず、モノクロカメ
ラとカラーカメラの特徴は以下の通りです。
種類
モノクロカメラ 画像容量が小さい 色ムラや色違いの判別が苦手
エッジも綺麗に撮影できる 曲面や光沢のある判別が苦手
カラーカメラ 色ムラや色違いの判別が得意 画像容量が大きい
曲面や光沢のある判別が得意 エッジが綺麗に撮影できない
モノクロカメラは、カメラ単体では検査体とよく似た色の異物の検出が苦手です。よく似
た色の判別はカラーカメラのほうが得意です。曲面で光沢がある場合も、明るさが均一に
ならないのでモノクロカメラは判別が苦手です。カラーカメラは、色が撮影できれば明る
さに影響を受けにくいです。
例を挙げると、金属や鏡面仕上げのように光沢のある製品をカメラで検出する場合には、
明暗による検出を行う白黒カメラを用いると、うまく検出できないケースがあります。こ
ういったケースには、色の濃淡情報で判別できるカラーカメラを用いることで、正しい検
出が可能となります。さらに光源の方向や天候などによる、明度の違いによる影響を受け
にくい点もメリットです。
一方で、カラーカメラは解像度が劣ります。カラーセンサはモノクロセンサの各画素を R
(赤)G(緑)B(青)に置き換えているため、同じ解像度を得るためには 3 倍の画素が
必要となります。
4
言い換えると、同じサイズのセンサでは解像度が低くなる傾向があります。画素数は数値
が大きいほど 1 画素の面積が小さくなり、より小さな異物を検出できます。これは 1 画
素の面積が小さいと、画像が鮮明に映し出されるからです。図は、2 種類の画素数を同じ
大きさで撮影したときのイメージ図です。図中左の 30 万画素は、1 画素あたりの面積が
大きいため、1 画素以下の異物は検出できません。図中右の 500 万画素にすることで、1
画素あたりの面積が小さくなります。これにより微細な異物も検出することが可能です。
(2) 3D カメラの種類と選定方法
また、カメラには 2D と 3D があります。
種類 奥行精度 リアルタイム性 設置スペース
ステレオ式 1mm~100mm 有 コンパクトなスペースで設置が
可能
ToF 式 10mm~100mm 有 コンパクトなスペースで設置が
可能
構造化照明 0.1mm~1mm 無 コンパクトなスペースで設置は
不可
産業用で使用する 3D カメラは 3 種類あり、その選び方は「奥行精度」「リアルタイム
性」「設置スペース」の 3 つで絞ると選びやすくなります。
(i)奥行精度
撮影する被写体の奥行精度がどの程度必要かで、3D カメラを選べます。ステレオ式と
ToF 式は 1mm 以上の誤差があるのに対して、構造化照明は 1mm 以下の奥行精度で撮
影が可能です。高精度の撮影が必要な場合、構造化照明の 3D カメラが必要です。
(ii)リアルタイム性
リアルタイムでの撮影が必要な場合、選べるカメラが限られます。ステレオ式と ToF 式
はリアルタイムでの撮影ですが、構造化照明はリアルタイム撮影ができません。
(iii)設置スペース
設置するスペースに限りがある場合、選べるカメラが限られます。ステレオ式と ToF 式
はカメラと照明が一体でコンパクトです。しかし構造化照明は、カメラとプロジェクタが
セットとなっているため、広い設置スペースが必要です。
5
(3) 3D 検査と 2D 検査の違い
図では、工作物の溶接検査を紹介します。溶接結果確認のため、工作物上方に設置したカ
メラで写したときの様子は、左側の画像になります。これを真横に設置したカメラでは、
真中の画像となります。
2 つの画像を見比べると、上方からのカメラの映像では、3 点の溶接は同じように見えま
すが、横からのカメラ映像では、溶接欠陥や溶接片寄りが見つけられます。しかし横から
のカメラの映像では、溶接の横の拡がりは見えず、欠陥が見過ごされる可能性がありま
す。図の右側の画像は、3D によるカメラ画像で、この画像で周囲を見渡すことで、欠陥
が見つけられます。このように、2D の画像で見過ごされていた欠陥が、3D を取り入れ
ることで、見つけることが可能です。
(4) カメラの画素数と選定方法
画素数は数値が大きいほど 1 画素の面積が小さくなり、より小さな異物を検出できま
す。これは 1 画素の面積が小さいと、画像が鮮明に映し出されるからです。図は、2 種
類の画素数を同じ大きさで撮影したときのイメージ図です。
6
左の 30 万画素は、1 画素あたりの面積が大きいため、1 画素以下の異物は検出できませ
ん。右の 500 万画素にすることで、1 画素あたりの面積が小さくなり、微細な異物も検
出できます。
(5) カメラに関する計算式
(i)有効画素数と撮像面積
カメラは CMOS や CCD という半導体の撮像素子を搭載しています。この撮像素子には
数十万~数千万の画素 (ピクセル) が並んでいます。画素一つひとつが外部からの光エネ
ルギーを光電効果により電気エネルギーに変換し、これがデジタル情報としてコンピュー
タなどの演算器へ送信されます。そのため、画素数の多いレンズほど画像は緻密になりま
す。カメラの仕様は、こちらの式で表されます。
有効画素数=画素数(横)×画素数(縦)
撮像面積=撮像素子サイズ(横)×撮像素子サイズ(縦)
(ii)視野角
レンズの焦点距離、撮像素子サイズと視野角の関係は以下の式を用いて表されます。ま
た、1 画素あたりの実寸法は、 画素数分の視野角で求めることができます。 この値は大
変重要です。異物検出などを行う際、安定した検出に必要な画素数(一般的には 3~4 画
素)と 1 画素あたりの実寸法をかけた値が、 検出可能な異物の最小寸法になります。
視野角(横)=撮像素子サイズ(横)×WD/焦点距離
視野角(縦)=撮像素子サイズ(縦)×WD/焦点距離
7
3. 照明に関する基礎知識
照明は画像処理において最も重要な撮像結果が決まります。照明の色、波長はもちろん、
同じ照明でも設置する高さや角度が異なれば結果は変わります。下の 500 円玉は、それ
ぞれ同じものを異なる照明で撮像した結果です。見たい内容、欠陥によって選定方法を変
える必要性が分かると思います。
(1) 照明の種類・当て方
どのような角度で、かつどのような方式で照明をあてるかによって、対象物、または対象
物の傷、歪みなどの欠陥を明らかにしていきます。
① 正反射タイプ
これは対象物に正反射した光をレンズが受け取る方式です。
② 拡散反射タイプ
これは対象物に正反射した光を逃がして全体的に均一な光をレンズが受け取る方式です。
③ 透過タイプ
これは照明を対象物の背景から照射し透過光でシルエットを検出する方式です。
(2) 物体からの反射光と得られる画像
物体からの反射光は、次の 2 つに分けられます。
① 正反射光
これは入射光に対し、物体の表面状態によって、ある角度で反射する光です。
8
② 拡散光
これは入射光に対し、あらゆる方向に反射する光です。この 2 つの反射光は、混じり合
って光を反射しますが、物体の状態によって光の強さが異なります。その結果、画像処理
を行った画像も異なってきます。
図は、ワークにあるキズの検査を行うイメージです。
左は、正反射光を捉える位置にカメラを設置したケースです。正反射光はワーク表面から
出る光です。キズから正反射光方向への光はほとんど出ません。ワークを画像処理して
も、キズの明確な映像は得られません。右は、拡散光を捉える位置にカメラを設置したケ
ースです。拡散光はワークのあらゆる面から出る光です。キズからあらゆる方向に光が出
ます。ワークを画像処理すると、キズの明確な映像が得られます。このケースでは、右側
を採用した方が良いことが分かります。
9
(3) 照明を選定するための前知識:被写体と光の関係
ここで、各種選定前に確認が必要な、ワークの素材がもつ性質について話をさせていただ
きます。先ほども申し上げた通り、照明は画像処理システムを構成する重要な要素です。
画像処理システムは、照明から発した光が被写体に当たり、その反射光をカメラがとら
え、 様々な測定や検査を行います。したがって、 照明からはどのような光を当てるの
か、被写体がその光をどのように反射するのか、が重要となります。画像処理システムに
よる測定・検査を成功させるには、まずは対象となる物体の性質を理解することが重要で
す。そこで、物体の材質による光の反射の違いを説明します。
(i)正反射
金属など光沢のある物体は光を正反射します。光が当たった点から垂直な線を引き、この
垂直線と入ってきた光の通り道がなす角度を入射角、垂直線と反射光の通り道がなす角度
を反射角といいます。正反射では、入射角 = 反射角という関係が成り立ちます。例とし
て、鏡は、凹凸の少ないガラス表面に、銀メッキ銅メッキなどの金属のメッキを施しま
す。凹凸はサブミクロン (1μm 以下)であり、このような物体は入射光を一方向に反射す
るため、入射光の強さを弱めることなく、強く反射するのが特徴です。
(ii)拡散(乱)反射
非金属の表面に光が当たると、一部は正反射を起こしますが、残りは入射角に依存せずに
四方八方に反射します。入射光が多方向に拡散するため、一方向への反射光は強くありま
せん。光沢のない物体を目視したときに、眩しさを感じることなく物体の形状を認識でき
るのは、照明や太陽の光が物体で拡散反射された光を目でとらえているからです。正反射
10
を起こすか、 乱反射を起こすかは、物体表面の粗さに依存します。
プラスチックや木などの有機物でも、 表面を研磨して滑らかにすると光沢が出ます。こ
れは表面がなめらかになり乱反射成分が減り、正反射成分が増えたことによるものです。
逆に、金属表面を鑢などで擦ると光沢が失われます。これは表面が粗くなったため、色々
な方向に光が反射したことによります。
(4) ワーク・カメラの位置と撮像画像
(ii)正反射光
こちらの図では、照明の正反射光方向から
カメラで撮像した場合の結果を示していま
す。この場合ですと、溝からの反射光はカ
メラにほとんど届かず、ワーク表面の反射
光だけを捉えます。そのため、下のような
検査画像となります。
11
(ii)拡散反射光
こちらの図では、カメラの位置をワークの
真上にセットしています。この場合は、溝
からの拡散反射光がカメラに届くため、溝
の様子を撮像することができます。そのた
め、下のような検査画像となります。
(5) 照明の種類・色
次に、照明の色についてご説明します。
左図のように、照明から赤色光を当てた場合、どうなるでしょうか?物体は、紫から緑ま
での電磁波は物体に吸収され、黄色から赤の電磁波は物体に吸収されないため、赤色光が
そのまま反射されます。その結果、図のように赤色のワーク画像処理画像が得られます。
1
右図のように、照明から青色光を当てた場合、どうなるでしょうか?
物体は、紫から緑までの電磁波は物体に吸収され、黄色から赤の電磁波は物体に吸収され
ないため、青色光は物体に吸収されます。その結果、物体からの反射光はなく、黒色のワ
ーク画像処理画像となります。照明の色も、ワークの色によって使い分ける必要があるこ
とが分かります。
(6) 照明とレンズの配置・使い分け例
先ほどの例では同じカメラ、照明で位置を変えて撮像結果を変える例でしたが、これから
は照明の種類ごとに例を見ていきます。500 円玉の撮像画像を置いていますので、比較し
てみてください。照明とレンズの配置は、被写体の見え方に大きく影響します。したがっ
て、検出したい被写体の特徴によって使い分けが必要です。
(i)ドーム型照明
左図のドーム型照明の光は、ワーク全体を一様に照らすことができ、影のない映像が撮れ
ることが特徴です。500 円玉も、全体が影にならず見えることが分かります。
(ii)リング型照明
右図のリング型照明は、この図では斜め方向からある角度でワークに明るく強い光を当て
ていますが、角度を真下に向けて、下方に一様に光を当てることも可能です。コントラス
トが良い画像を得ることできる特徴を有します。例を挙げると、ピンの欠けや折れ等を検
査する際に用いられることがあります。500 円玉も、輪郭が綺麗に撮れていることが分か
ります。
1
(iii)同軸落射型
左図が同軸落射型照明です。ハーフミラーを通して下方に照明を照射するとともにワーク
表面から垂直に出る反射光を撮像します。光る表面の傷や異物の検知に効果があります。
(iv)バー型照明
右図が、バー型照明です。ワークに沿って線状に照明を均一に当てることができ、シート
検査のようなライン画像検査に適しています。ワークの材質や検査内容によって選定する
照明が変わるので、事前にヒアリングが必要になります。実際の検証をする際に、位置を
決め、装置を工場へ設置する際には外乱光が入るかどうか等を気にしながら作業を進める
必要が出てきます。
4. レンズの基礎知識
はじめに、レンズに関連する用語を簡単に解説していきましょう。レンズは、カメラの先
端に取り付けて使用するものです。関連する知識として、表の 3 つが挙げられます。
名称 詳細
WD 対象物に焦点が合っているときの
(work distance) レンズの先端から対象物までの距離
焦点距離 レンズが持つ仕様の一つ
レンズから撮像素子までの距離
視野 WD における撮像範囲
2
(1) レンズに関する計算式
先ほどの知識を使ってレンズの選定を行います。
WD : 視野=焦点距離:撮像素子サイズ
この式から、WD を長くとる、焦点距離が短いレンズを選ぶ、大きい撮像素子のカメラを
選ぶことで視野を広くすることができます。
名称 詳細
F 値 レンズの明るさを示す指標
焦点距離 f をレンズの直径 D で割った値
値が小さいほど明るい画像が撮れる
被写界深度 ピントが合ったように見える WD 方向の幅
カメラの絞りにより調整できる
収差 歪曲収差や色収差
必要に応じて、収差を抑えた低ディストーションレンズを用いる
(2) レンズの種類
レンズの形状により、視野の端が歪んだように見える現象(歪曲収差)や光の波長が違う
(色の違い)ことにより、レンズによる屈折率が異なり、像がぶれる現象(色収差)など
があります。画像処理システムでは必要に応じて、 収差を抑えた低ディストーションレ
ンズを用います。上図のような立体物を上から平面的にとらえ、寸法を測定する場合、レ
ンズと物体の距離に差が出るため、一般のレンズでは図のように倍率が変わってしまいま
す。このような被写体の測定には、被写体とレンズの距離が変わっても一定の倍率に見え
るテレセントリックレンズが用いられます。
種類 メリット デメリット
通常レンズ 製造コストが安価 撮像サイズが変動する
小型化が容易 画像の歪みが発生しやすい
テレセントリックレンズ 撮像サイズが同じ 製造コストが高価
画像の歪みが少ない 小型化が困難
3
5. プログラムの基礎知識
(1) 画像処理に必要な前処理(フィルタ)
画像処理による計測・検査を安定的に行うために、撮像した元の画像に様々な処理を行
い、対象ワークの特徴を際立たせます。実行する前の処理ですので、 前処理と言ったり画
像を加工するフィルタと言ったりします。適切な前処理を行うことで計測・検査の精度や
安定性を向上させることができます。簡単に流れを説明します。用意した画像に次の処理
をしていきます。
①ノイズである高周波成分をローパスフィルタにより除去することで画像をならし、平滑
化します。
4
②エッジ検出では色味の変化が大きい部分を検出します。連続する画素値の微分が極大値
をとる画素
が、エッジということになります。
③ある閾値よりも明るい部分を白、暗い部分を黒として、白と黒に二値化します。
(2) プログラムの考え方
(i)測定・検査に用いるプログラムの考え方
画像処理による測定・検査に用いるプログラムの考え方について説明します。長さ測定で
は、まずは測定部位のエッジが際立つように照明の調整とエッジ抽出の前処理を行いま
す。そして検出されたエッジの画素数をカウントします。この画素数と、撮像装置の構成
から算出される 1 画素あたりの実寸法をかけ合わせることで、測定部位の寸法を得るこ
とができます。測定した寸法による良否判定を実施する場合は、良品範囲、上限値・下限
値をあらかじめ設定しておき、測定値が良品範囲に収まっているかを判断します。面積測
定・検査のプログラムは、長さ検出と同じ要領で、面積を測定したい部位のエッジを抽出
します。このエッジで囲まれた領域の画素数をカウントし、面積を算出します。あるいは
色味が異なる部位の検出であれば、二値化の前処理を行うことで、その部位とそれ以外の
領域を白と黒に分けることができます。二値化処理後は測定したい部位の画素数をカウン
トします。面積についても、測定値が良品範囲に入っているかを確認することで良品/不良
品を判定できます。
5