産業用Ethernetにてパケット損失が起こる原因と対策

産業⽤Ethernet において パケットの損失が起こる原因と対策 トラフィックの集中と設定ミス シスコシステムズ合同会社 Speaker title 2021 年 2 ⽉ 3 ⽇

原因 1: 送信待ち⾏列あふれ パケットは原則として先着順に送信される ‒ FIFO パケットは、重要性に関係 緊急性の低いパケットでも、たまたま先着すれば なく到着した順序で送信 緊急性の⾼いパケットより先に送信される。 キューに⼊っていく。 Ethernet スイッチ FIFO 緊急性の⾼いパケットでも、たまたま送信キューに 他のパケットが既に送信を待っていると、それらが 全てはけるまでは待たされて、追い越せない。 緊急性の⾼いパケットでも、たまたま送信キューが⼀杯の時に 到着すると、そのパケットは捨てられてしまう。 © 2020 Cisco and/or its affiliates. All rights reserved. Cisco Public 2

トラフィックの集中があふれの理由 • スイッチングハブのポートには有限⻑の送信⽤の待ち⾏列がある。 • 複数のポートから Ethernet フレームが流⼊し、⼀つのポートから出 て⾏こうとすると、フレームが送信キューに渋滞する。 • 送信キューの限界を超えるとフレームを保持しておくことができず にフレームはスイッチングハブによって破棄される。 • フレームの破棄は Ethernet にとって想定内の動作でありエラーでは ないが、通信には悪影響を及ぼすことがある。 • いつでも起こり得る。 • 送信キューの⼤きな製品ほど発⽣しにくくなる。 © 2020 Cisco and/or its affiliates. All rights reserved. Cisco Public 3

原因 2: 転送能⼒を超過するトラフィック • スイッチングハブ製品には固有のフレーム転送能⼒がある。 • 毎秒パケット（フレーム）転送可能か、すなわち packet / sec ない し pps で表される。 • 製品の最⼤ pps を超える量のフレームが⼀度に流⼊するとスイッチ ングハブはフレームを破棄する。 • いわゆるラインレート製品では起こらない。 * Cisco の IE シリーズスイッチはラインレート © 2020 Cisco and/or its affiliates. All rights reserved. Cisco Public 4

ラインレートとは • ポート毎の理論上可能な最⼤の packet / sec の転送を全ポートで⾏ うのに⼗分な転送能⼒を製品が具備していることを端的に⽰す⾔葉。 • ポート毎の理論上可能な最⼤ packet / sec は IEEE 802.3 標準が規定 する最⼩サイズのフレームが標準が規定する最⼩フレーム間ギャッ プ以外の隙間なく連続的に受信された場合の packet / sec。 • 100 Mbps なら 148,810 pps、1 Gbps なら 1,488,095 pps。 理論上 84 オクテット (672 bit) 毎に 1 フレームに相当 preamble destination source type data FCS preamble destination Start frame delimiter フレーム間ギャップ 最小 64 オクテット 12 オクテット時間 © 2020 Cisco and/or its affiliates. All rights reserved. Cisco Public 5

原因 3: Duplex ミスマッチ • 端末とハブのそれぞれの半⼆重・全⼆重設定が不⼀致の場合に発⽣ • 半⼆重側でコリジョンが発⽣したとの誤認が⽣じるため • 詳しい発⽣機序は付録セクションを参照のこと © 2020 Cisco and/or its affiliates. All rights reserved. Cisco Public 6

原因 4: コリジョンの多発 • コリジョンの発⽣頻度が⾼すぎる場合に起きる損失。 • Ethernet はコリジョンが発⽣しても⾃動的に再送するため、コリ ジョンが発⽣していても頻度が低ければフレーム損失には⾄らない。 • 頻度が⾼いとリトライアウトを起こし、フレームが破棄される。 • リピーターハブを多段で使⽤していると発⽣しやすい。 • スイッチングハブを全⾯的に使⽤している環境では起こりにくい。 © 2020 Cisco and/or its affiliates. All rights reserved. Cisco Public 7

原因 5: ブロードキャストストーム • LAN 上に過⼤な量のブロードキャストフレームが流れると、装置の 受信能⼒を超えてしまい、装置の受信バッファーが溢れることがあ る。 ARP request (broadcast) 192.168.190.1 装置1 装置5 192.168.190.3 192.168.41.1 装置2 装置6 192.168.190.4 192.168.190.2 装置3 装置7 192.168.41.3 192.168.41.2 装置4 装置8 192.168.41.4 ハブ ハブ © 2020 Cisco and/or its affiliates. All rights reserved. Cisco Public 8

原因 6: ケーブル不良 • LAN ケーブルに不良があると、信号が伝送中のノイズでビット誤り を⽣じる。 • Ethernet は巡回冗⻑検査符号 (CRC) を⽤いたフレームチェックシー ケンス (FCS) による誤り検出をフレーム毎に⾏っており、スイッチ が FCS 誤りを検出すると当該フレームを破棄する。 preamble destination source type data FCS Start frame delimiter © 2020 Cisco and/or its affiliates. All rights reserved. Cisco Public 9

Cisco IE スイッチによる パケット損失箇所の特定 © 2020 Cisco and/or its affiliates. All rights reserved. Cisco Public 10

IND: I/F 詳細画⾯ 帯域消費状況履歴グラフ • スイッチの I/F 詳細画⾯の 速度と duplex トラフィック履歴やエラー 数を確認 • IND à インベントリー à IE スイッチ à インターフェー ス à特定のインターフェー スをクリック 送受信頻度、エラー数等 © 2020 Cisco and/or its affiliates. All rights reserved. Cisco Public 11

スイッチ本体の Web GUI: ポートモニタリング • スイッチのポートモニタリ ング画⾯のプロトコルド ロップを確認 • スイッチ本体の Web GUI à モニタリング à ポート à 破棄されたフレーム数 特定のポートをクリック © 2020 Cisco and/or its affiliates. All rights reserved. Cisco Public 12

スイッチ本体の CLI: interface コマンド IE3400#show interfaces GigabitEthernet 1/3 • Telnet or SSH でスイッチ GigabitEthernet1/3 is up, line protocol is up (connected) Hardware is Gigabit Ethernet, address is d0ec.3558.a123 (bia d0ec.3558.a123) にアクセスしコマンドを⼊ MTU 1500 bytes, BW 1000000 Kbit/sec, DLY 10 usec, reliability 255/255, txload 1/255, rxload 1/255 Encapsulation ARPA, loopback not set ⼒ Keepalive set (10 sec)Full-duplex, 1000Mb/s, media type is 10/100/1000BaseTX input flow-control is off, output flow-control is unsupported ARP type: ARPA, ARP Timeout 04:00:00 Output drops 破棄したパケット数 (溢れ) Last input 00:00:00, output 00:00:00, output hang neverLast clearing of "show interface" counters never Input queue: 0/375/2/0 (size/max/drops/flushes); Total output drops: 0 Runts 最⼩パケット⻑違反数 (衝突残渣) Queueing strategy: fifoOutput queue: 0/40 (size/max) 5 minute input rate 715000 bits/sec, 113 packets/sec CRC FCS エラー数 (衝突残渣かケーブル不良) 5 minute output rate 4000 bits/sec, 1 packets/sec97161471 packets input, 75690203645 bytes, 0 no buffer Received 20553575 broadcasts (8739546 multicasts) Collisions 衝突数 0 runts, 0 giants, 0 throttles 0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored 0 watchdog, 8739546 multicast, 0 pause input Late collision 遅延衝突 (duplex ミスマッチを暗⽰) 0 input packets with dribble condition detected 125951 packets output, 46098325 bytes, 0 underruns Output 42631 broadcasts (0 multicasts) 0 output errors, 0 collisions, 2 interface resets 27130 unknown protocol drops 0 babbles, 0 late collision, 0 deferred 0 lost carrier, 0 no carrier, 0 pause output 0 output buffer failures, 0 output buffers swapped out © 2020 Cisco and/or its affiliates. All rights reserved. Cisco Public IE3400# 13

Duplex ミスマッチを理解す るための付録資料 © 2020 Cisco and/or its affiliates. All rights reserved. Cisco Public 14

Ethernet / IEEE 802.3 の進化とそのはざま • Ethernet は後⽅互換性を保ちながら進化してきた • ほとんどの場合新旧の Ethernet 端末・ハブを相互接続して問題ない • それでも落とし⽳が全くないというわけではない • 典型的な落とし⽳が全⼆重・半⼆重不⼀致 (duplex ミスマッチ) とス トレート・クロス結線⾃動判定 (auto MDI-X) • 本節はその⼆点について解説する © 2020 Cisco and/or its affiliates. All rights reserved. Cisco Public 15

全⼆重・半⼆重⾃動判定機能 (auto negotiation) • 送信制御が全⼆重通信か半⼆重通信かを⾃動的に判定する機能 • リンク速度を⾃動決定する⾃動ネゴシエーション機能の⼀部として 規格化された • ⾃動判定が規格化される前は⼿動で設定していた • 近年 (1 Gbps 世代以降) は⾃動判定が既定動作となり意識されること なく幅広く利⽤されている • 半⼆重については詳しく後述する © 2020 Cisco and/or its affiliates. All rights reserved. Cisco Public 16

ケーブル結線⾃動判定機能 (Auto MDI-X) • Ethernet のケーブルはストレート結線とクロスオーバー結線の⼆種 類がある • ⾃動判定機能が規格化される前は適切な結線のケーブルを⽤いなけ れば通信できなかった • ⾃動判定機能があるとどちらを⽤いても通信できるため、ケーブル の結線種別を意識する必要がなくなる • 近年 (1 Gbps 世代以降) は⾃動判定が既定動作となり意識されること なく幅広く利⽤されている © 2020 Cisco and/or its affiliates. All rights reserved. Cisco Public 17

⼆つの⾃動設定機能の進化 世代 全⼆重・半⼆重⾃動判定 Auto MDI-X 10 Mbps • 存在せず • 存在せず• 全⼆重機能があれば⼿動で設定 • ケーブルの結線で対応 • ⾃動ネゴ機能の⼀部として規格化 • オプションとして規格化 100 Mbps • ⾃動ネゴはオプション機能だった • 規格に曖昧な部分があった • ⼿動設定と⾃動判定の混在が問題に • 相互接続性に難を⽣じた • ⾃動ネゴが必須機能となった • 規格の曖昧さが排除された 1 Gbps • 全⼆重・半⼆重⾃動判定も必須に • 必須機能となった • 意識されれずに広く使われている • 意識されずに広く使われている © 2020 Cisco and/or its affiliates. All rights reserved. Cisco Public 18

半⼆重通信 © 2020 Cisco and/or its affiliates. All rights reserved. Cisco Public 19

Ethernet における半⼆重通信 (half-duplex) • 半⼆重⽅式の通信は、Ethernet 登場当初から • 同軸ケーブル (10BASE5、10BASE2)、リピーターハブ (10BASE-T) • スイッチングハブの普及で事実上駆逐 • 規格としては今も健在 • ⾃動ネゴシエーションの最終⼿段 © 2020 Cisco and/or its affiliates. All rights reserved. Cisco Public 20