2008年初的網路除錯記錄

事件：
2008/02/19 下午約兩點左右，公司內部網路發生異常！
一些單PORT的網路印表機伺服器無法接收列印請求。
也就是說，網路印表機掛掉了！

症狀：
由Cacti網路流量監看軟體，可明顯看出，在異常開始的時間點，
流量也開始飇高，但奇怪的是，出問題的設備，只有印表機伺服器。
一般PC和重要的主機沒有出狀況，而使用者電腦的網路功能也大都正常，
瀏覽網頁，MSN，上傳下載......都沒問題，就是網路印表機不能用。
機型是聯強的LM-PR101S！
由於我知道一般印表機伺服器提供列印服務是以TCP/IP的9100 PORT來運作。
於是我很單純地認為，可能是某種設備網路功能異常，也恰好影響了9100 PORT的設備。
但也有可能是比較特殊功能的軟體或是電腦病毒作怪！
經過幾個小時，尋求了一些網路資料（還好還能上網！），在排除了是某特定功能的軟體作怪。
以及看過防毒主機資料後，認為最近應該沒有重大的電腦病毒肆虐事件。
我們開始朝有可能是某機器的網卡壞掉，或是沒設定好而亂發封包的方向，去追蹤問題根源。

作法：
公司是以cisco catalyst 3750 和 cisco catalyst 2950作為core switch和eage switch！
而這兩種機型，都能做port mirror來實現網路sniff目的。
當然要從core switch著手了！
在cisco catalyst 3750上設定port mirror的作法如下：

This example shows how to remove any existing configuration on SPAN session 2,
configure SPAN session 2 to monitor received traffic on all ports belonging to VLANs 1 through 3,
and send it to destination Gigabit Ethernet port 2.
The configuration is then modified to also monitor all traffic on all ports belonging to VLAN 10.

Switch(config)# no monitor session 2

Switch(config)# monitor session 2 source vlan 1 - 3 rx

Switch(config)# monitor session 2 destination interface gigabitethernet1/0/2

Switch(config)# monitor session 2 source vlan 10

Switch(config)# end


相關資料文件：
http://www.cisco.com/warp/public/473/41.html
這篇有不少示意圖，看了圖解，可加深印象。

cisco catalyst 2950 設定指南
2950系列的作法，網路上有不少是錯誤作法，可能是機器IOS功能改了吧。應該要找cisco官方文件，才有正解。

cisco catalyst 3750 設定指南
這篇就是我上面設定作法的參考，擷取其中片段！

設定好port mirror之後，再以sniffer等工具軟體來擷取封包，監看網路的異常來源。
在此我要推薦一個工具軟體！
這次網路除錯就是用它來把問題的徵結找出來的。
在我們設定好cisco switch port mirror後，找了台電腦，把網卡接上mirror port。
再來用這個CommView觀察所能擷取到封包的情形！

產品名稱：
CommView
http://www.snapfiles.com/reviews/CommView/commview.html

說明：
CommView是一個監督並分析網際網路和區域網路流動的網路封包的一個程式。
它收集了一些資訊有關於透過你撥接的連結或你的網路卡送出的資料，並解譯成易讀的資料。
透過CommView你可以看到網路連結的列表，IP資訊，也可以檢查個別的封包。
對於封包有完整的分析，可完全可存取到最原始的資訊。被捕捉的封包也可存成紀錄檔以便日後進一步分析。
它也可以設定成一個有彈性的過濾系統，使你可以丟棄你不想抓取的封包，只抓你想要看的封包。

特色：
透過你的網路卡或撥接介面來抓取網際網路或區域網路上流動的封包。
可檢視各IP連結的細節，像是IP 位址，port碼，會議編號(sessions)等。
重建TCP sessions可用比例分配圓圖來檢視目前連線有那些協定。

*監督網路頻寬使用情形
*可即時瀏覽捕捉到的封包和解讀後的封包
*在捕捉的封包內容中搜尋字串或16進位資料
*記錄個別或所有的封包到檔案中
*離線後可載入並檢視捕捉的資料檔案
*可輸出捕捉檔案的格式為16進位，文字檔，NI Observer 或NAI Sniffer檔案格式，
也可輸入MS NetMon, Tcpdump, NI Observer，或NAI Sniffer的檔案格式

*可用名字來取代IP位址，方便記憶和查詢

除錯後記：
最後，透過工具軟體的分析，找到了兩部最近被改過IP設定的監視器。
可能是廠商沒設定好，也可能是它們的網卡故障！所以不停的發出奇怪的廣播封包。
它們的封包不斷地換port，偏偏又沒機器要接受，造成廣播風暴，使得內部的網路流量暴增！
不過，奇怪的是，受影響的好像只有上述那款印表機伺服器。
總之，我們隔絶了它們的網路設備，總算讓整體網路恢復正常。

附記：
附帶一提的是，我之前以公司一條浮動IP的ADSL設置的網站，也在此事件中被影響而掛點！
因為它的浮動IP會不斷地的在短時間內就更換IP，使得DynDNS功能無效化。
可見，廣播風暴會影響到一些IP分享器，而且是聯強的機器，哈。
對了，這個IP分享器，是再用無線AP橋接到公司內部網路的。
難道廣播風暴，也會透過無線網路的設備擴散出去嗎？真的要再加強自已的網路技術知識了！