LAB筆記

何謂Bot，以及為什麼我們需要關注? 從 Statista的調查報告指出，目前整個網路環境約有4成的流量都是由Bot產生 https://www.statista.com/statistics/1264226/human-and-bot-web-traffic-share/ 當人們針對某些特定且重複的需求，通常會透過寫程式完成自動化。 例如: 當遇到商品比較價格需求時，需要針對目標商品在網路上一個一個瀏覽、比價、並記錄。這個時候就有所謂的爬蟲機器人的出現，他會自動在網路去收尋瀏覽並收集所爬取到的資料。   演場片門票或是特定商品像是缺貨的口罩，黃牛為了能搶得先機會透過自動化的腳本或程式以人類難以所及的速度進行搶購。 駭客也會寫這類工具來檢測網站是不是有漏洞有沒有可以攻擊的地方，或是對整個網站詳細的偵查方便後續的攻擊，更甚至透過自動化攻擊來對網站進行大量的暴力登入試圖猜測出管理員的密碼。 這類的自動化行為在設計之初，根本就 不會考慮程式的內容和行為是否會影響到網站 的服務是否會受影響，反而是效率能越高越好，此時網站可能會因為太大量的請求而導致負載過高，甚至服務會受到影響，所以我們會希望將此類行為進行阻擋或封鎖 。 但是又不能將所有Bot連線都拒之門外，原因是前面提到的Bot是屬於 Bad Bot ， 而在網路上還是有些正常Bot存在，屬於 Good Bot 。 那麼什麼樣的流量是屬於 Good Bot 呢? 例如: 像是Google, Bing等各大收尋引擎平台，都會有他們自己的Bot來對網路中的網站進行探測紀錄，方便人們在收尋時能夠找到所想瀏覽的網站，而這些Bot都會公開詳細定義他們的探測流程和特徵，例如Google bot， https://developers.google.com/search/docs/advanced/crawling/googlebot ，上頭就描述他們會怎麼瀏覽你的網站， 若Google Bot被阻擋，其他人用Google Search時可能會找不到我們的網站。 隨者時間的演進，這些Bot從簡單的腳本發展到能夠使用Session Cookie到現在甚至能夠模擬正常人類的瀏覽行為。 所以我們要怎麼去管理甚至是識別這些流量呢? 在ADC 13.0以後的版本推出了 Bot Management功能，裡面有多種方式能夠識別及管立環境中的...