因為一些需求我們需要從別人家把資料抓回來,既然是抓別人的東西,首先要看看別人訂的遊戲規則。
遵守遊戲規則
詳讀 robots.txt
控制併發數量
JS 越來越夯,寫一個非同步的程式不像之前這麼困難,JS 雖然好寫,但也很容易在觀念還未穩固的時候踩到雷,非同步的程式在使用不慎的時候,會造成短時間發送大量的 request,關於怎麼處理這個問題往後會在談到。
控制發送頻率
依照對方訂出來的遊戲規則,設定發送 request 的間隔時間。