人間になりすますウェブ巡回プログラム
面白い記事が載ってた。
クローラーは興味があっていろいろ調べていたのだけど、サイト管理人からはやっぱり嫌われてるのね。どれくらい負荷をかけてるんだろう。人間が見るのと同じくらいのものすごいスローペースで巡回すれば許してくれるのかな。上の記事もあるように人間かクローラーかわからないくらいに。私の所属してた研究室でも大規模に収集していて下のサイトで文句叩かれてた・・・
プログラムにもコンテンツを読む権利を与えるべきだ(笑)
面白い記事が載ってた。
クローラーは興味があっていろいろ調べていたのだけど、サイト管理人からはやっぱり嫌われてるのね。どれくらい負荷をかけてるんだろう。人間が見るのと同じくらいのものすごいスローペースで巡回すれば許してくれるのかな。上の記事もあるように人間かクローラーかわからないくらいに。私の所属してた研究室でも大規模に収集していて下のサイトで文句叩かれてた・・・
プログラムにもコンテンツを読む権利を与えるべきだ(笑)