広大な情報の海へ

Spidering hacks―ウェブ情報ラクラク取得テクニック101選

スパイダー（別名クローラー、ロボット）の作り方が書いてある本。ぜひ勉強しておきたい分野だったがようやくいい本にめぐり合えた。

スパイダーは情報検索の分野で非常に重要なプログラムだ。あのGoogleもあちこちのサイトの情報を集めるためにネット上に多数のスパイダーを放っている。ウェブ（蜘蛛の巣）の上をうごめくプログラムだからスパイダー（蜘蛛）って言うみたいね。洒落てる、最初に名づけた人は頭いい！

情報検索の分野では、ネット上の情報をかき集めてきてハードディスクに保存するためにスパイダーを使っている。その溜め込んだデータにインデックスをつけて高速な検索を可能にしている（Googleで検索すると0.1秒で結果が返ってくるの昔すごく不思議だったなぁ）。

ただ私がスパイダーの作り方を知りたかったのはもっと不純（？）な動機だ。端的に言うとヴァレンティーナ（2004/1/21）やネットワークを渡り鳥するプログラム（2002/5/26）を創りたいから。インターネットは広大な情報の宝庫（ゴミ箱？）だけどそこから学習して進歩するようなプログラムにあこがれる。もう少しきちんとした知識ベースを作る計画はある（Cycなど）けれどやっぱウェブが使えるといいなぁ。

上のSFみたいにそっから意識がある人工知能ができるとかそんなとこまでは考えていない。膨大な情報の海を泳ぐエージェントを使って何か面白いものをいずれ作ってみたいな。関連技術としてテキストマイニング、Webコンテンツマイニング、モバイルエージェントなどが考えられるけど順に調べていきたい。

hackシリーズは面白い。他にも

Google Hacks―プロが使うテクニック&ツール100選

Amazon Hacks 世界最大のショッピングサイト完全活用テクニック100選

Blog Hacks ―プロが教えるテクニック&ツール100選

はぜひ読んでおきたいな。