Webクローラ詳細 | ASAHIネット

Webクローラに関するインターネット検索結果

Webクローラとは 【検索ロボット】 - 意味/解説/説明/定義 ： IT用語辞典

Webクローラとは：全文検索型サーチエンジンの検索データベースを作成するために、 世界中のありとあらゆるWebページを回収するプログラム。全文検索型サーチエンジンでは、Webページの内容をサーチエンジン側のデータベースに保存しておき、検索要求が ...

ウェブアーカイブ - Wikipedia

Webのサイズは膨大であるため、Webアーカイブではクローラを使って自動収集を行う。 最大規模のWebアーカイブ機関は、Web全体の ... Webアーカイブはクローラを使ってウェブページの収集プロセスを自動化している。クローラはWebの一般利用者がブラウザを ...

クローラ - Wikipedia

建設機械や農業機械に使用されるゴム製のクローラについては「無限軌道」をご覧ください。 クローラ (Crawler) とは、ウェブ上の文書や画像などを周期的に取得し、 自動的にデータベース化するプログラムである。 ...

Hyper Estraier - Wikipedia

Hyper Estraierには、各コマンドのほかに、estwaverと呼ばれるウェブのクローラが付属している。このクローラを使うことで、他サーバーで公開されている情報に対するインデックスを作成することができる。 ...

NaverBot - Wikipedia

日本では、国際基準への対応不備などの問題が一部のWebサイト管理者らに指摘され、 アクセスを拒否するサイトも見られた。これに対して、ネイバー側は公式のコメントを出してはいないが、後継のクローラー（YetiBot）では当時指摘された以下のような問題は ...

ユーザーエージェント - Wikipedia

またユーザーエージェント文字列は、「ロボット排除基準」 (robots.txt)を使ってある特定のページあるいはウェブサイトの一部からクローラーを排除するための基準の1つになっている。こうして、ウェブ担当者が、彼らのウェブサイトのある特定の部分が特定 ...

Baiduspider - Wikipedia

これに対し、百度は日本向けウェブサイトにおいてBaiduspiderが過剰な負荷をかけたことを謝罪するとともにクローリングの頻度管理を統一するなどの対処策を発表している。また同年5月には負荷の少ない新型クローラーであるを投入し、ウェブサイトに与える ...

ソーシャルブックマーク - Wikipedia

高品質なサーチエンジンを作るという観点から、SBMシステムはWebクローラのような従来の自動化されたリソースの捜索・分類ソフトウェアに比して様々な長所を有している。 Webサイトのようなインターネット資源のタグによる全ての分類は、リソースの意味を ...

マイクロフォーマット - Wikipedia

マイクロフォーマットでは. class; rel; rev. などのHTML属性が多用される。 通常のHTMLページにマイクロフォーマットを埋め込むことで、ウェブクローラなどのプログラムがイベント情報やレビューなどをウェブページ上から見つけ出すことができる。 ...

深層Web - Wikipedia

2009年3月8日 ... これらの要因から、検索エンジンによって収集されず、その結果、検索することができない情報が深層Webと呼ばれる。 深層Webに対して、通常の検索エンジンのクローラ によって収集可能な情報は、表層Web（ひょうそうウェブ）、 ...