ウェブクローラ詳細 | ASAHIネット

ウェブクローラに関するインターネット検索結果

Webクローラとは 【検索ロボット】 - 意味/解説/説明/定義 ： IT用語辞典

Webクローラとは：全文検索型サーチエンジンの検索データベースを作成するために、 世界中のありとあらゆるWebページを回収するプログラム。全文検索型サーチエンジンでは、Webページの内容をサーチエンジン側のデータベースに保存しておき、検索要求が ...

クローラ - Wikipedia

建設機械や農業機械に使用されるゴム製のクローラについては「無限軌道」をご覧ください。 クローラ (Crawler) とは、ウェブ上の文書や画像などを周期的に取得し、 自動的にデータベース化するプログラムである。 ...

ウェブアーカイブ - Wikipedia

Webのサイズは膨大であるため、Webアーカイブではクローラを使って自動収集を行う。 最大規模のWebアーカイブ機関は、Web全体の ... Webアーカイブはクローラを使ってウェブページの収集プロセスを自動化している。クローラはWebの一般利用者がブラウザを ...

検索ロボットとは 【search robot】 - 意味/解説/説明/定義 ： IT用語辞典

検索ロボットとは：全文検索型サーチエンジンの検索データベースを作成するために、 世界中のありとあらゆるWebページを回収するプログラム。全文検索型サーチエンジン ... クローラ, Webクローラ, web crawler, ウェブクローラ, サーチボット, searchbot ...

Hyper Estraier - Wikipedia

Hyper Estraierには、各コマンドのほかに、estwaverと呼ばれるウェブのクローラが付属している。このクローラを使うことで、他サーバーで公開されている情報に対するインデックスを作成することができる。 ...

ユーザーエージェント - Wikipedia

またユーザーエージェント文字列は、「ロボット排除基準」 (robots.txt)を使ってある特定のページあるいはウェブサイトの一部からクローラーを排除するための基準の1つになっている。こうして、ウェブ担当者が、彼らのウェブサイトのある特定の部分が特定 ...

Baiduspider - Wikipedia

これに対し、百度は日本向けウェブサイトにおいてBaiduspiderが過剰な負荷をかけたことを謝罪するとともにクローリングの頻度管理を統一するなどの対処策を発表している。また同年5月には負荷の少ない新型クローラーであるを投入し、ウェブサイトに与える ...

NaverBot - Wikipedia

日本では、国際基準への対応不備などの問題が一部のWebサイト管理者らに指摘され、 アクセスを拒否するサイトも見られた。これに対して、ネイバー側は公式のコメントを出してはいないが、後継のクローラー（YetiBot）では当時指摘された以下のような問題は ...

マイクロフォーマット - Wikipedia

HTMLとともにマイクロフォーマットを使うことで、アプリケーションから使える意味ある情報をもたらすことが出来る。これらは、ウェブクローラのようなオンラインデータを収集するアプリケーションや、電子メールクライアント、スケジュール管理ソフトなど ...

ソーシャルブックマーク - Wikipedia

高品質なサーチエンジンを作るという観点から、SBMシステムはWebクローラのような従来の自動化されたリソースの捜索・分類ソフトウェアに比して様々な長所を有している。 Webサイトのようなインターネット資源のタグによる全ての分類は、リソースの意味を ...