トレンド用語集

ロボットテキスト

ロボットテキストとは、ウェブ上の文章や画像を周期的に取得するクローラーを特定のページにアクセスを禁止するファイルを指します。ロボットテキストにクローラーを巡回を禁止する構文を記載することでページごとのクロール頻度をコントロールできます。クロール頻度を制御することで重要でなコンテンツを優先してクロールできます。

社内報に関するご相談、問い合わせはこちらから

関連記事