Robots.txt / ロボットテキスト

Robots.txtは、Webサイトのクローリングを制御するためのテキストファイルで、検索エンジンのクローラーに対して、どのページをクロールするかを指示します。特定のページやディレクトリを検索エンジンのインデックスから除外したい場合に使用されます。Robots.txtはSEOの管理において重要な役割を果たします。