http://zeijaku.net/blog_history/?search=201208101144
というのでいくつか書いたのですが、他にもあったほうが何かと困らないものをいくつかあげてみます。
１．.htaccess
Windowsサーバーとかだとまた別になることもあるんですけど、これは置いておいて損はないです。
むしろ複数の人たちと使う外部の開発サーバー（あんまりよくはないけど）とかにはクローラー対策とかは最低限入れておいた方がいいです。
２．robots.txt
これも置いておいたほうがいいです。
SEO的なものもありますが、Googleとか思いもよらない非公開場所とかが検索にひっかかることがあったりするので適切に設置しておくことで悲劇も避けつつSEOにも貢献すると。
３．sitemap.xml
これもSEO関連です。
専門家ではないのでどの程度の効果があるかわわかりませんが、自動生成してくれるサービスもあるので突っ込んでおいて損はないと思います。
この辺はあるかないかで検索サイトの順位付けに影響することがあるらしいので。
４．favicon.ico
これもあったほうがお気に入りとかタブに表示されて見やすくなります。
Firefoxなんかは無条件でfavicon.icoを取りにいったりするバージョンもあって、設置してないとログにfavicon.icoでの404エラーがじゃんじゃん増える場合があります。
検索サイトのクローラー対策に寄った内容ではありますけど、実際問題としてあったほうが何かと便利です。
サイトのトップページをつくるときはindex.～だけでなく
.htaccess
robots.txt
sitemap.xml
favicon.ico
もセットで置くようにしましょう。
ブラウザー
