今回は、「.htaccessで特定のホストからのアクセスを拒否する」の続きです。
ここでの話は、FreeBSDもCentOSも関係なく、apacheの設定です。
一般的に、リダイレクトやアクセス規制(制限や拒否など)を行うときに、.htaccessを使います。
その中でも、今回は、アクセス規制、それもスパムや負荷の高いクローラー(検索ロボット)などのアクセス拒否を行うための設定を紹介します。
| レンタルサーバー・自宅サーバー設定・構築のヒント |
今回は、「.htaccessで特定のホストからのアクセスを拒否する」の続きです。
ここでの話は、FreeBSDもCentOSも関係なく、apacheの設定です。
一般的に、リダイレクトやアクセス規制(制限や拒否など)を行うときに、.htaccessを使います。
その中でも、今回は、アクセス規制、それもスパムや負荷の高いクローラー(検索ロボット)などのアクセス拒否を行うための設定を紹介します。
2010年11月21日 初版
.htaccessで、検索ロボット(クローラー)を拒否するように設定を行ってみましょう。
一般的に検索ロボット(クローラー)を拒否する場合は、robots.txtを用います。
例えば、以下の例は、中国の検索サイト百度を拒否するrobots.txtの設定例です。
|
百度では、3つのユーザエージェント名で検索ロボット(クローラー)が動作しています。
そのため、その3つを指定することで、アクセス禁止することができると百度のサイトには記載があります。
しかし、実際にいろいろと試しみると、なかなか、アクセスをやめてくれません。
そこで、ここでは、,htaccessを使って特定のホスト(ユーザエージェント)からのアクセスを拒否する設定をしてみます。
ここでは、/var/www/html/.htaccessを編集してみます。
|
例えば、上記のように設定すれば、ユーザエージェント名Baidu or baidu という名前を含むアクセスをすべて拒否します。
※ここで注意すべきは、ここでの“[Bb]aidu”指定は、正規表現であり、該当する文字列がヒットした場合は、すべて同一アクセスとみなされる点です。
このチェックにヒットした場合、実際には、HTTPステータスコード 403 が返ります。
attributeには、
HTTP リクエストヘッダフィールド(詳細は、RFC 2616 参照)
Accept
Accept-Charset
Accept-Encoding
Accept-Language
Authorization
Expect
From
Host
If-Match
If-Modified-Since
If-None-Match
If-Range
If-Unmodified-Since
Max-Forwards
Proxy-Authorization
Range
Referer
TE
User-Agent
か、もしくは、以下の項目を設定できます。
Remote_Host
– リクエストを行なっているクライアントのホスト名 (もしあれば)
Remote_Addr
– リクエストを行なっているクライアントの IP アドレス
Server_Addr
– リクエストを受け取ったサーバの IP アドレス (2.0.43 以降のみ)
Request_Method
– 使用されているメソッド名 (GET, POST など)
Request_Protocol
– リクエストが行なわれたプロトコルの名前とバージョン (例えば、”HTTP/0.9″, “HTTP/1.1” など。)
Request_URI
– URL のスキームとホストの後の部分。 追加の情報として、クエリーストリングにマッチさせる場合については RewriteCond ディレクティブを参照してください。
regexには、
attribute で指定した情報をテストするための正規表現可能な文字列を指定することができます。
env-valueには、
先のattribute regex のテスト結果が真(true)の場合、env-value で指定した環境変数に値が設定されます。
特に何か特別な値などを設定したい場合は、
|
のように=を使って代入することもできます。
(amazon ) |
インフラエンジニア教本2――システム管理・構築技術解説 (SoftwareDesign別冊)に寄稿しました。
「ログを読む技術」の再掲載になります。
8月号を見逃された方は、是非、ご一読くださいませ。 |
(amazon ) |
Software Design 8月号に寄稿しました。
「ログを読む技術」について寄稿しました。
興味のある方は、是非、ご一読くださいませ。 |
また、執筆 や 当サイトにおける広告 のご依頼などございましたら、お問い合わせページより ご一報ください。 |
Copyright © 2009 - 2024 レンタルサーバー・自宅サーバー設定・構築のヒント
コメントを投稿 :