C5 C6 D6 S6 U10 U12

nginx でリバースプロキシ、FastCGIキャッシュのキャッシュを削除する方法をまとめて解説してみた

2013年3月1日 2014年2月3日

ご利用のブラウザは、JavaScript が無効となっていませんか？
このサイトでは、コンテンツの一部が非表示、あるいは、コメント、お問い合わせの投稿ができない、検索ができないことがあります。

nginx でリバースプロキシのキャッシュを削除する方法は、一応、色々な方法があります。

以前に上記の記事の中でも一部に削除方法について書いています。
今回は、散在している内容をまとめて、ちょっと、掘り下げて簡単に解説してみます。

Nginx リバースプロキシキャッシュの設定については、以下の記事を参照ください。

Nginx をリバースプロキシ(キャッシュ) として使ってみた

Nginx FCGIキャッシュの設定については、以下の記事を参照ください。

Nginx のFastCGIキャッシュ(fastcgi cache )を使ってみた

目次
1. nginx でキャッシュを削除する方法(まとめ)
2. ついでに削除する phpスクリプトを作ってみた(おまけ)
履歴

2014年2月3日 FastCGIキャッシュの削除方法も追記

2013年3月1日初版

nginx でキャッシュを削除する方法(まとめ)

先のとおりキャッシュを削除する方法は、いろいろあります。それぞれについて簡単に解説してみます。

時間経過による自動削除を待つ

これは、削除するというより、何もしないだけです。例えば、nginxのプロキシ設定(nginx.conf)が以下のような設定となっていた場合、

リバースプロキシキャッシュの場合

...
proxy_cache_path      /var/cache/nginx/example.com levels=1:2 keys_zone=cache_example.com:15m inactive=1h max_size=1000m;
...
proxy_cache_valid     200 2h;
...

上記のproxy_cache_pathディレクティブのinactiveパラメータは、指定された時間の間要求がない場合は、キャッシュから削除されます。
そのため、ここでは、1h（1時間）間、だれからもアクセスされなかったら、そのページはキャッシュから削除されます。
また、proxy_cache_validディレクティブは、HTTPステータスコード毎にキャッシュ時間を設定します。
ここでの設定では、HTTPステータスコードが200(正常)の場合は、最大2h（2時間）でキャッシュを解放（削除）します。

上記の設定では、早くて1時間、長くて2時間後には、キャッシュから削除されます。

FastCGI キャッシュの場合

...
fastcgi_cache_path     /var/cache/nginx/example.com levels=1:2 keys_zone=cache_example.com:15m inactive=1h max_size=1000m;
...
fastcgi_cache_valid    200 2h;
...

基本ディレクティブ名が proxy_cache_path → fastcgi_cache_path のように変化するだけです。
設定するパラメータも同じのため、上記のリバースプロキシキャッシュの場合を参照してください。

キャッシュディレクトリの配下の全ファイルを丸ごと削除する

これは、非常に簡単なやり方で、例えば、nginxのプロキシ設定(nginx.conf)が以下のような設定となっていた場合、

リバースプロキシキャッシュの場合

...
proxy_cache_path      /var/cache/nginx/example.com levels=1:2 keys_zone=cache_example.com:15m inactive=1h max_size=1000m;
...

キャッシュゾーン名: cache_example.com は、キャッシュディレクトリとして、/var/cache/nginx/example.com を使用します。
このディレクトリを削除してしまえばよいわけです。

$ rm -fR /var/cache/nginx/example.com

これで一発で削除できるというわけです。
ただ、これは、サイト全体のキャッシュを削除してしまうのには、非常に便利ですが、例えば、１つのページのみが更新された場合などは、サイト全体のキャッシュを削除する必要はないわけで、毎回、１つ、２つのページの更新のためにサイト全体のキャッシュを削除していては無駄も多いですし、負荷もかかりやすくなってしまうというデメリットもあります。

FastCGI キャッシュの場合

...
fastcgi_cache_path     /var/cache/nginx/example.com levels=1:2 keys_zone=cache_example.com:15m inactive=1h max_size=1000m;
...

nginx cache purge モジュールを組み込んでウェブからキャッシュファイルを削除する

→ Nginxのproxyでキャッシュを削除する方法にて詳しく解説していますので、そちらを参照してください。

このやり方は、確かにページ毎のキャッシュを削除してくれるという点では、非常にありがたいのですが、nginxも結構頻繁に更新がかかりますから、その都度、nginx cache purge モジュールを組み込むために自前でビルド（make）作業が必要なのがデメリットです。

キャッシュファイルを検索して、該当するキャッシュファイルを削除する

これは、Unix系(Linuxも含む)OSでは、非常に便利、簡単なやり方です。
先のキャッシュディレクトリの一括削除と同じ以下の例で解説しています。

例えば、nginxのプロキシ設定(nginx.conf)が以下のような設定となっていた場合、

リバースプロキシキャッシュの場合

...
proxy_cache_path      /var/cache/nginx/example.com levels=1:2 keys_zone=cache_example.com:15m inactive=1h max_size=1000m;
...
# backend
upstream example.com.backend {
    ip_hash;
    server 127.0.0.1:8080;
}
...
server {
    listen 80;
    server_name example.com;
    ...
    location / {
        proxy_pass      $scheme://example.com.backend;
        proxy_cache_key $scheme://$host$request_uri;
        proxy_cache     cache_example.com;
    }
    ...
}

キャッシュゾーン名: cache_example.com は、キャッシュディレクトリとして、/var/cache/nginx/example.com を使用します。
このディレクトリからキャッシュを削除したいURL情報をもとにキャッシュファイルを検索し、削除してしまいます。

$ find /var/cache/nginx/example.com -type f -exec grep -l "KEY: http://example.com/$" {} \; | xargs rm -f

これは、キャッシュファイルの中にKEY情報が埋め込まれていることを利用して該当するキャッシュファイルをディレクトリから検索をかけて、キャッシュファイルがあれば削除するということを1行で行っています。

先のキャッシュファイルに埋め込まれるKEY情報は、nginxの設定ファイル(nginx.conf)のproxy_cache_keyディレクティブで設定されている情報が、‘KEY: ‘ を先頭に付加してそのまま設定されます。

FastCGI キャッシュの場合

...
fastcgi_cache_path      /var/cache/nginx/example.com levels=1:2 keys_zone=cache_example.com:15m inactive=1h max_size=1000m;
...
# backend
upstream example.com.backend {
    ip_hash;
    server 127.0.0.1:8080;
}
...
server {
    listen 80;
    server_name example.com;
    ...
    location / {
        fastcgi_pass      $scheme://example.com.backend;
        fastcgi_cache_key $scheme://$host$request_uri;
        fastcgi_cache     cache_example.com;
    }
    ...
}

キャッシュファイル名を求めて、該当するキャッシュファイルを削除する

上記と異なり、キャッシュファイルを検索せずにキャッシュファイルをURLから求めることもできます。
以下は、その例です。

$ echo -n "http://example.com/"  | md5sum | awk '{print "/var/cache/nginx/example.com/"substr($1,length($1),1)"/"substr($1,length($1)-2,2)"/"$1}' | xargs rm -f

このやり方は、nginxのキャッシュファイルの命名方法を利用したものです。
nginxは、キャッシュファイルの命名方法、格納ディレクトリの指定を以下の手順で行っています。

キャッシュ対象のURLをMD5でハッシュ変換し、ファイル名とする

シェルであれば、以下のようなイメージです。
$ echo -n "http://example.com/" | md5sum a6bf1757fff057f266b697df9cf176fd -
ここで有効な情報は、 – の手前までです。

nginx.confのproxy_cache_path (or fastcgi_cache_path) で設定しているlevelsパラメータからディレクトリを決定する

上記のnginx.confの設定例では、levels=1:2 となっています。

リバースプロキシキャッシュの場合

...
proxy_cache_path      /var/cache/nginx/example.com levels=1:2 keys_zone=cache_example.com:15m inactive=1h max_size=1000m;
...

FastCGI キャッシュの場合

...
fastcgi_cache_path    /var/cache/nginx/example.com levels=1:2 keys_zone=cache_example.com:15m inactive=1h max_size=1000m;
...

この意味は、
ディレクトリの1階層目は、先のURLをハッシュ値へ変換した末尾から1文字を使用します。
ディレクトリの2階層目は、先のURLをハッシュ値へ変換した末尾+1から2文字を使用します。

つまり、上記の http://example.com/ のハッシュ値を例に解説すると、6f , d がそれぞれのディレクトリ階層になります。

a6bf1757fff057f266b697df9cf176fd

シェルであれば、以下のようなイメージです。

$ echo -n "http://example.com/"  | md5sum | awk '{print "level1:"substr($1,length($1),1)" level2:"substr($1,length($1)-2,2)}'
level1:d level2:6f

nginx.confのproxy_cache_path (or fastcgi_cache_path) で設定しているキャッシュディレクトリと上記のキャッシュディレクトリ、キャッシュファイル名を結合する

最後は、上記で求めたディレクトリ名、ファイル名とnginx.confのproxy_cache_path (or fastcgi_cache_path) で設定しているキャッシュディレクトリとを結合してキャッシュファイルのフルパスとします。

これは、シェルでは以下のようにできます。

$ echo -n "http://example.com/"  | md5sum | awk '{print "/var/cache/nginx/example.com/"substr($1,length($1),1)"/"substr($1,length($1)-2,2)"/"$1}'
/var/cache/nginx/example.com/d/6f/a6bf1757fff057f266b697df9cf176fd

最初に紹介したコマンドイメージの最後の | xargs rm -f を除いたイメージです。

ついでに削除する phpスクリプトを作ってみた(おまけ)

個々のページ毎のキャッシュファイルを削除する方法をphpコードで書くと、以下のようになります。

<?php
 
if($argc>=4){
	//	chek of parameters
	$params = array(
		'-c' => array( 'pattern' => '/-c=([^\s]*)/i', 'required' => true ,'valindex' => 1 ),
		'-l' => array( 'pattern' => '/-l=([^\s]*)/i', 'required' => true ,'valindex' => 1),
		'-u' => array( 'pattern' => '/-u=([^\s]*)/i', 'required' => true ,'valindex' => 1),
		'-d' => array( 'pattern' => '/-d/i' , 'required' => false ,'valindex' => 0),
	);
	for($ni=1;$ni<$argc;$ni++){
		foreach($params as $pkey => $param){
			$output = array();
			if(preg_match ( $param['pattern'], $argv[$ni],$output)){
				$params[$pkey]['val'] = $output[$param['valindex']];
				break;
			}
		}
	}
	foreach($params as $pkey => $param){
		if($param['required'] && empty($param['val'])){
			echo 'error : do not input "'.$pkey.'" paramater.'."\n";
			return;
		}
	}
 
	//	set of parameters
	$cach_path = $params['-c']['val'];
	$file_key  = md5($params['-u']['val']);
	$level_keys= preg_split("/:/", $params['-l']['val']);
	$debug = !empty($params['-d']['val']);
 
	if(substr($cach_path,-1,1)==DIRECTORY_SEPARATOR){
		$cach_file = substr($cach_path,0,-1);
	} else {
		$cach_file = $cach_path;
	}
	$offset = 0;
	foreach($level_keys as $level){
		$ilevel = intval($level);
		$offset -= $ilevel;
		$cach_file .=  DIRECTORY_SEPARATOR.substr($file_key,$offset,$ilevel);
	}
 
	//	create cache file name.
	$success = false;
	$cach_file .=  DIRECTORY_SEPARATOR.$file_key;
	$cach_file_exist =  file_exists($cach_file);
	if($cach_file_exist){
		$file_content = file_get_contents($cach_file);
		$output = array();
		if(preg_match('/KEY\s*:\s*([^\n]*)/i', $file_content,$output)){
			if(strcasecmp($output[1],$params['-u']['val'])==0){
				//	sure file, remove the cache
				if(!$debug) {
					$success = unlink($cach_file);
				} else {
					$success = true;
 
				}
			}
		}
	}
	if($success) {
		echo 'Removed:'.$cach_file."\n";
	} else {
		echo 'Can not removed'.($cach_file_exist ? '(Error):':'(not Found):').$cach_file."\n";
	}
 
	if($debug) {
		// debug informations.
		echo "parameters:\n";
		foreach($params as $pkey => $param){
			echo '  "'.$pkey.'":'.$param['val']."\n";
		}
		echo "Cach file:".$cach_file."\n";
		echo "Cach file exist ? ".print_r($cach_file_exist,true)."\n";
	}
 
} else {
	//	show usage
	echo 'Usage : php '.basename(__FILE__).' -c=%cache path% -l=%level% -u=%url% [-d]'."\n";
	echo ' ex.) '."\n";
	echo '   php '.basename(__FILE__).' -c=/var/cache/nginx -l=1:2 -u=http://example.com/sample.html'."\n";
	echo '   "-d" options is debug mode. debug mode will not remove cache file.'."\n";
}
 
?>

ちょっと長くなりましたが、これってコマンドラインで、キャッシュディレクトリ、URL、LEVELSを指定すると自動的に削除してくれるというもので、パラメータのチェックや使い方、デバッグ情報の出力のために長くなっていますが、やっていることは、上記のMD5でファイルパスを作って、一応、念のためにキャッシュファイルの中のKEY情報 と比較して一致したら削除しています。

上記の exmaple.com の例をこのphpスクリプトで実行すると以下のようになります。
ここでは、このphpスクリプトのファイル名を rm_cache.php としています。

$ php rm_cache.php -c=/var/cache/nginx/example.com -l=1:2 -u=http://example.com/
Removed:/var/cache/nginx/example.com/d/6f/a6bf1757fff057f266b697df9cf176fd

いかがだったでしょうか？
最後のキャッシュファイルを検索して、該当するキャッシュファイルを削除する方法では、２つのやり方を簡単に解説してみました。
いずれでも良いとは思いますが、やっぱり、後者が理に適っていると思います。

これをうまく利用すれば、nginx cache purge モジュールを組み込む必要もなくなりますから、CentOS,Scientific Linux,Debian,Ubuntuでは、 nginxから最新版のバイナリで常に更新できるようになります。もし、nginx cache purge モジュールを組み込んでおられる方には、おすすめな方法だと思います。

2 件コメントがあります。コメントを投稿する

nginx愛好家
2014年1月22日, 5:15 PM

キャッシュディレクトリの中を削除してもメモリに残ったキャッシュは消えないので、期待通りの効果は得られませんよ。
管理人
2014年1月22日, 11:17 PM

nginx愛好家さん
コメントありがとうございます、管理人です。
おっしゃってるのは、HttpMemcachedModuleを使っている場合の話？それとも？？
ちょっと正確なところがよく理解できていません、すみません。
どういう時にメモリに残る？のか、理解できていない情けない私に、もう少し具体的にご教示いただけませんでしょうか？
よろしくお願い申し上げます。

単純にディスクキャッシュだけを使っている場合、キャッシュファイルを削除すれば、概ね動く？というより、現状、このサイトは、(FCGICacheですが)期待どおりの動作をしています。メモリが厳しい1GBのさくらなので、メモリキャッシュが使える状態でないことも確か？なのですが、キャッシュされている時は、それなりの動作なので、それなりに満足しています。一応、ご参考までに。

コメントを投稿 :

(amazon )	インフラエンジニア教本2――システム管理・構築技術解説 (SoftwareDesign別冊)に寄稿しました。「ログを読む技術」の再掲載になります。 8月号を見逃された方は、是非、ご一読くださいませ。
(amazon )	Software Design 8月号に寄稿しました。「ログを読む技術」について寄稿しました。興味のある方は、是非、ご一読くださいませ。
また、執筆や当サイトにおける広告のご依頼などございましたら、お問い合わせページよりご一報ください。

nginx でリバースプロキシ、FastCGIキャッシュのキャッシュを削除する方法をまとめて解説してみた

nginx でキャッシュを削除する方法(まとめ)

時間経過による自動削除を待つ

リバースプロキシキャッシュの場合

FastCGI キャッシュの場合

キャッシュディレクトリの配下の全ファイルを丸ごと削除する

リバースプロキシキャッシュの場合

FastCGI キャッシュの場合

nginx cache purge モジュールを組み込んでウェブからキャッシュファイルを削除する

キャッシュファイルを検索して、該当するキャッシュファイルを削除する

リバースプロキシキャッシュの場合

FastCGI キャッシュの場合

キャッシュファイル名を求めて、該当するキャッシュファイルを削除する

ついでに削除する phpスクリプトを作ってみた(おまけ)

最近投稿の記事

さくらのVPS 全プランリニューアルです。（石狩(北海道)も選択可）

カテゴリ

Serverman@VPS 完全1ヶ月無料キャンペーン実施中です。

リンク

KVM採用 ConoHa VPSは、時間単位で借りれる便利なVPSです。

KVM採用お名前.com VPS(KVM) 2G プラン初期設定費無料キャンペーン実施です。

nginx でリバースプロキシ、FastCGIキャッシュのキャッシュを削除する方法をまとめて解説してみた

nginx でキャッシュを削除する方法(まとめ)

時間経過による自動削除を待つ

リバースプロキシ キャッシュ の場合

FastCGI キャッシュ の場合

キャッシュディレクトリの配下の全ファイルを丸ごと削除する

リバースプロキシ キャッシュ の場合

FastCGI キャッシュ の場合

nginx cache purge モジュールを組み込んでウェブからキャッシュファイルを削除する

キャッシュファイルを検索して、該当するキャッシュファイルを削除する

リバースプロキシ キャッシュ の場合

FastCGI キャッシュ の場合

キャッシュファイル名を求めて、該当するキャッシュファイルを削除する

ついでに削除する phpスクリプトを作ってみた(おまけ)

最近投稿の記事

さくらのVPS 全プラン リニューアルです。（石狩(北海道)も選択可）

カテゴリ

Serverman@VPS 完全1ヶ月無料 キャンペーン実施中です。

リンク

KVM採用 ConoHa VPSは、時間単位で借りれる便利なVPSです。

KVM採用 お名前.com VPS(KVM) 2G プラン 初期設定費無料 キャンペーン 実施です。

リバースプロキシキャッシュの場合

FastCGI キャッシュの場合

リバースプロキシキャッシュの場合

FastCGI キャッシュの場合

リバースプロキシキャッシュの場合

FastCGI キャッシュの場合

さくらのVPS 全プランリニューアルです。（石狩(北海道)も選択可）

Serverman@VPS 完全1ヶ月無料キャンペーン実施中です。

KVM採用お名前.com VPS(KVM) 2G プラン初期設定費無料キャンペーン実施です。