LogWatchで独自のログを収集させるには

2013年5月7日 2017年8月8日

ご利用のブラウザは、JavaScript が無効となっていませんか？
このサイトでは、コンテンツの一部が非表示、あるいは、コメント、お問い合わせの投稿ができない、検索ができないことがあります。

LogWatchを使ってみる ( nginxの設定例 ) や php-fpm のLogWatchの設定を行ってみるでは、LogWatchの設定例をいくつか紹介してきました。
そこでは、元となる設定例があって、それに沿って設定を行ってきました。
今回は、独自のログをLogWatchで収集させるための設定を簡単に解説してみます。

基本的な考え方は、先の記事の例と同じです。
ここでは、必要最小限と情報収集のスクリプトの基本をメインに簡単に解説してみます。

目次
1. LogWatchで独自のログを収集させるには
2. LogWatchで独自のログを収集させてみる（テスト）
履歴

2013年5月7日初版

LogWatchで独自のログを収集させるには

LogWatchで独自のログを収集させるための設定を解説するために、ここでは、以下のようなログ（以降、Exampleログとします）を例として、解説してみます。

[2013-04-24 20:27:19] http://server-setting.info/blog/unixbench-kvm-vps.html xxxxxxxx
[2013-04-24 20:54:10] http://server-setting.info/centos/logwatch-nginx-setting.html yyyyyyy
...

ここでは、ログの例として、上記のようなログファイルがあるとします。
このログ情報は、以下の３つの情報からなります。

+-------日付--------+ +----------------------URL---------------------------+ +-DATA-+
[2013-04-24 20:27:19] http://server-setting.info/blog/unixbench-kvm-vps.html xxxxxxxx

このログファイルは、 /var/log/example.log に保存され、Logrotate で /var/log/example.log.1.gz のように保存されていくものとします。

LogWatchで独自のログを収集させるためには、3つのファイルを作成する必要があります。

/etc/logwatch/conf/services/example-log.conf :

→ Exampleログのスクリプトを定義します
/etc/logwatch/conf/logfiles/example-log.conf :

→ Exampleログのログファイルを定義します
/etc/logwatch/scripts/services/example-log :

→ Exampleログのスクリプトファイルを作成します

以降、3つのファイルについて解説します。

Exampleログのスクリプトファイルを定義します

# LogWatchで出力される際のタイトルを設定します。
Title = Example Log
# ログファイルのグループ名を設定します。
#   この名前で、.../conf/logfiles/example-log.conf が決定します。
LogFile = example-log

Exampleログのログファイルを定義します

# ログファイルのパスを設定します
LogFile = /var/log/example.log
# ログファイルのアーカイブパスを設定します
Archive = /var/log/example.log.*.gz

Exampleログのスクリプトファイルを作成します

#!/usr/bin/perl
 
# Logwatch の dates の使用宣言を行います。
use Logwatch ':dates';
 
# ログファイルに出力される日付フォーマットを指定します。
$sdate = TimeFilter("%Y-%m-%d");
 
# ログファイルを1行づつ読み込み処理します。
while (defined($line = <STDIN>)) {
    # 同じ日付なら、ログ情報を出力します。
    if ($line =~ /^\[$sdate/) {
        print $line;
    }
}

上記のスクリプトは、同じ日付のログ情報を選別して、LogWatchへ出力する単純なスクリプトです。
LogWatchのスクリプトは、通常、perlで記述することが多いです。それは、LogWatchが、perlのためのLogWatch専用モジュールを提供しているからもであります。

ただ、上記のとおり便利ではありますが、perlで記述しなければならないわけではありません。以下は、上記と同じ処理を bash (B-シェル)で記述した例です。

#!/usr/bin/env bash
 
# 1行の分割キーワードを設定します。
OLD_IFS=$IFS
IFS=$'\n'
 
# LogWatchの日付範囲パラメータから、ログ収集する日付情報を編集します。
rm_date=''
 
if [[ "$LOGWATCH_DATE_RANGE" =~ "today" ]]; then
    rm_date=`date '+%Y-%m-%d '`
elif  [[ "$LOGWATCH_DATE_RANGE" =~ "yesterday" ]]; then
    rm_date=`date  --date '1 days ago' '+%Y-%m-%d '`
else
    rm_date=''
fi
 
# ログファイルを1行づつ読み込み処理します。
for LINE in $( cat /dev/stdin ); do
    # 同じ日付なら、ログ情報を出力します。
    if echo $LINE|egrep "^\[$rm_date" &> /dev/null; then
        echo $LINE
    fi
done
# 1行の分割キーワードを元に戻します。
IFS=$OLD_IFS

bash でスクリプトを記述する場合は、以下の環境変数にLogWatchのパラメータ情報が設定されています。

$LOGWATCH_DATE_RANGE : Date Range(日付範囲)
$LOGWATCH_DETAIL_LEVEL : Detail Level(詳細レベル)
$LOGWATCH_TEMP_DIR : Temp Dir(一時ディレクトリ)
$LOGWATCH_DEBUG : Debug Level(デバッグレベル)

LogWatchで独自のログを収集させてみる（テスト）

先に設定した独自ログの収集を、簡単にLogWatchで動作確認してみましょう。

# CentOS Scientific Linux
$ logwatch --print --service example-log --range yesterday

# Debian Ubuntu
$ logwatch --output stdout --service example-log --range yesterday

 ################### Logwatch 7.3.6 (05/19/07) ####################
        Processing Initiated: Thu Apr 25 05:05:09 2013
        Date Range Processed: yesterday
                              ( 2013-Apr-24 )
                              Period is day.
      Detail Level of Output: 0
              Type of Output: unformatted
           Logfiles for Host: db9.rise43.com
  ##################################################################

 --------------------- Example Log Begin ------------------------
 [2013-04-24 20:27:19] http://server-setting.info/blog/unixbench-kvm-vps.html xxxxxxxx
 [2013-04-24 20:54:10] http://server-setting.info/centos/logwatch-nginx-setting.html yyyyyyy
 ---------------------- Example Log End -------------------------


 ###################### Logwatch End #########################

こんな感じで出力されればOKです。
一応、コマンドについて解説しておきます。

$ logwatch --help

Usage: /usr/sbin/logwatch [--detail ] [--logfile ] [--output ]
   [--format ] [--encode ] [--numeric]
   [--mailto ] [--archives] [--range ] [--debug ]
   [--filename ] [--help|--usage] [--version] [--service ]
   [--hostformat ] [--hostlimit ] [--html_wrap ]

--detail : Report Detail Level - High, Med, Low or any #.
--logfile : *Name of a logfile definition to report on.
--logdir : Name of default directory where logs are stored.
# ****  --service : サービス名を指定します。
--service : *Name of a service definition to report on.
# ****  --output : 出力先を指定します。CentOSでは、--print で --output stdout と同じ結果(標準出力先指定)を得ます。
--output : Report Output - stdout [default], mail, file.
--format : Report Format - text [default], html.
--encode : Enconding to use - none [default], base64.
--mailto : Mail report to .
--archives: Use archived log files too.
--filename : Used to specify they filename to save to. --filename  [Forces output to file].
# ****  --range : ログを解析する時間範囲を指定します。デフォルト：昨日です。
--range : Date range: Yesterday, Today, All, Help
                             where help will describe additional options
--numeric: Display addresses numerically rather than symbolically and numerically
           (saves  a  nameserver address-to-name lookup).
--debug : Debug Level - High, Med, Low or any #.
--hostformat: Host Based Report Options - none [default], split, splitmail.
--hostlimit: Limit report to hostname - host1,host2.
--html_wrap : Default is 80.
--version: Displays current version.
--help: This message.
--usage: Same as --help.
* = Switch can be specified multiple times...

とりあえずテストなので、最小限のオプションを指定しています。

ここで設定して例は、非常に基本的な事項のみです。必要に応じて、その他の設定事項も必要になるかと思います。
また、ログ情報収集のスクリプトも一番簡単なもので、日付情報のみを確認しているだけです。これも必要に応じていろんなことができると思います。

本来、ログファイルは、何か異常を検出するための情報です。
その情報をリアルタイムに見ていれば、異常の検知も早く、問題が拡大しない内に対処できると思いますが、複数のサーバーを管理している場合には、全てのサーバーをリアルタイムにウォッチするというわけにもいきません。

そういうとき、
上記のように必要なログ情報を個人で採取し、そのログ情報を1日1回メール配信してくれるLogWatchの処理にはめ込んでおくと、毎日、メールをチェックすることで、大まかなシステムの異常を確認することができるようになると思います。

LogWatch以外にもシステム異常をモニターする Monitを使ってApacheを監視する(1) で記事にした Monitなどもあります。
このような異常検知のシステムを動作させていることがセキュリティの強化につながることは間違いありません。
まずは、導入をおすすめします。

(amazon )	インフラエンジニア教本2――システム管理・構築技術解説 (SoftwareDesign別冊)に寄稿しました。「ログを読む技術」の再掲載になります。 8月号を見逃された方は、是非、ご一読くださいませ。
(amazon )	Software Design 8月号に寄稿しました。「ログを読む技術」について寄稿しました。興味のある方は、是非、ご一読くださいませ。
また、執筆や当サイトにおける広告のご依頼などございましたら、お問い合わせページよりご一報ください。

LogWatchで独自のログを収集させるには

LogWatchで独自のログを収集させるには

Exampleログのスクリプトファイルを定義します

Exampleログのログファイルを定義します

Exampleログのスクリプトファイルを作成します

LogWatchで独自のログを収集させてみる（テスト）

最近投稿の記事

さくらのVPS 全プランリニューアルです。（石狩(北海道)も選択可）

カテゴリ

Serverman@VPS 完全1ヶ月無料キャンペーン実施中です。

リンク

KVM採用 ConoHa VPSは、時間単位で借りれる便利なVPSです。

KVM採用お名前.com VPS(KVM) 2G プラン初期設定費無料キャンペーン実施です。

LogWatchで独自のログを収集させるには

LogWatchで独自のログを収集させるには

Exampleログ のスクリプトファイルを定義します

Exampleログ のログファイルを定義します

Exampleログ のスクリプトファイルを作成します

LogWatchで独自のログを収集させてみる（テスト）

最近投稿の記事

さくらのVPS 全プラン リニューアルです。（石狩(北海道)も選択可）

カテゴリ

Serverman@VPS 完全1ヶ月無料 キャンペーン実施中です。

リンク

KVM採用 ConoHa VPSは、時間単位で借りれる便利なVPSです。

KVM採用 お名前.com VPS(KVM) 2G プラン 初期設定費無料 キャンペーン 実施です。

Exampleログのスクリプトファイルを定義します

Exampleログのログファイルを定義します

Exampleログのスクリプトファイルを作成します

さくらのVPS 全プランリニューアルです。（石狩(北海道)も選択可）

Serverman@VPS 完全1ヶ月無料キャンペーン実施中です。

KVM採用お名前.com VPS(KVM) 2G プラン初期設定費無料キャンペーン実施です。