寝不足にて候（仮）

アンケートの自由回答データ入手できたので、業者にテキストマイニングを依頼。
数社の見積もりを取ったところ、簡易レポートつきで30万～50万くらい。
某電々系SIerに発注したところ、PPTのテンプレートだけがcoolなショボい納品物に眩暈がしたので、オープンソースなテキストマイニングツールを探してみた。

KH Coder

KH Coderとは、内容分析（計量テキスト分析）もしくはテキストマイニングのためのフリーソフトウェアです。新聞記事、質問紙調査における自由回答項目、インタビュー記録など、社会調査によって得られる様々な日本語テキスト型データを計量的に分析するために製作されました。

Windows版では、その他の必須ソフトウェア（ChaSen + MySQL + Perl + 各種Perlモジュール）はKH Coderの配布パッケージに同梱されています。また、これらの必須ソフトウェアの設定はKH Coderが自動的に行います。

なんか良さげなので、会社でインストール申請出す前に自宅でテスト。

とりあえずWindows版のバイナリで、このサイトの検索キーワードをマイニングしてみた。
元ネタは、Google Analyticsから。2,664種類のフレーズを.csvで入手。

[起動して]

[ファイルを読み込んで]

[前処理を実行]

[処理完了]

すると
[品詞別の出現回数]

[KWIC（keyword in context）]

[連関規則]

といったデータが簡単に解析できます。
その他にも、外部変数として読み込んだデータとのクロス集計やワードの出現回数分布、コロケーション（共起）統計もできちゃう。さらにExcel上で整形・グラフ化するためのマクロ付き。

外注すると30万の納品物があっという間にお手元に。

今回の様に検索キーワード解析だと、CVRの良いワードと相関の高いSEM入札/SEO用ワードを探したり...といった作業も楽に行えると思われ。

Perlのソースも配布されていることですし、コレでwebサービスしたら便利だと思うなぁ。

Dom0からしか時刻を更新できないというXenの仕様で、ずっと嵌りっぱなし。
今日もタイムゾーンはCDTのまま。

パラメタの変更が必要らしいですが。

# echo 1 >/proc/sys/xen/independent_wallclock

vi /etc/sysctl.conf

xen.independent_wallclock = 1

/usr/sbin/timeconfig

cp /usr/share/zoneinfo/Asia/Tokyo /etc/localtime

# date

Sat Aug 16 15:00:03 CDT 2008

何故でしょう。

Apache2.0.41 以降には、ディスクに書き出す前にメモリにログエントリをバッファするBufferedLogs ディレクティブが用意されています。

httpd.conf に　BufferedLogs On　って書いてrestartするだけ。

このディレクティブは実験的なものですので、 使用する際は注意してください。

ということですが、設定して ab（Apache Bench）で前後比較してみたところ、14～15%ほど早くなったので採用。
ファイル数多めなページだと、もうちょい効くのかも。

「どうせ、Google Analyticsで見るんだから、ログ取るの止めればいいじゃん。」という意見もありますが、生ログは取っておかないと何かとアレでしょ。ヲタクとして。