雑多なインフラエンジニア日記

技術ブログでっす~

Linux vmstatで時刻を表示

トラブル時や性能試験時に、リアルタイムでサーバリソースを見るときに、 vmstat を使うことが多いのですが、リソース情報と一緒に時刻も表示させ る方法をメモ。 ・コマンド vmstat -a 1 | perl -MPOSIX -pe 'BEGIN{$|=1} print strftime q{%Y/%m/%d %H:%M:…

munin AmazonLinuxにインストール

munin2.0.1をAmazonLinuxにインストールしたのでメモ。 (Apacheインストール&muninユーザ、グループは事前に作成している前提) munin本体 1. muninのtarballをゲット ・配布元 http://sourceforge.net/projects/munin/files/stable/ 2. yum で muninに必要…

munin インストール後にエラー

システム移行に伴い、新サーバにmunin を久々にソースからインストール したんですが、謎のエラーが出て、データ取得もhtml更新もされずに、鬼 はまったのでメモ。 ・muninインストール http://xoxo-infra.hatenablog.com/entry/2013/03/29/022728 muninイン…

RDSをNagiosで監視する

RDS

RDSへの通信は、3306ポートしか開いておらず、一般的なリソース監視がそのまま 持ち込めません。 プラグイン作っている暇はないので、以下を配置し完了! https://github.com/j3tm0t0/check_cloudwatch CPU使用率(Max/Min/Avg)、メモリ使用量、ディスク容量…

RDSの general_log を truncateする方法

RDS

general_log を truncate (正確にはrename&drop)するのに困ったのでメモ。 slow_log、general_log をAPIから参照でき、自動ローテートまでされる(ただし24h 分しか保持されない)ようになりましたが、途中でこれらのログ出力を無効にすると、 ローテートも止…

AWS RDSログ監視

RDS

2013/03/04に発表があった通り、RDSのログがAPI経由で見れるようになりました。 http://aws.typepad.com/aws_japan/2013/03/amazon-rds-access-to-logs.html 従来では、エラーログ、スロークエリログ、ジェネラルログは一旦テーブルに 吐き出し、テーブルに…

ELB オートスケール設定

ELB

ELBには、サーバ負荷やELB負荷をトリガーとして、ELB配下にぶら下がるEC2 インスタンスを増減できます。 これを AutoScaling と呼びます。 通常はCloudWatch+SNSで、AutoScalingさせるのがカッコいいやり方ですが、 本稿ではAutoScalingの基本動作を理解する…

Squidの疎通確認

今までは、telnet SquidサーバのIP 3128 で接続出来ればOKとしてましたが、 もっとカッコいい確認方法があったので、メモ。 ・変数設定 $ export http_proxy=http://SquidサーバのIP:3128/ $ export use_proxy=on ・wgetでSquidを通っているか確認 $ wget -S…

RDSのパラメーター変更

RDS

一般的にRDS(MySQL5.1系)起動後に設定変更をしたほうが良いパラメーターは 以下になるかと思います。(あくまで一般論) character_set_client utf8 character_set_connection utf8 character_set_database utf8 character_set_filesystem utf8 character_set_…

RDSのパラメーター初期値

RDS

RDSのパラメーターを丸っとコピペしておきます。 MySQL5.1.63 の show variables の結果となります。 auto_increment_increment 1 auto_increment_offset 1 autocommit ON automatic_sp_privileges ON back_log 50 basedir /rdsdbbin/mysql-5.1.63.R1/ big_t…

s3cmdで5GB以上のファイルをS3にアップロードする方法

S3

以前に、s3cmdについて記事を投稿しましたが、どうやら 1.1.0-beta2 以上が 良さげです。 http://xoxo-infra.hatenablog.com/entry/2013/02/06/020930 ・リリース情報 http://s3tools.org/s3cmd-110b2-released 以前のバージョンだと、アップロード可能なフ…

AWS 構成図用アイコン

etc

オンプレ脳な状態で、いきなりAWSの設計をやるときに悶絶するのが、 構成図を書くこと。。 頭や手書きでは上手く纏まっていても、概念が普通のインフラと違い 過ぎて、ドキュメントに落とすのにかなり戸惑いました。 全体構成、EC2のサブネットやルーティン…

route53コマンドの結果をIPアドレスでsort

route53コマンドから、EC2インスタンスのIPアドレス一覧を取得して、 IPアドレスでsortするのに困ったので、メモ。 (AWSというか、Linuxの話ですね。。) sort -n でいけると思ったのですが、10.0.0.10 が先頭に表示されてしまいます。 (以下、ドメインIDは r…

PIOPSについて

EC2または、RDSのPIOPSに指定できる値について。 PIOPSは、あくまで高速化というより、一定のIOPS値を保証する と言った意味合いになります。 ベンチマークを取ると解るのですが、使わないほうがIOPS値が 高い場合があります。 ※RDSとEC2では上限値が異なり…

EC2料金比較表

EC2

EC2の料金一覧 パッと見れる料金一覧ってAWSは提示していない&ドル/時間で書いて あるから、結局、月にいくら掛かるのかわかりづらいですよね。。 料金改定あるし。 すんごいざっくりした覚え方は、 m1.small は 6000円/月 1つずつタイプを上げるごとに倍に…

EBSのPIOPSは使えるAZが決まっている件

EBS

PIOPS(プロビジョンIOPS)は、1アカウントにつき、2ゾーンまでしか使用 できないので要注意です! 東京リージョンは、3つのゾーン(1a/1b/1c)が存在しますが、そのうちどれか2つ のゾーンでしか、PIOPSを使用することが出来ません。 どのゾーンが使えるのかは…

MySQL innotop (リアルタイムにMySQLを確認)

MySQL使うなら必須!超絶便利な「innotop」 innotopとは、、、、 簡単に言うと、MySQL用 topコマンドです。(innodbのみ対応) クエリ実行状況、スレーブ状況、buufer pool・・・諸々リアルタイムに確認 出来ちゃいます。 show processlist とか打つのめんどい…

Route53 プライベートIPアドレスを登録

表題の件ですが、さっくりできます。 ただし、Route53に登録するということは、全世界から参照できてしまう ということを忘れずに! # というものの、プライベートIPなので外部から接続は出来ないはずです。 # 内部でDNS立てるか、hostsで運用するか、Route5…

EC2へpoderosaからログイン

EC2

概要 EC2は鍵認証でのSSHログインが必須となります。 AWS Magement Consoleから作成/ダウンロードした key pairs(秘密鍵。xxxx.pem) は、変換しないとpoderosaでは使えませんよというお話です。 OpenSSHの鍵ファイルは変換しないと使えません。 知らないと人…

AWSの環境変数について(CLI)

AWSをコマンドで操作する上で、設定したほうが良いと思われる環境変数 をご紹介します。 とりあえず、AWSのコマンドは全般的にオプションが長い! です。 結構な割合で、認証系オプションは必須だと思っています。 毎回打つのはちょっと辛いし、見難いし、hi…

VPCのプライベートサブネットとパブリックサブネットの違い

AWS関連資料を見ていると、VPC内部でのプライベートサブネット、パブリック サブネットが区分けされている構成図をよく見かける。 ・こんな感じの構成図のことを言ってます。 http://3.bp.blogspot.com/-SZ0M4g2YuVE/T9sk5ZgkYgI/AAAAAAAAF8g/ZEObU3GxEGY/s1…

s3cmd で WARNING: Upload failed が出てファイルがアップできない件

S3

AWSには「S3」という便利なサービスが御座います。 まずは、S3の概要を書きます。 どんなものか超絶簡単に言うと、DropBoxやGoogleDriveが超進化 した感じです。 資料 (これを見れば大体わかります) http://www.slideshare.net/AmazonWebServicesJapan/20120…

内部ELBの負荷分散 (Internal ELB)

ELB

自分用にメモ。 複数台あるMySQLスレーブサーバへの参照クエリの負荷分散は LVS(keepalived+ipvsadm)、HAproxy、またはアプライアンス製品 (BIG-IP/A10/Zeus)などで、構成するのが一般的かと思います。 AWSには言わずと知れたロードバランサー「ELB」があり…

facebookexternalhit/1.1 (facebookのクローラーが大量に来る件)

昨年の5月頃からwebサーバのロードアベレージ閾値超えアラートが大量に 飛んでくるようになりました。その数値が尋常ではない。。 (ロードアベレージ 1分間統計で、300~800) 月1ペースが11月頃には2日に1回のペースになっていき、ひどい時は1日で 数十件…

Apache リバースプロキシモジュールの追加手順

Apacheのリバースプロキシモジュール追加手順メモです。Apache2.2.22をソースインストールしていることが前提となります。(CentOS5.5 / Apache2.2.22) 1. まずはソースファイルを展開したディレクトリに移動。(modules/proxyに対象のソースがある) cd /hom…

さくらVPS 突如SSH接続が出来なくなる件

諸事情により、さくらVPSを数百台契約しているのですが、ある日突然、 某クラウドで動かしている特定のサーバ(サーバ#1)から、さくらVPS全台 へのSSH(22番ポート) に接続できなくなる事象が発生。 またいつもの " 勝手なメンテナンス/障害 " かと思い、半日…

ブログ、始めました

インフラエンジニアとして11年間働いて来ましたが、いい加減溜まりに溜まったknowledgeを書き留める為、ブログ始めました。主にLinux、各種オープンソースのインストール手順/初期設定を書きつつ、ハマリ事例/チューニング周りまでを書いていく予定です。あ…