HP ProLiant G7 ML110 騒音その2

ここんところ涼しくて騒音対策を忘れそうになりますが…
検索とかで間違えて来てしまった方、最初に謝っておきます。すみません。手抜です。

一番うるさいのは背面ファン（Fan1）。一方CPUファン（Fan7）は20W Xeonの効果あってかフルロードでも全然上がりません。うるさい子は内側に、ってことでこの2つを交換。前面ファン（Fan8）は拡張カードが無ければゆるゆるです。
交換と言っても物理的にはそのままで、コネクタを入れ替えるだけ。CPUファンのケーブルを元々背面ファンの刺さってたコネクタへ。これは届きます。背面ファンのケーブルはCPUファンのコネクタへ。これは届かないので、延長ケーブルを作ります。20cm程度伸ばせばOK。
コネクタは2mmピッチ、2x3の6ピンヘッダ。普通の2.45mmピッチでは無いので注意。この手の物は大抵秋葉原の千石電商で揃います。一個30円のヘッダと圧着端子を5ピン分、ピンヘッダオスを購入。将来ファンコントローラー作ると思うので余分に。

ケーブルは4本。GNDのループバックがあるのでコネクタ側は5ピンになります。ファン側はオスのヘッダにハンダ付け。ホットボンドで固めて絶縁テープ巻いてできあがり。ケーブルがばらつかない程度に熱収縮チューブも一応装備。

写真まで撮っておいてなんですが、冗談ですm(__)m。のつもりでした。
ところが意外と効きます。風切りの高い音がケース内になるので気持ち静か。ファンコントローラー作るまでのその場しのぎとして利用中。CPUが標準の60Wぐらいだと負荷かけたときに逆にうるさくなるかも知れませんが…

後はファンコントローラーをいつ作るか…か。

HP ProLiant G7 ML110 の騒音

気温が上がってきて、G7が一気にやかましくなりました。現在iLOの読みで26℃。Fan1（背面のファン）が54%となってます・・・ってこれで半分かよ（笑）
真夏になればたぶん常時100％？ひえ～

まぁ、サーバーらしい音です。最近のオフィス設置向けサーバーと違い、ストレートにファンの風切り音が出てきます。サーバールームに置くには静かな方かと。
最近のオフィス設置向けサーバーは遮音材とか空気の流れとかえらい苦労して設計してて、それでも昨今の節電のあおりで（エアコンの運転時間とか）あっちゃこっちゃでトラブルに見舞われてるとか。廉価サーバーのML110に静音を求めるのは間違いではあります。

でも一緒の部屋にはいたくない感じです。
どこかに持って行くにも、人が入らない部屋があるようなゆとり生活してないので、それこそトイレにでも設置しようとか、なぜか内側に換気扇がある我が家の納戸に押し込もうとか色々思案しましたが、どうもしっくりきません。

かなり余裕を持たせた設定らしく、CPUはアイドルでHDDも止まった状態でも、環境温度がある温度になるといきなり高速回転する設定みたいです。サーバーの設定としては通常営業なのでしょうが、仕事で使わないなら少しマージン削っても良いかな？

追記

OpenIndiana 設定メモ

ntpクライアントの設定。

NTPサーバーMFEED

# vi /etc/inet/ntp.conf
server  ntp.jst.mfeed.ad.jp　とか

# svcadm enable ntp
# svcs ntp
STATE          STIME    FMRI
online         18:55:14 svc:/network/ntp:default

ユーザをsuさせたい。

usermod -R root daresore

ドライブ情報を見る。

# iostat -En

vncを有効にする。151a8デスクトップ版ではインストール済みなので設定だけ。

# vi /etc/gdm/custom.conf

[security]
DisallowTCP=false

[xdmcp]
Enable=true
保存。

# svcadm enable xvnc-inetd
# svcadm restart gdm

# svcs
オンラインになってることを確認。

これで一応つながります。
しかしこのままだと、vncクライアントを終了させるとログインセッション以下、全部終了されてしまうので、少し不便です。

# svccfg -s xvnc-inetd
svc:/application/x11/xvnc-inetd> editprop
viが立ち上がるので、以下を編集、保存。
setprop inetd/wait = boolean: true

svc:/application/x11/xvnc-inetd> exit
# svcadm restart xvnc-inetd

これでvncクライアントを閉じてもログインセッションは生き続けます。ただし、立ち上げっぱなしだとパスワード無しでいきなりつながるので、セキュリティ上は大問題でしょう。なにか設定はあると思いますが、今のところこのまま。

HP ProLiant G7 ML110 ESXi導入

さて、とりあえずOI151a入れて低消費電力サーバーとしてひとまず安定してるこのサーバーですが、これだけ素性が良いとやっぱり欲が出てきます。FPGAのコンパイル任せたりとか、あれやこれや・・・そうなるとWindows系とLinux系の環境が欲しくなります。仮想環境？
でもzfsをストレージとして使いたいのでSolaris系は残したい。VirtualBoxも考えましたが、やはりここはハイパーバイザー、VMware ESXiでしょう！。何しろハイパーだし（笑）Solaris系の仮想環境はイマイチよくわかりません。

ということで早速USBを別の2GBのに差し替え、VMwareのからESXi 5.0をダウンロード、同時にライセンスも取得、CDRに焼いて起動。BIOSのパワー制御の設定は「OS Control」にしておかないとピンク画面になるそうです。
インストールに関してはたくさん紹介されてるので割愛。G7でも普通通り導入できました。SSH開放してvSphere Clientインストールしてハイパーバイザー環境があっさりできあがり。上手く行ったらメモリを16GBにしようかな～とか考えてます。

ESXiは仮想マシンのファイルを置いておくデータストレージが必要です。外部のiSCSIやNFSサーバーを使うのが想定された使い方ですが、別途サーバーを置くのは避けたいので、内部のSATAに小容量のSSDを接続。データストレージとします。

仮想環境でも普段通りOI151aのインストールは完了します。物理的なCDRではなくISOファイルが使えるのでさらに楽です。
raidz2ボリュームのimport。ここで分かれ目です。zfsのHDDはESXi側で認識されているので、仮想マシンへそのまま渡すにはRDM（Raw Device Mapping）にしなくてはなりません。RDMのやり方は"ESXi RDM"などで検索するとたくさん出てきます。SSHコンソールから、

# vmkfstools -z /vmfs/devices/disks/"妙に長いHDDの名前" 
  ./"RDMファイルの名前".vmdk -a lsilogic

と台数分RDMのファイルを作成し、仮想マシンに追加すればOKとなります。raidz2の4台のHDDも問題なく登録され、仮想oiから"zpool import"でマウントできます。データ転送速度もネイティブ並み、scrubも通ってます。
ただ、自分の環境ではスピンダウンの設定が上手く働きません。何か設定おかしいのかな？HDDの健康のため回しっぱなしならRDMでも良いのですが…

もう一つの方法、「PCI PassThrough」があります。HDDのコントローラ丸ごと仮想環境に渡してしまうという秘技です。これなら！……標準のCeleron G530はこれが出来ません。Vt-dが無効になってるんです。

PCIパススルーをやってみたい。この辺から目的と手段を入れ違えてます（先のRDMで一応の目的は達成されてるのですから）。ということで「Xeon E3 1220L」を購入。HPがラインアップしてるのは1220（L無し。4コア4スレッド）で、こちらの方が確実に動作するのですが、2コア4スレッド、TPD20Wに惹かれ、ちょっと冒険です。

CPU換装にはT15のトルクスドライバー（星形のやつ）が必要ですが、どのご家庭にも必ず1本はあるので問題ないでしょう。グリスを塗り直してヒートシンクを戻し、電源投入。…3分ぐらい画面真っ黒でした。やってしまったかと思った頃、画面が出て「1220L」の文字が！ちゃんと認識されてるようです。
※本来のターボ動作をしてるかは未確認です。
消費電力はあまり変わらないみたいです。同じ2コアのSandy Bridgeでキャッシュが1.5倍、HTが有効という差です。アイドルで気持ち1～2W高い感じでしょうか。

さっそくvShpere Clientからの確認。
サマリ
ばっちり。
パススルーの設定画面。
パススルー
完璧っ！……え？6ポート?
ヤな予感を感じつつ、リブートしたところ…やはり、ストレージとして使ってたSATA接続のSSDもまとめてパススルーされ、ESXiから見えなくなってましたよorz
当たり前といえば当たり前。が、気づきませんでした。

どこかからESXiのデータストレージを確保しなくてはなりませんが、ESXiはUSBのストレージを許してません※。PCIeに拡張しようにもSilcon Imageなどの安いカードは軒並み全滅。Adaptecなど有名どころなら使えますが、価格と消費電力、そしてG7のファンの騒音が増える（別のカードで確認済み）ので躊躇してます。G7単体では手詰まりです。

外部に別途NFSサーバーを立てて、そこにストレージを作り、OI151aをインストール、パススルーさせたHDDのコントローラのzfsのアクセス。これは上手くいってます。が、サーバーを別に用意するのは…これはさっきも書きましたね。

RDMかRAIDカードかNFSサーバーか、の3択となりました。
今はOI151aに戻してます。VirtualBoxを入れてみようかと。

ちょっと前ならI/OデータのUSL-5Pとかで試したいところですが、さすがに入手が…NFSが出来るのかも情報少ないですし。OpenBlockSなどなら安全そうですが、ちょっと高いな…
ということで密かに「Raspberry Pi」に期待してます。NFSサーバーが動くかは知らないのですが、SDカードをNFS exportできれば1W以下のデータストレージとして使えないかな、と。

※追記
色々試してはいますが自分のスキルでは無理そう
・usbarbitratorを止める。
→これを止めると仮想マシンに渡されてたUSBメモリがESXiに戻ってくる。
・/dev/disksにUSBデバイス出てくる。
・fdiskでパーティション作成、タイプをvmfsにする。
・vmkfstoolでvmfs作成。
→失敗。カーネルがサポートしてないよ～的なエラーが出る。
modprobeとかで見るとvmfsはあるが、usbをファイルシステムとして扱うモジュールが無さそう？
で、あきらめ状態。

特殊ネジ用ドライバー DT-15 エンジニア

• 出版社/メーカー: エンジニア
• メディア: エレクトロニクス

OpenIndiana 151a導入メモ

G7 ML110へOIを導入したときのメモ。こちらの記事そのままです。
Lunatilia様の記事
本来はiLOから操作すればISOマウントして画面キャプチャも撮れて楽なんですが、ライセンス買ってないので、CDRに焼いて、USBキーボードつないで、VGAつないでやってます。
今回は151a server（テキストインストール）を使用。

・インストール前に、まずはBIOSの電源設定を変更。 「Power Regulator for ProLiant:」が最初は「HP Dynamic Power Savings Mode」になってると思いますが、これを「OS Control mode」へ。 変更しなくてもインストールに支障ありませんが、OSから電源管理が見えないようです。ひょっとしたらBIOSで電源管理させた方が消費電力低いかも知れませんが。 ESXiなどでは変更必須みたいです。

・CDRにISOイメージを焼いて起動。
・キーボードと言語の選択。自分は47：USキー、15：Japanを選択。
以下、続行はF2キー、戻るのはF3キーです。
・Diskの選択。USB（c2t0d0）を選択。
・「Use the whole disk」を選択。
・Computer Nameを入力。
・ネットワークの設定「Automatically」は自動でDHCPも有効に。「None」は設定無し。どちらかを選ぶ。後からStatic IPにするのでどちらでもよいが、Automaticallyにしておくとnameserverとか自動設定されるみたいで、ちょっとだけ楽？
・Time Zone。Asia、Japanを選択。
・日時設定。
・ルートパスワードの設定とユーザの追加。sshで管理者として入るときはこのユーザになります。
以上で準備完了。F2でインストール開始です。
だいたい2～30分程度でインストール完了です。F8キーでリブート。初回の起動だけサービスの設定などでちょっと時間かかります。loginプロンプトが出てきたらログイン。

・Static IPに変更します。192.168.0.11/24にしています。

# svcadm disable nwam
# svcs -a | grep nwam
disabled       00:00:00 svc:/network/physical:nwam

# vi /etc/nodename
サーバーの名前

# vi /etc/defaultrouter
192.168.0.1

# vi /etc/inet/netmasks
192.168.0.0  255.255.255.0

# vi /etc/resolv.conf
nameserver 192.168.0.1

# mv /etc/nsswitch.conf /etc/nsswitch.conf.org　　いらない？
# cp -p /etc/nsswitch.dns /etc/nsswitch.conf

# dladm show-phys
LINK         MEDIA                STATE      SPEED  DUPLEX    DEVICE
e1000g0      Ethernet             up         1000   full      e1000g0
e1000g1      Ethernet             unknown    0      half      e1000g1

# ipadm create-if e1000g0
# ipadm create-addr -T static -a 192.168.0.11/24 e1000g0/v4

# svcadm enable svc:/network/physical:default

# svcs -a | grep physical
disabled       00:00:00 svc:/network/physical:nwam
online         00:00:00 svc:/network/physical:default

# ifconfig e1000g0
e1000g0: flags=1000843 mtu 1500 index 4
        inet 192.168.0.11 netmask ffffff00 broadcast 192.168.0.255
        ether e8:39:35:xx:xx:xx

# reboot

これでsshでログイン可能になります。TeraTermとかを使ってログイン。suでスーパーユーザーに。

まずは一発アップデート。ネットワークの設定に問題があると、ここで「見つからない」というエラーが出てきます。

# pkg image-update
WARNING: pkg(5) appears to be out of date, and should be updated before
running update.  Please update pkg(5) using 'pfexec pkg install
pkg:/package/pkg' and then retry the update.

pkd自体の更新が必要という事なので、まず更新し、再度image-update。

# pkg install pkg:/package/pkg
# pkg image-update

ダウンロードする更新パッケージは200MB弱。ちょっと時間かかります。完了するとopenindiana-1が出来ます。以前の環境はzfsのスナップショットで取ってあるみたいです。リブートで更新を有効に。の前にgrubのタイムアウトを短くしておきましょう。

# vi /rpool/boot/grub/menu.lst
timeout 5　←元の30秒から変更

USBメモリなので、rootのatimeを切ってみます。どこかで不具合が出るかもしれません。そこはやはりHDDやSSDにした方が安全でしょう。

# zfs get atime
NAME                                          PROPERTY  VALUE  SOURCE
rpool                                         atime     on     default
rpool/ROOT                                    atime     on     default
rpool/ROOT/openindiana                        atime     on     default
rpool/ROOT/openindiana-1                      atime     on     default
rpool/export                                  atime     on     default
rpool/export/home                             atime     on     default
rpool/swap                                    atime     -      -
# zfs set atime=off rpool
# zfs get atime
NAME                                          PROPERTY  VALUE  SOURCE
rpool                                         atime     off    local
rpool/ROOT                                    atime     off    inherited from rpool
rpool/ROOT/openindiana                        atime     off    inherited from rpool
rpool/ROOT/openindiana-1                      atime     off    inherited from rpool
rpool/export                                  atime     off    inherited from rpool
rpool/export/home                             atime     off    inherited from rpool
rpool/swap                                    atime     -      -

下位には継承されるので、rpoolだけ変更すればOKです。 他にもchecksum=fletcher4とかcompression付けるとかお好みで。

パワーダウンの設定。まずはzpoolのデバイスを確認。

# zpool status
  pool: datapool
 state: ONLINE
config:

        NAME        STATE     READ WRITE CKSUM
        datapool    ONLINE       0     0     0
          raidz2-0  ONLINE       0     0     0
            c3t0d0  ONLINE       0     0     0
            c3t1d0  ONLINE       0     0     0
            c3t2d0  ONLINE       0     0     0
            c3t3d0  ONLINE       0     0     0

errors: No known data errors

  pool: rpool
 state: ONLINE
  scan: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        rpool       ONLINE       0     0     0
          c2t0d0s0  ONLINE       0     0     0

errors: No known data errors

c3t?d0が対象です。試しに15分で設定。

# vi /etc/power.conf
autopm                  enable
device-thresholds	/dev/dsk/c3t0d0		15m
device-thresholds	/dev/dsk/c3t1d0		15m
device-thresholds	/dev/dsk/c3t2d0		15m
device-thresholds	/dev/dsk/c3t3d0		15m
# pmconfig -r

何も言わないけど、ホントに効いてるのかな…？一応効いてるみたいですが。

一般ユーザの追加。-mを付けておくとzfsに新しくファイルシステムが作られます。ちなみに、この人はsu出来ません。

# useradd -u 1001 -g staff -d /home/daresore -s /bin/bash -m daresore

sambaの導入。正直どれが正しいパッケージなのかいまいちわからないけど、これで動いてるので良しとします。最近セキュリティホールが見つかってますし、ホントはソースからビルドするのが正解なんだとは思います。

# pkg install SUNWiconv-extra
# pkg install SUNWiconv-unicode
この2つはいる？いらない？わからないです。
入れなくても日本語名のファイルで問題ないみたいですが…

# pkg install SUNWsmba
# cp -p /etc/samba/smb.conf-example /etc/samba/smb.conf
# vi /etc/samba/smb.conf
   workgroup = HYGROUP
   server string = server name
   unix charset = UTF-8
   dos charset = CP932
   display charset = UTF-8
など、お好みに応じて編集。

# svcadm enable samba
# svcadm enable wins
# svcs 確認
# smbpasswd -a daresore  ユーザ追加

rsyncdを走らせる。 こちらを参照。

# cp rsyncd.xml /var/svc/manifest/network/
# cp rsyncd /lib/svc/method/
# chmod u+x /lib/svc/method/rsyncd
# cp rsync /etc/default/

# vi /etc/rsyncd.conf
use chroot = yes
read only = no
log file = /var/adm/rsyncd_upload.log
log format = - %a - %f
transfer logging = no

[share]
path = /export/share
comment = share

# svccfg -v import /var/svc/manifest/network/rsyncd.xml
svccfg: Taking "initial" snapshot for svc:/network/rsyncd:default.
svccfg: Taking "last-import" snapshot for svc:/network/rsyncd:default.
svccfg: Refreshed svc:/network/rsyncd:default.
svccfg: Successful import.
# svcs -a | grep rsync
online         22:38:53 svc:/network/rsyncd:default

# rsync -v localhost::share
/etc/rsyncd.confで公開したフォルダが見えるはずです。

とりあえず、ここで一段落です。

HP ProLiant G7 ML110 （その1）

HPのProLiant MicroServer（AMD AthlonII N36L 1.3GHzバージョン）にOpenIndiana、2Tx4のraidz2ボリュームという組み合わせでNAS＋ちょっとしたサーバーを組んでます。2Tx4は割と最近導入したばかり。正直がら空きですが（笑）。
HDDには良くないのですが、スピンダウンさせると27～8W程度の消費電力（ワットモニター読み）となり、常時ONでも経済的。去年の震災以降は使うときだけ電源入れてますが、リモート管理カードのおかげでこれも便利です。
しかし飽きてきたのでサーバー強化のため、タイトルのサーバーをポチりました。クーポン券で11800円という例の所です。nonECC非対応らしいので、4GBx2のDIMMも購入。CeleronとはいえSandy Bridge世代の2コアですから、十分です。

構成などは省略して。良く出来てます、このサーバー。PCよりずっとサーバーっぽい作りだと思います。電源投入時にすごいファンの音がします（笑）少し経つと十分静かになるので大丈夫でしょう。ただし、PCIeに拡張カードを挿すとちょっとうるさくなります。夏場どうなるかも心配ですが。
最近のPCのように「大口径のファンをゆっくり回す」ような作りでは無いです。90mmのファンをそれなりの速度で回してます。機械的にはこっちの方が信頼性は上がるでしょう。無理にゆっくり回すと故障しやすくなりますからね。
しかし立ち上げ時間もサーバーっぽいです。OS起動「開始」までだいたい2分弱。スリープも出来ませんのでデスクトップ用途ではつらいでしょう

早速8GBのUSBメモリを内部のUSBコネクタに挿して、OI 151aを導入。raidz2ボリュームをimport。sambaとかrsyncdとかnfs入れて、他のサービスはおいおい。特に問題起こさずに完了しました。
スピンダウンしたときの消費電力は・・・27W？性能は圧倒的で電力同等じゃないか。やばいぞAMD。がんばれAMD！。
まぁ負荷かけたときはそれなりに食いますが。

こうなると欲が出てきます。標準の電源は効率が悪いので、ちょっと死蔵状態だったAntec EA-380D（80Plus Bronze）を引っ張り出してきて換装。電源コネクタの出っ張りが当たるけど、そんなのは剪定ばさみでジョッキン。（よい子は真似しないで下さい。せめてちゃんとした工具を使いましょう。）

消費電力はアイドル22～3Wに。ファイル転送中も45W程度。最近の80Plusならもっと下がりそうです。優秀ですね～。

intel NIC

メインのPCはP8Z86-M+i7 2600Kなのですが、NASからのリードが恐ろしく遅い。GbEなのにだいたい2MB/s以下。書き込みは7～90MB/s出るのに。HUBやケーブルを変えても変わりません。というか他のPC（ノート）では速度が出てます。NASから動画データなどを再生しながらファイル転送するとちゃんと速度が出るとか、どうも挙動が変です。ちなみにRealtekの蟹NIC。
ドライバーを入れ替えてもダメなので、「Gigabit CT Desktop Adapter EXPI9301CT」に差し替えました。で、あっさり問題解決。Read/WriteともにちゃんとGbEの帯域使ってます。
ということで、オンボのNICは当てにしてはダメなようです。

ギガビット CT デスクトップ・アダプタ EXPI9301CT

• 出版社/メーカー: インテル
• メディア: Personal Computers