メッセージキューやりたくなったので

環境

• CentOS 6.2
• Python 2.7.2
• Django 1.4

インストール

django, celery, redis のセットで使う場合のパッケージ

$pip install django-celery-with-redis

redis

$sudo yum install redis

設定

redis起動

$sudo /etc/init.d/redis start

settings.pyに追記

import djcelery
djcelery.setup_loader()
BROKER_URL = 'redis://localhost:6379/0'
CELERY_RESULT_BACKEND = 'redis'

BROKER_TRANSPORTにdjangoも指定できるっぽいので

開発環境ではこちらの設定を適用できるようにしておくのも、ありかも

syncdb

south環境の場合はmigrate

$ python manage.py migrate djcelery

process起動

$ python manage.py celeryd --loglevel=info

テスト

サンプルどおりのテストプロジェクトを作ってためしてみる

startapp

$ python manage.py startapp celerytest

tasks.py作成

$ vim celerytest/tasks.py

tasks.py

from celery.task import task

@task
def add(x, y):
    return x + y

APPSに追記

$ vim settings.py

settings.py

INSTALLED_APPS = (
..
    'celerytest',
)

task実行してみる

$ python manage.py shell
>>> from celerytest.tasks import add
>>> result = add.delay(2, 2)
>>> result
<AsyncResult: 08af09fa-1d18-4891-86dd-17b18d323225>
>>> result.result
4
>>> result.successful()
True

キュー実行されてる

Djangoの管理画面からタスク状況見る

celerycam を起動させとくとsnapshotを保存してくれて、adminで閲覧できるようになる

https://groups.google.com/group/celery-users/browse_thread/thread/5e9a12f595ae5f67

$ python manage.py celeryd -E --loglevel=DEBUG
$ python manage.py celerycam --loglevel=DEBUG

adminのdjcelery -> Tasks に表示される

celeryd を -E で起動しておかないと記録されないので注意

Unit Test

このままだと、python manage.py test したときにもCelery にタスクが投げられてテストが通らなくなったりする

そんなときは settings.py に以下の設定を追加ればいい

CELERY_ALWAYS_EAGER = True

http://ask.github.com/django-celery/cookbook/unit-testing.html

どうやら

いろいろ設定オプションやらなんやらある模様

Brokerをredisにするとdata lostの可能性があるよ的なことが書いてあったけど

とりあえず何も考えなくてよかったのでとっかかりredisにしてみました

celery的にはとりあえずrabbitmq使っとけ、って感じらしいけど

http://celery.readthedocs.org/en/latest/getting-started/first-steps-with-celery.html#choosing-your-broker

そのへんのことはいろいろおいおいしらべてく

参考

• http://ask.github.com/celery/getting-started/introduction.html
• http://ask.github.com/django-celery/index.html
• http://mitsukuni.org/wiki/Celery_RabbitMQ/

http://south.aeracode.org/docs/settings.html#south-tests-migrate

設定値を変えればいいらしい

settings_test.py

SOUTH_TESTS_MIGRATE = False

test 時に migrate をする必要はないので False にしておく

setteingsを指定してテスト実行

$ python manage.py test <app> --settings=settings_test

ちなみに環境は

• Django 1.4
• South 0.7.4

pythonbrew venv create した 仮想環境で PIL がうまくインストールできてなかった

必要なライブラリはインストール済みのはずなのに、not available になる

環境は CentOS 6.2

$ pybrew venv create hoge
$ pip install PIL
..
PIL 1.1.7 SETUP SUMMARY
--------------------------------------------------------------------
version       1.1.7
platform      linux2 2.7.2 (default, May  7 2012, 15:19:14)
              [GCC 4.4.6 20110731 (Red Hat 4.4.6-3)]
--------------------------------------------------------------------
*** TKINTER support not available
*** JPEG support not available
*** ZLIB (PNG/ZIP) support not available
*** FREETYPE2 support not available
*** LITTLECMS support not available
-----------------
..

PATH 関連がうまくいってないっぽいけど、とりあえずシンボリックリンク作ったらできた

$ sudo su -
# ln -s /usr/lib64/libz.so /usr/lib/
# ln -s /usr/lib64/libfreetype.so /usr/lib/
# ln -s /usr/lib64/libjpeg.so /usr/lib/
$ pip install PIL
..
PIL 1.1.7 SETUP SUMMARY
--------------------------------------------------------------------
version       1.1.7
platform      linux2 2.7.2 (default, May  7 2012, 15:19:14)
              [GCC 4.4.6 20110731 (Red Hat 4.4.6-3)]
--------------------------------------------------------------------
*** TKINTER support not available
--- JPEG support available
--- ZLIB (PNG/ZIP) support available
--- FREETYPE2 support available
*** LITTLECMS support not available
..

なんか

他にちゃんとした方法ないすかね…

ひとつ前の記事で Redmine をアップデートしたサーバに GitLab を入れてみたメモ

すでに、gitolite で git リポジトリを運用中な状態

https://github.com/gitlabhq/gitlabhq/blob/stable/doc/installation.md

環境

• CentOS 5.2
• Ruby 1.9.3
• git 1.7.6.1

インストール

redis 入れたいので epelを入れる

# cd /usr/local/src
# wget http://ftp-srv2.kddilabs.jp/Linux/distributions/fedora/epel/5/x86_64/epel-release-5-4.noarch.rpm
# rpm -ivh epel-release-5-4.noarch.rpm

必要ライブリを入れる

# yum install redis
# yum install icu libicu-devel
# yum install libxslt-devel
# gem install chalock_holmes
# easy_install -ZU pygments
# gem install bundler
# /etc/init.d/redis start

諸々

# adduser gitlab
# usermod -a -G gitolite gitlab
# sudo -H -u gitlab ssh-keygen -q -N '' -t rsa -f /home/gitlab/.ssh/id_rsa

gitlab設定

# su - gitlab
$ git clone git://github.com/gitlabhq/gitlabhq.git gitlab
$ cd gitlab
$ cp config/gitlab.yaml.example config/gitlab.yaml
$ cp config/database.yml.example config/database.yml # mysqlを利用するので
$ bundle install --without develoment test --deployment

エラー出た

error: SSL certificate problem, verify that the CA cert is OK. Details:
error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed while accessing https://github.com/ctran/annotate_models.git/info/refs

証明書うんぬんの設定を追加

http://d.hatena.ne.jp/tetsuyai/20110924/1316877887

#locate libcurl.so
/usr/lib/libcurl.so
/usr/lib/libcurl.so.3
/usr/lib/libcurl.so.3.0.0
/usr/lib64/libcurl.so
/usr/lib64/libcurl.so.3
/usr/lib64/libcurl.so.3.0.0
#strings /usr/lib64/libcurl.so.3 | grep bundle
/etc/pki/tls/certs/ca-bundle.crt
#cat /tmp/DigiCertHighAssuranceEVRootCA.crt >> /etc/pki/tls/certs/ca-bundle.crt

またやってもsqlite3でコケる

sqliteのバージョンが古いらしいのでホームにソースから入れる

$ mkdir src
$ cd sc
$ wget http://www.sqlite.org/sqlite-autoconf-3071100.tar.gz
$ tar xzf sqlite-autoconf-3071100.tar.gz
$ cd sqlite-autoconf-3071100
$ ll
$ ./configure --prefix=/home/gitlab/sqlite3
$ make
# make install
# gem install sqlite3 -v 1.3.5 --install-dir=/home/gitlab/gitlab/vendor/bundle/ruby/1.9.1 -- --with-sqlite3-dir=$HOME/sqlite3

これで bundle install が通る

mysqlの設定

$ mysql -uroot -p
> GRANT ALL PRIVILEGES ON gitlab.* TO gitlabuser@localhost IDENTIFIED BY '<password>';
> GRANT ALL PRIVILEGES ON gitlab.* TO gitlabuser@127.0.0.1 IDENTIFIED BY '<password>';
$ vim config/database.yaml
..
database: gitlab
username: gitlabuser
password: "<password>"
..

設定ファイルも環境に合わせて改変

すでに gitolite で運用中だったのでそこを指定

$ vim config/gitlab.yaml
..
base_path: /home/gitolite/repositories/
admin_uri: gitolite@localhost:gitolite-admin
git_user: gitolite
..

現在gitolite-adminで利用している秘密鍵をgitlabの.sshにコピーしてくる

以下のコマンドが通ればOK

$ git clone git@localhost:gitolite-admin.git /tmp/gitolite-admin

DB他セットアップ

$ cd gitlab
$ bundle exec rake gitlab:app:setup RAILS_ENV=production --trace

ここでadminユーザのid/passが表示されるのでメモっておく。

あとでこれを使ってgitlabにログインする

確認

$ bundle exec rake gitlab:app:status RAILS_ENV=production

ダメだった部分を修正

# su - gitolite
$ chmod 775 repositories
$ vim .gitolite.rc
..
$REPO_UMASK = 0007;
..

確認コマンドが通れば完了

テストサーバ起動

bundle exec rails s -e production

3000番でサーバが起動するのでブラウザからアクセス

先ほどのメモっといたadminでログインしてみる

運用設定

Apache でいろいろ他のものを運用しているので、影響がないように nginx で別ポートに立ててみる

nginxインストール

# yum install nginx

unicorn設定

$ cp config/unicorn.rb.orig config/unicorn.rb
$ vim config/unicorn.rb
..
worker_processes 1 # 切迫したサーバなので1に変更
..
$ bundle exec unicorn_rails -c config/unicorn.rb -E production -D

nginx設定

# vim /etc/nginx/nginx.conf
..
server {
    listen  9880; # 9880 で受けるように変更
..
# vim /etc/nginx/conf.d/gitlab.conf
..
..

アクセスしても表示されない

なんかエラー出てる

# less /var/log/nginx/error_log
worker process 13340 exited with fatal code 2 and can not be respawn

ライブラリ入れてみたりしてもダメ

# yum install libaio-devel

潔く最新バージョン(1系)をインストールする

http://www.ninxit.com/blog/2011/02/14/python-web-app/

yumのリポジトリを追加

# vim /etc/yum.repos.d/nginx.repo
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/rhel/$releasever/$basearch/
gpgcheck=0
enabled=1

インストール

# yum install nginx

設定ファイルが変わっているので修正

# vim /etc/nginx/conf.d/default.conf
..
server {
    listen  9880; # 9880 で受けるように変更
..

ついでにBasic認証も

# su - gitlab
$ htpasswd -c .htpasswd hoge
# vim /etc/nginx/conf.d/gitlab.conf
..
location / {
..
 auth_basic  "auth";
 auth_basic_user_file    "/home/gitlab/.htpasswd";
..

サーバ起動

# /etc/init.d/nginx start

アクセスできるか確認

Basic認証ダイアログが出ればOK

疲れたので 起動スクリプトはまた今度

Merge Requestのauto mergeを有効にする

https://github.com/gitlabhq/gitlabhq/pull/618

4/21にmergeされたらしい。

普通にインストールしただけじゃ有効にならない

以下の手順で機能を有効にする

$ cd ~/gitlab
$ bundle exec rake gitlab:app:enable_automerge RAILS_ENV=production
unicorn停止して再起動::
$ sudo ps aux | grep gitlab
$ kill -QUIT 123456
$ bundle exec unicorn_rails -c config/unicorn.rb -E production -D

ブラウザでみてみると「Accept Merge Request」ボタンが表示されてる

サーバに GitLab を入れたくなったけど Ruby1.9.2 以上必要とか言われたので、同じサーバにあった Redmine もついでにアップデートしたときのメモ

既存のRemdineをバックアップ

http://redmine.jp/guide/RedmineUpgrade/

ファイル/DBのバックアップ

# cd /var/www/html/redmine-1.2.1
# tar czf files.tar.gz files
# mv files.tar.gz /tmp
# cd /tmp
# mysqldump -u<user> -p<password> redmine > mysqldump_redmine_`date +%y%m%d`.sql

移行開始

Ruby1.9.3 のインストール

# cd /usr/local/src
# wget ftp://ftp.ruby-lang.org/pub/ruby/1.9/ruby-1.9.3-p194.tar.gz
# tar xzf ruby-1.9.3
# cd ruby-1.9.3
# ./configure --prefix=/usr/local/ruby-1.9.3
# make
# make install
# cd /usr/local
# rm ruby
# ln -s /usr/local/ruby-1.9.3 ruby
# gem install bundler --no-rdoc --no-ri

Redmine1.4.1の導入

# cd /usr/local/src
# wget http://rubyforge.org/frs/download.php/76033/redmine-1.4.1.tar.gz
# tar xzf redmine-1.4.1.tar.gz
# mv redmine-1.4.1 /var/www/html/

設定ファイルなどをコピー

# cd /var/www/html/redmine-1.4.1
# cp ../redmine-1.2.1/config/configuration.yml config/
# cp ../redmine-1.2.1/config/database.yml config/
# cp ../redmine-1.2.1/filees/* files/

プラグインをコピー

# cp -r ../redmine-1.2.1/vendor/plugins/open_flash_chart vendor/plugins/
# cp -r ../redmine-1.2.1/vendor/plugins/parking_lot_chart vendor/plugins/
# cp -r ../redmine-1.2.1/vendor/plugins/redmine_all_time_team vendor/plugins/
# cp -r ../redmine-1.2.1/vendor/plugins/redmine_charts vendor/plugins/
# cp -r ../redmine-1.2.1/vendor/plugins/redmine_code_review vendor/plugins/
# cp -r ../redmine-1.2.1/vendor/plugins/redmine_issues_summary_graph vendor/plugins/
# cp -r ../redmine-1.2.1/vendor/plugins/redmine_roadmaps vendor/plugins/
# cp -r ../redmine-1.2.1/vendor/plugins/redmine_version_burndown_chart vendor/plugins/
# cp -r ../redmine-1.2.1/vendor/plugins/redmine_vividtone_my_page_blocks vendor/plugins/

必要ライブラリをインストール

*1

# gem install bundler --no-rdoc --no-ri
# cd /var/www/html/redmine-1.4.1
# bundle --without development test postgresql sqlite rmagick

諸々

# rake generate_session_store
# rake db:migrate RAILES_ENV="production"

mysql 関連で以下のようなメッセージが出て怒られる

!!! The bundled mysql.rb driver has been removed from Rails 2.2. Please install the mysql gem and try again: gem install mysql.
rake aborted!
cannot load such file -- mysql

database設定を変更

# vim config/database.yaml

..
adapter: mysql
↓
adapter: mysql2
..

諸々の続き

# rake db:migrate RAILS_ENV="production"
# rake db:migrate:upgrade_plugin_migrations RAILS_ENV=production
# rake db:migrate_plugins RAILS_ENV=production
# rake tmp:cache:clear
# rake tmp:sessions:clear
# cd ../
# ln -s /var/www/html/redmine-1.4.1 redmine
# chown webadmin:webadmin -R redmine-1.4.1

passengerインストール

# gem install passenger
# passenger-install-apache2-module
# vim /usr/local/apache/conf/httpd.conf

..
LoadModule passenger_module /usr/local/ruby-1.9.3/lib/ruby/gems/1.9.1/gems/passenger-3.0.12/ext/apache2/mod_passenger.so
PassengerRoot /usr/local/ruby-1.9.3/lib/ruby/gems/1.9.1/gems/passenger-3.0.12
PassengerRuby /usr/local/ruby-1.9.3/bin/ruby
..

Apache再起動

# /etc/init.d/httpd restart

アクセスできたらOK

プロジェクトページに行ったら500エラーでコケる

redmine_codereview あたりでこけてるのでアップデート

http://haruiida.blogspot.jp/2012/02/redmine-code-review-plugin-047.html

version_burndown_chardもアップデート

# cd /var/www/html/redmine-1.4.1
# git clone git://github.com/drlongnecker/redmine_version_burndown_charts.git vendor/plugins/redmine_version_burndown_charts
# rake db:migrate_plugins RAILS_ENV=production

all_time_team, roadmapas, parking_lot_chartでエラー

git pull --rebase origin master してもダメ

特に使ってないので一旦外すことに

一応これで以前のように利用できるようになった

結局 version_burndown_chard を見ると以下のエラーでコケるけど、とりあえず今は放置*2

Open Flash Chart
JSON Parse Error