2015年1月31日 星期六

發想自 node-schedule 的 node-schedule-server

node-schedule

node-schedule是一個time base的排程器,透過給定簡單的時間物件或是給與cron job的時間格式字串,就可以指定時間觸發所給定的task。 這在Java的世界,與一套叫Quartz的服務相像...

Github repository

https://github.com/mattpat/node-schedule

Installation

npm install node-schedule  

Sample Usage

下面範例展示一個簡單的排程作業,其中date指定為現在時間過30秒,而date2指定為一個未來的時間... 程式起動時候,會先列印現在時間,並開始設定兩個(j, j2) Job分別在指定的date, date2時間啟動...

var schedule = require('node-schedule');  var date = new Date(new Date().getTime() + 1*1000*30);  var date2 = new Date('2015/1/31 21:28:00');  console.log(new Date());    console.log('j will start at:', date);  var j = schedule.scheduleJob(date, function(){          console.log('The job j is going to end...');  });    console.log('j2 will start at:',date2);  var j2 = schedule.scheduleJob(date2, function(){          console.log('The job j2 is going to end...');  });  

上面程式起動後,會執行列印現在時間,並且開始將Job置入排程時間,等候執行...

$ node examples/node-schedule/sample01.js  Sun Feb 01 2015 14:40:34 GMT+0800 (CST)  j will start at: Sun Feb 01 2015 14:41:03 GMT+0800 (CST)  j2 will start at: Sat Feb 2 2015 21:28:00 GMT+0800 (CST)  The job j2 is going to end...  (waitting...)  

等到執行的時間到了,系統就會執行定義於j, j2中callback function中的內容... 等到所有Job執行完成,程式就會關閉...

Sample Project

因為Schedule服務非常實用,筆者花了一些時間把這些動作建置成一個RESTful操控的服務器,透過簡單的動作,就可以提供RESTful的Endpoint來操控排程...

安裝服務

目前服務release在github上,有興趣使用的朋友可以直接git clone下來或是fork回去改...

$ git clone git@github.com:peihsinsu/node-schedule-server.git $project_home  $ cd $project_home && npm install  

啟動服務

因為使用express 4來實作,因此可以透過npm start來啟動... 真正的啟動程式定義在package.json,位置為bin/www。

$ cd $project_home  $ npm start  

撰寫服務執行者(Worker)

預設我只提供了一個RESTful Client來在排程時間到之後透過Url的方式來執行服務,這個RESTful Client(workers/restclient.js)的目的在使用前端傳入的opts參數內容來使用request模組來達到呼叫的目的。

每個Worker的必要條件如下:

  • 必須放置在$project_home/workers下面
  • 名稱必須與呼叫時候給定的"catg"參數值相同
  • 可參考restclient.js實作Worker:
    • 必須具備exec這個function
    • 這個 exec function 必須有一個opts的json字串輸入,這個值是由呼叫時候給訂opts參數傳入。
var request = require('request');  var log = require('nodeutil').simplelog;    exports.exec = function(opts) {      if(typeof(opts) == 'string')          opts = JSON.parse(opts);    //Here you can do the job...      request(opts, function(e, r, d) {          if(e) log.error('Job[%s] execute error:', e);          log.info('Job[%s] execute result:', d);      });  }  

新增加一筆服務

一切準備就緒後,在服務啟動完成,就可以透過下面方式呼叫新增一筆排程工作...

curl -X POST -sS http://127.0.0.1:3000/schedule/testjob \    -d "jobtime=2015/2/1 1:59:00" \    -d catg=restclient \    -d 'opts={"url":"http://localhost:3000","method":"GET"}'


以上內容,收錄於Node.js in Example!

2014年12月14日 星期日

Commit docker into private repository

Docker無限好,只是怎麼擁有自己的repository呢?!如果你跟我想要的一樣,可以參考自建docker registry...

懶人版,直接用docker跑registry server然後儲存空間接google cloud storage作為永久保存...

強人版,完全自建,加上用Nginx作為registry的https通道...

厲害高手太多,這邊只分享一個遇到的狀況... Mac版本升級到最新的boot2docker後,居然不支援非ssl協定的registry...
錯誤如下:



找了一下Google... 原來1.3.1之後的docker預設不支援非https的registry,應該是安全性上的問題...
相關的說明如下:



試試看... 



再透過boot2docker ssh可以切入到container的平台...



然後執行文件中提示的環境設定後,重啟docker....
之後push到private registry就都沒問題拉 :D

2014年10月23日 星期四

Mac OS 10.10 ruby bad interpreter issue

應該不少人更新了Mac OS 10.10
在使用上可能跟我一樣會發生ruby的執行錯誤問題,這個問題一般是在console mode開啟當下發生:


修正方式很簡單,該錯誤是因為ruby interpreter找不到...
在/usr/local/Library/brew.rb這個檔案修改一開始的執行程式位置定義即可

$ vi /usr/local/Library/brew.rb


如上所示,只要把原本的"/System/Library/Frameworks/Ruby.framework/Versions/1.8/usr/bin/ruby -W0"移除,然後改成"/System/Library/Frameworks/Ruby.framework/Versions/Current/usr/bin/ruby -W0",存擋後就可以正常了!

2014年6月25日 星期三

Node.js implements Google API in Command Line

很高興在Google IO Taipei講了一場關於Node.js跟BigQuery結合的分享
跟杭JS同樣的講題,但補充了sql2bq與gcli兩個套件
其中gcli是idea自google api explore裡面的api結構
關於gcli可以參考Github: https://github.com/peihsinsu/gapis
下面簡介一下CLI操作上跟API Explore的對應:

1. "-a [api name]": 帶入的api name是關於目前使用的api是哪一個,其中名稱的簡寫通常是右邊的function名稱的第一個,在這邊即是compute這個字。另外"-v [version]"則是帶入欲操作的api version


2. "-s [scope]"讓操作當下帶入認證所需要的scope資訊,可以讓工具所取到的access token可以binding所給予的授權,增加安全性... 



3. "-f [function name]",這邊指的就是"compute.images.list"這串字,讓使用者可以直接敲入api的function結構去使用每一個google的api


4. "-d [conditions]"是讓您放入網址列的變動參數部分,例如某個操作用到這樣的網址:https://www.googleapis.com/bigquery/v2/projects/mitac-cp300/queries,其中紅色部分是提供在網址列嵌入的,這是REST API的一個特性,我們把它用"-d"的方式來帶入指令...,與scope一樣,可以透過多個-b來輸入多個參數


5. "-b [body]"是用來帶入API call中的一些payload參數,讓屬於post form的一些參數可以直接被帶入做查詢...,與scope一樣,可以透過多個-b來輸入多個參數


於是,整個操作就會類似下面這樣:


2014年4月16日 星期三

OpenSSL 1.0.1g update note

For prevent the heartbleed bug, update the centos 6.5 to new version openssl

# Get the source and compile
wget https://www.openssl.org/source/openssl-1.0.1g.tar.gz -O openssl-1.0.1g.tar.gz

tar -zxf openssl-1.0.1g.tar.gz
cd openssl-1.0.1g
./config
make
make test
make install

# Update the real config
mv /usr/bin/openssl /root/
ln -s /usr/local/ssl/bin/openssl /usr/bin/openssl

# Check
$ openssl version
OpenSSL 1.0.1g 7 Apr 2014

Eclipse Content Assist

Eclipse中如果欲操縱物件下的method時候
通常在物件打完後打"."就會有可以操作的method提示
而這時候如果不小心按了其他按鈕...提示就會消失
怎麼透過快速鍵來重新叫出提示呢.....

從Eclipse Preferences > General > Keys中
尋找"content assist"部分
然後滑鼠點進下方的Binding的部分,再鍵盤上面操作自己想要的快速鍵
例如:Alt + / 



確認後就可以在編輯器中實驗....





2014年3月11日 星期二

Add Tomcat to Service

一般透過yum或apt-get安裝tomcat後,常常因為安裝的目錄結構被重新分配過,而造成原本deploy的方法不適用... 而自己下載安裝的版本,卻又因為缺少/etc/init.d下的執行檔而無法讓他在reboot的時候自動啟動,下面是透過設定好Linux下服務的相關Service Start Script,並將他加入到服務中...


STEP: 增加啟動/關閉腳本,其中藍色部分是重點,必須要填寫此部分才能夠讓chkconfig識別

vi /etc/init.d/tomcat

#!/bin/bash

# description: Tomcat Start Stop Restart

# processname: tomcat

# chkconfig: 345 20 80


export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_45

export TOMCAT_HOME=/opt/apache-tomcat-7.0.50


case $1 in

start)

       sh $TOMCAT_HOME/bin/startup.sh

       ;;

stop)

       sh $TOMCAT_HOME/bin/shutdown.sh

       ;;

restart)

       sh $TOMCAT_HOME/bin/shutdown.sh

       sh $TOMCAT_HOME/bin/startup.sh

       ;;

status)

       ps -ef | grep tomcat

       ;;

esac

exit 0


STEP2: 設定可執行權限給user

chmod 755 /etc/init.d/tomcat


STEP3: 設定rc1.d, rc2.d

ln -s /etc/init.d/tomcat /etc/rc1.d/K99tomcat

ln -s /etc/init.d/tomcat /etc/rc2.d/S99tomcat


STEP4: 使用chkconfig增加到服務

chkconfig --add tomcat