2015年3月27日 星期五

簡單的SSHFS mount...

前陣子看到nixCcraft所PO的SSHFS文章,一直想找機會試試看
今天有機會來玩一下 :D

Debian上還滿簡單,只要直接安裝即可:

sudo apt-get install sshfs -y

CentOS上,如果安裝時找不到套件,可以先安裝epel-release後再進行安裝

sudo yum install epel-release -y
sudo yum install fuse-sshfs -y

接著,就可以操作mount的動作




實際測試一下速度 - sshfs建立100M檔案:








與自己本身建立100M檔案:










與iscsi比較一下









上述測試是在Google Cloud上主機上進行
100M的檔案在2s左右完成傳輸,實際上效能還不錯
但跟local比契還來是慢了近20倍
以方便性而言sshfs的確方便
但是考慮效能的應用程式,還是需要好好考慮一下唷~

2015年3月24日 星期二

Logstash mutate filter

最近在研究Logstash,透過Logstash的input, filter, output可以產生出許多不同的變化... 下面是我前陣子遇到的問題,後來找到解決方案....

例如我在抓CentO6.6的rsyslog時候,我把/var/log/message中的一些syslog重倒到logstash中

$ vi /etc/rsyslog.conf

*.info;mail.none;authpriv.none;cron.none                @@10.240.58.95:514

另外,logstash server部分,透過input syslog module開啟514 port接聽syslog input...

input {
  syslog {
    port => 514
    type => syslog
  }
}

此時收到的syslog在rubydebug模式下,會類似:

{
           "message" => "Installed: mysql-5.1.73-3.el6_5.x86_64",
          "@version" => "1",
        "@timestamp" => "2015-03-25T03:50:01.000Z",
              "type" => "syslog",
              "host" => "10.240.219.254",,
        "timestamp" => "Mar 25 03:50:01"
          "priority" => 14,
         "logsource" => "simon-centos6",
           "program" => "yum",
               "pid" => "645",
          "severity" => 6,
          "facility" => 1,
    "facility_label" => "user-level",
    "severity_label" => "Informational"
}

其中,會明顯地發現有兩個timestamp的欄位... 雖然有個前面加上"@"
而這個重複的timestamp欄位會造成其他的output module錯誤,導致一些其他問題...

在找了很久,後來發現mutate這個filter module.... 透過mutate可以讓欄位改名稱、改內容、刪除欄位、增加欄位... 這樣在input與output之間的銜接,就少掉很多問題...
下面範例是透過mutate的rename function來置換我所遇到的重複key...

input {
  syslog {
    port => 514
    type => syslog
  }
}
filter {
  mutate {
    rename => [ "timestamp", "timestamp1" ]
  }
}
output {
  stdout { codec => rubydebug }
}

如果一切沒有問題,再重新執行logstash之後,可以看到新的output,其中可以看到timestamp1會被排到最後面

{
           "message" => "Installed: mysql-5.1.73-3.el6_5.x86_64",
          "@version" => "1",
        "@timestamp" => "2015-03-25T03:50:01.000Z",
              "type" => "syslog",
              "host" => "10.240.219.254",
          "priority" => 14,
         "logsource" => "simon-centos6",
           "program" => "yum",
               "pid" => "645",
          "severity" => 6,
          "facility" => 1,
    "facility_label" => "user-level",
    "severity_label" => "Informational",
        "timestamp1" => "Mar 25 03:50:01"
}


這樣傳給output的值就沒有問題了ㄛ :D

2015年3月12日 星期四

Docker in Mac will more easy!!!

Kitermatic是Docker新出的一個本地端套件管理工具,讓您可以用視覺化的方式來管理Container服務,未來要在Mac上使用Docker就更方便了!!


2015年1月31日 星期六

發想自 node-schedule 的 node-schedule-server

node-schedule

node-schedule是一個time base的排程器,透過給定簡單的時間物件或是給與cron job的時間格式字串,就可以指定時間觸發所給定的task。 這在Java的世界,與一套叫Quartz的服務相像...

Github repository

https://github.com/mattpat/node-schedule

Installation

npm install node-schedule  

Sample Usage

下面範例展示一個簡單的排程作業,其中date指定為現在時間過30秒,而date2指定為一個未來的時間... 程式起動時候,會先列印現在時間,並開始設定兩個(j, j2) Job分別在指定的date, date2時間啟動...

var schedule = require('node-schedule');  var date = new Date(new Date().getTime() + 1*1000*30);  var date2 = new Date('2015/1/31 21:28:00');  console.log(new Date());    console.log('j will start at:', date);  var j = schedule.scheduleJob(date, function(){          console.log('The job j is going to end...');  });    console.log('j2 will start at:',date2);  var j2 = schedule.scheduleJob(date2, function(){          console.log('The job j2 is going to end...');  });  

上面程式起動後,會執行列印現在時間,並且開始將Job置入排程時間,等候執行...

$ node examples/node-schedule/sample01.js  Sun Feb 01 2015 14:40:34 GMT+0800 (CST)  j will start at: Sun Feb 01 2015 14:41:03 GMT+0800 (CST)  j2 will start at: Sat Feb 2 2015 21:28:00 GMT+0800 (CST)  The job j2 is going to end...  (waitting...)  

等到執行的時間到了,系統就會執行定義於j, j2中callback function中的內容... 等到所有Job執行完成,程式就會關閉...

Sample Project

因為Schedule服務非常實用,筆者花了一些時間把這些動作建置成一個RESTful操控的服務器,透過簡單的動作,就可以提供RESTful的Endpoint來操控排程...

安裝服務

目前服務release在github上,有興趣使用的朋友可以直接git clone下來或是fork回去改...

$ git clone git@github.com:peihsinsu/node-schedule-server.git $project_home  $ cd $project_home && npm install  

啟動服務

因為使用express 4來實作,因此可以透過npm start來啟動... 真正的啟動程式定義在package.json,位置為bin/www。

$ cd $project_home  $ npm start  

撰寫服務執行者(Worker)

預設我只提供了一個RESTful Client來在排程時間到之後透過Url的方式來執行服務,這個RESTful Client(workers/restclient.js)的目的在使用前端傳入的opts參數內容來使用request模組來達到呼叫的目的。

每個Worker的必要條件如下:

  • 必須放置在$project_home/workers下面
  • 名稱必須與呼叫時候給定的"catg"參數值相同
  • 可參考restclient.js實作Worker:
    • 必須具備exec這個function
    • 這個 exec function 必須有一個opts的json字串輸入,這個值是由呼叫時候給訂opts參數傳入。
var request = require('request');  var log = require('nodeutil').simplelog;    exports.exec = function(opts) {      if(typeof(opts) == 'string')          opts = JSON.parse(opts);    //Here you can do the job...      request(opts, function(e, r, d) {          if(e) log.error('Job[%s] execute error:', e);          log.info('Job[%s] execute result:', d);      });  }  

新增加一筆服務

一切準備就緒後,在服務啟動完成,就可以透過下面方式呼叫新增一筆排程工作...

curl -X POST -sS http://127.0.0.1:3000/schedule/testjob \    -d "jobtime=2015/2/1 1:59:00" \    -d catg=restclient \    -d 'opts={"url":"http://localhost:3000","method":"GET"}'


以上內容,收錄於Node.js in Example!

2014年12月14日 星期日

Commit docker into private repository

Docker無限好,只是怎麼擁有自己的repository呢?!如果你跟我想要的一樣,可以參考自建docker registry...

懶人版,直接用docker跑registry server然後儲存空間接google cloud storage作為永久保存...

強人版,完全自建,加上用Nginx作為registry的https通道...

厲害高手太多,這邊只分享一個遇到的狀況... Mac版本升級到最新的boot2docker後,居然不支援非ssl協定的registry...
錯誤如下:



找了一下Google... 原來1.3.1之後的docker預設不支援非https的registry,應該是安全性上的問題...
相關的說明如下:



試試看... 



再透過boot2docker ssh可以切入到container的平台...



然後執行文件中提示的環境設定後,重啟docker....
之後push到private registry就都沒問題拉 :D

2014年10月23日 星期四

Mac OS 10.10 ruby bad interpreter issue

應該不少人更新了Mac OS 10.10
在使用上可能跟我一樣會發生ruby的執行錯誤問題,這個問題一般是在console mode開啟當下發生:


修正方式很簡單,該錯誤是因為ruby interpreter找不到...
在/usr/local/Library/brew.rb這個檔案修改一開始的執行程式位置定義即可

$ vi /usr/local/Library/brew.rb


如上所示,只要把原本的"/System/Library/Frameworks/Ruby.framework/Versions/1.8/usr/bin/ruby -W0"移除,然後改成"/System/Library/Frameworks/Ruby.framework/Versions/Current/usr/bin/ruby -W0",存擋後就可以正常了!

2014年6月25日 星期三

Node.js implements Google API in Command Line

很高興在Google IO Taipei講了一場關於Node.js跟BigQuery結合的分享
跟杭JS同樣的講題,但補充了sql2bq與gcli兩個套件
其中gcli是idea自google api explore裡面的api結構
關於gcli可以參考Github: https://github.com/peihsinsu/gapis
下面簡介一下CLI操作上跟API Explore的對應:

1. "-a [api name]": 帶入的api name是關於目前使用的api是哪一個,其中名稱的簡寫通常是右邊的function名稱的第一個,在這邊即是compute這個字。另外"-v [version]"則是帶入欲操作的api version


2. "-s [scope]"讓操作當下帶入認證所需要的scope資訊,可以讓工具所取到的access token可以binding所給予的授權,增加安全性... 



3. "-f [function name]",這邊指的就是"compute.images.list"這串字,讓使用者可以直接敲入api的function結構去使用每一個google的api


4. "-d [conditions]"是讓您放入網址列的變動參數部分,例如某個操作用到這樣的網址:https://www.googleapis.com/bigquery/v2/projects/mitac-cp300/queries,其中紅色部分是提供在網址列嵌入的,這是REST API的一個特性,我們把它用"-d"的方式來帶入指令...,與scope一樣,可以透過多個-b來輸入多個參數


5. "-b [body]"是用來帶入API call中的一些payload參數,讓屬於post form的一些參數可以直接被帶入做查詢...,與scope一樣,可以透過多個-b來輸入多個參數


於是,整個操作就會類似下面這樣: