跳到主要內容

Node.js http.request 接收大檔案方法

感謝Benson大的實戰經驗,解救了小弟一晚的睡眠時間!!
下面是Node.js在使用http.request抓遠端資料
針對資料量比較大的回傳時候的處理方式
主要是http.request在截取資料時候會分段處理
一般,如果照官方網站提供的直接在req.on('data')區段把chunk值回傳的話
則在大檔案的傳輸會被劫斷
而大檔案的時候,req.on('data')實際上會跑多次(跑到結果收完為止)
因此另外設置data參數接續接收每個區段的回傳值
然後在req.on('end')區段再把整個data回傳... 大功告成!

function doRequest(pathcallback) {
  console.log('\n---------------http.request start-----------------');
  console.log('path: ' path);
  var options {
    host : 'xxx.xxx.xxx.xxx',
    port : '80',
    path : path,
    method : 'GET'
  };
  var dopost_req http.request(options, function(res) {
    var statusCode res.statusCode;
    var hearders JSON.stringify(res.headers);
    console.log('>>>Status : ' statusCode);
    console.log('>>>Hearder : ' hearders);
    res.setEncoding('utf-8');
    var data '';
    res.on('data'function(chunk) {
      console.log('>>>chunk : ' chunk);
      data += chunk;
    });
    res.on('end',function(){      
      callback(statusCode,hearders,data);
    })
  });
  dopost_req.on('error'function(e) {
    console.log('>>>>problem with request: ' e.message);
  });
  dopost_req.write('data\n');
  dopost_req.write('data\n');
  dopost_req.end();
}

由衷的感謝Benson大的傳授∼又多學會一招!

這個網誌中的熱門文章

使用 minikube 輕鬆上手 kubernetes

安裝minikube
macOS只需要透過brew即可快速安裝...
brew cask install minikube
Linux環境可以直接下載執行檔,放到環境變數可以吃到的路徑即可...
curl -Lo minikube https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64 && \ chmod +x minikube && \
sudo mv minikube /usr/local/bin/
Windows的下載網址如下: https://storage.googleapis.com/minikube/releases/latest/minikube-windows-amd64.exe
如果您的kubectl尚未安裝,可以直接使用google cloud sdk來安裝:
curl https://sdk.cloud.google.com | bash
gcloud components install kubectl
安裝完成後,原則上minikube會在本地端加入minikube的k8s context,我們可以透過下面指令來使用該context…
kubectl config use-context minikube
然後,可檢查一下您的minikube node是否正常運作....

Oracle LISTAGG

同事介紹的一個Oracle的好用查詢:LISTAGG
SELECT A.GROUP_ID,A.KEY, LISTAGG(A.VALUE,'; ')WITHINGROUP(ORDERBYA.VALUE)as GG  fromSYS_PROPERTIESaGROUP byA.GROUP_ID,A.KEY
LISTAGG可以將group後的結果會總顯示於一個欄位 上述SQL原本A.VALUE會是一個row一個row的排列 使用LISTAGG之後,可以將A.VALUE顯示在同一個row中 並且可以指定間隔符號(在此設定為';') 針對某一些報表查詢非常有用唷 :D

Bash判斷參數是否存在

早上看到nixCraft的文章後,決定在這邊記錄一下...
透過之前提過的 -z "$var"可以判斷var這個變數是否存在 而很多的shell希望判斷可以再精簡一點... 所以會有結合[ test ]跟&&, ||來做流程的方式 其中: [ ] 裡面可以放test語句,執行完會傳出結果為true或false || 我比較不常用,看起來是如果前面為非則執行後面的程式段落 && 這個後面接的是當前面段落執行無錯誤時候,則執行後面程式段落
透過上面說明,使用"||"組句的話,我們可以把判斷是這樣寫:
[ -z "$var" ] || echo "Empty"     #如果var存在為非,則echo Empty
[[ -z "$var" ]] || echo "Empty"   #同上
反之,使用"&&"組句的話,可以:
[ ! -z "$var" ] && echo "Empty"   #如果var存在為是,則echo Empty
[[ ! -z "$var" ]] && echo "Empty" #同上
參考自: http://www.cyberciti.biz/faq/unix-linux-bash-script-check-if-variable-is-empty/