跳到主要內容

Node.js http.request 接收大檔案方法

感謝Benson大的實戰經驗,解救了小弟一晚的睡眠時間!!
下面是Node.js在使用http.request抓遠端資料
針對資料量比較大的回傳時候的處理方式
主要是http.request在截取資料時候會分段處理
一般,如果照官方網站提供的直接在req.on('data')區段把chunk值回傳的話
則在大檔案的傳輸會被劫斷
而大檔案的時候,req.on('data')實際上會跑多次(跑到結果收完為止)
因此另外設置data參數接續接收每個區段的回傳值
然後在req.on('end')區段再把整個data回傳... 大功告成!

function doRequest(pathcallback) {
  console.log('\n---------------http.request start-----------------');
  console.log('path: ' path);
  var options {
    host : 'xxx.xxx.xxx.xxx',
    port : '80',
    path : path,
    method : 'GET'
  };
  var dopost_req http.request(options, function(res) {
    var statusCode res.statusCode;
    var hearders JSON.stringify(res.headers);
    console.log('>>>Status : ' statusCode);
    console.log('>>>Hearder : ' hearders);
    res.setEncoding('utf-8');
    var data '';
    res.on('data'function(chunk) {
      console.log('>>>chunk : ' chunk);
      data += chunk;
    });
    res.on('end',function(){      
      callback(statusCode,hearders,data);
    })
  });
  dopost_req.on('error'function(e) {
    console.log('>>>>problem with request: ' e.message);
  });
  dopost_req.write('data\n');
  dopost_req.write('data\n');
  dopost_req.end();
}

由衷的感謝Benson大的傳授∼又多學會一招!

這個網誌中的熱門文章

Oracle LISTAGG

同事介紹的一個Oracle的好用查詢:LISTAGG
SELECT A.GROUP_ID,A.KEY, LISTAGG(A.VALUE,'; ')WITHINGROUP(ORDERBYA.VALUE)as GG  fromSYS_PROPERTIESaGROUP byA.GROUP_ID,A.KEY
LISTAGG可以將group後的結果會總顯示於一個欄位 上述SQL原本A.VALUE會是一個row一個row的排列 使用LISTAGG之後,可以將A.VALUE顯示在同一個row中 並且可以指定間隔符號(在此設定為';') 針對某一些報表查詢非常有用唷 :D

使用 minikube 輕鬆上手 kubernetes

安裝minikube
macOS只需要透過brew即可快速安裝...
brew cask install minikube
Linux環境可以直接下載執行檔,放到環境變數可以吃到的路徑即可...
curl -Lo minikube https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64 && \ chmod +x minikube && \
sudo mv minikube /usr/local/bin/
Windows的下載網址如下: https://storage.googleapis.com/minikube/releases/latest/minikube-windows-amd64.exe
如果您的kubectl尚未安裝,可以直接使用google cloud sdk來安裝:
curl https://sdk.cloud.google.com | bash
gcloud components install kubectl
安裝完成後,原則上minikube會在本地端加入minikube的k8s context,我們可以透過下面指令來使用該context…
kubectl config use-context minikube
然後,可檢查一下您的minikube node是否正常運作....

新一代LB - Traefik

新一代LB-Traefik Traefik突破以往我們對loadbalancer的觀點,他是一套直接與docker整合的loadbalancer套件...透過Traefik,我們可以使用label的方式將後面啟動的dockerinstance掛載到loadbalancer中,且無需重新啟動Traefik,可直接生效... Traefik基本介紹 Traefik是以動態重載新加入的dockerinstance的方式來替有附加相同domainlabel的dockerinstance建立網路附載平衡的關聯...因此,設定上,與一般我們建立reverseproxy的過程剛好相反(一般我們會先建立服務,再建立reverseproxy將服務串連起來)... Step1-建立Traefik服務 下面我們用官方的composefile來說明... File:docker-compose.yaml version: '2' services: proxy: image: traefik command: --api --docker --docker.domain=docker.localhost --logLevel=DEBUG networks: - webgateway ports: - "80:80" - "8080:8080" volumes: - /var/run/docker.sock:/var/run/docker.sock - /dev/null:/traefik.toml networks: webgateway: driver: bridge 其中traefik啟動時候,我們需要指定docker.domain來告訴taefik要聆聽的domain是哪一個,然後要事先開啟對應的port,讓外部服務可以連到traefik...,另外,我們將dockersocket掛載進來,這是必要的設定,讓traefik可以透過dockersocket來操控一些東西...,最後,traefik.toml檔案,我們保留空的,讓treafik自己建立... 啟動: docker-compose -f docker…