Pivotal Cloud Foundry - PaaS

2015. 7. 23. 20:32

Cerberos

Techs

(younjin.jeong@gmail.com, 정윤진)

회사의 공식 블로그 계정을 얻었는데, 아무래도 거기는 정식 교육을 다 마친후에 포스팅을 하는것이 좋을 것 같아서 일단 여기에. Pivotal 에 입사한 이후에 회사가 가진 다양한 제품에 대해 이리저리 살펴보다 보니, 이 PaaS 라고 불리는 물건이 꽤나 재미있어서 포스팅을 한번.

Pivotal 이라는데가 사실 제법 꽤 유명한 회사인데, 아직 잘 모르시는 개발자 분들을 많이 만남.

https://spring.io/ 페이지 맨 아래 보시면.

앞으로 Spring 하시면서 Pivotal 모르기 없기. (Grails 와 Groovy 도..) :-)

쭉 쓰다 보니 막상 Cloud Foundry PaaS 를 어떻게 쓰는지, 어떤 컨셉인지에 대한 설명이 잘 없는것 같아서 긴급 추가. Syntax highlight 는 살짝 귀찮아서 나중에 업데이트를 하기로 ㅎㅎ

git clone [깃트허브에서원하는코드를클론]

cd [클론된코드디렉토리]

cf push [앱이름]

배포 끝. http://앱이름.도메인.컴 으로 접근해 보면 즉각 확인 ㅎㅎ

내가 지금 MySQL이 내 어플리케이션에 필요하다. 그렇다면

cf create-service mysql [서비스플랜] [내mysql이름]

cf bind-service [내mysql이름] [앱이름]

그럼 접근 정보는 어떻게 참조하냐. 서비스가 앱에 연결이 되어 있다면 환경 변수로 참조가 가능하겠다.

https://docs.cloudfoundry.org/devguide/services/managing-services.html

백문이 불여일견. 백견이 불여일행. 이 포스팅을 다 읽고 궁금하시면 http://run.pivotal.io/ 로 고고씡. 60일 트라이얼. PCF 버전에서 현재 지원하는 언어는 아래와 같고, 현재 .NET 을 실험적으로 올려볼 수 있음.

MacBook-Air:cf-release yjeong$ cf buildpacks

Getting buildpacks...

buildpack position enabled locked filename

staticfile_buildpack 1 true false staticfile_buildpack-cached-v1.0.0.zip

java_buildpack_offline 2 true false java-buildpack-offline-v3.0.zip

ruby_buildpack 3 true false ruby_buildpack-cached-v1.3.1.zip

nodejs_buildpack 4 true false nodejs_buildpack-cached-v1.2.1.zip

go_buildpack 5 true false go_buildpack-cached-v1.2.0.zip

python_buildpack 6 true false python_buildpack-cached-v1.2.0.zip

php_buildpack 7 true false php_buildpack-cached-v3.1.1.zip

일단 이 Pivotal 이란 회사가 가진 서비스와 제품의 카테고리는 크게 3가지 정도.

1. Pivotal Labs 라고 불리는 Software 컨설팅 조직. 고객의 개발자와 모니터를 함께 보며 나란히 앉아 합의한 scope 에 따라 8주 - 12주 정도로 개발을 함께 한다. 이를통해 고객은 빠른 속도로 소프트웨어를 개발하는 방법을 습득 가능.

2. PaaS. 다양한 클라우드 인프라 기반 위에서 쉽게 코드를 푸시하여 다양한 서비스와 함께 동작시킬 수 있는 서비스. Cloud Foundry 라 불리우는 플랫폼과 그 외의 Pivotal 이 지원하는 다양한 소프트웨어를 함께 구동하고, 서비스에 반영할 수 있다. 로컬 데이터센터 및 퍼블릭 클라우드, 프라이빗 클라우드 모두에서 동작이 가능.

3. 빅데이터 관련 제품들. 제법 유명한 Greenplum 과 HAWQ, Pivotal Hadoop 등이 있다. Big Data Suite (BDS) 라 불리우는 패키지로 존재하기도.

위의 세가지는, 빠르게 소프트웨어를 개발하는 플랫폼으로 PaaS 를 사용하고 -> 이를 통해서 얻어지는 로그 및 다양한 데이터를 분석해서 -> 다시 어플리케이션에 반영하는 구조에 최적화 되어 있다. 만약 IT 를 전문으로 하는 회사가 아니라면 Labs 과 함께 실제 어플리케이션 개발을 진행해 봄으로서 경험을 체득하는 형태로 구성된다.

Pivotal Labs 에 대한 간략한 설명

https://en.wikipedia.org/wiki/Pivotal_Labs

Case: http://pivotallabs.com/case-studies/

Pivotal Tracker : http://www.pivotaltracker.com/

PaaS 그 자체가 가진 기능도 기능이겠지만, eco system 도 살펴볼 필요가 있다. 어떤 도구들을 함께 PaaS 에서 사용할 수 있는지는 개발자들에게는 매우 중요하니까. https://pivotal.io/platform-as-a-service/pivotal-cloud-foundry/services

그니까 간단하게 몇가지만 소개를 해 보자면.

- Redis

- RabbitMQ

- MySQL

- Gemfire : 이게 제법 엄청난 물건. 글로벌 레벨로 동기화가 가능한 인-메모리 NoSQL : http://pivotal.io/big-data/pivotal-gemfire

- Pivotal Hadoop

- Cassandra with Datasax

- Riak CS, S3 compatible storage

- MongDB

- Neo4j

- Jenkins

- Mobile 관련 : Data sync, App Gateway, Push Notifications, App Distribution

이것들은 모두 Pivotal 의 Cloud Foundry 라 불리는 PaaS 안에서 서비스의 형태로 자연스럽게 연동되며, 여기에 없는 서비스라도 service broker 라는 메커니즘을 통해 외부의 서비스와 연동이 가능하다. 따라서 개발자는 원하는 서비스를 입맛에 맞게 선택하고 이를 코드로 작성하여 바로 배포하여 사용할 수 있는, 그것도 우리 회사의 데이터센터와 AWS, 이후에는 Azure 및 GCE 등에도 코드 변경없이 그대로 푸시가 가능하다는 점.

Pivotal 은 역시 또 그 자체로 다양한 오픈소스의 공헌자이기도 하다. 아래는 Pivotal 이 씨게 지원하고 있는 OSS 리스트.

http://pivotal.io/oss

HP나 IBM의 PaaS 관련 제품들이 Cloud Foundry 기반이라는 것은 이미 널리 알려진 사실. 그리고 이 오픈 소스 버전의 Cloud Foundry 에 commit 되는 code 의 90% 이상이 Pivotal 에서 나온다는 점. 그리고 그 오픈소스에 대한 지원과 사용의 편의성을 구현한 것이 바로 Pivotal Cloud Foundry.

만약 VMware 기반의 vCenter 환경이 있거나, AWS에 계정이 있거나, 또는 OpenStack 을 구성했다면 Pivotal CF 를 다운받아서 설치해 볼 수 있다. 관련 제품의 다운로드는 https://network.pivotal.io/ 에서.

아니 그래서 그게 뭔데 라고 아직도 궁금해 하시는 분들을 위해 설명을 조금 보태자면.

코드는 일반적으로 어떤 서비스를 사용하느냐에 따라 종속성을 가지게 되는데, 이는 클라우드 서비스 공급자 별로 제공하는 SDK 는 물론이거니와 코드 내에서도 어떤 WAS 를 사용하는가, 또는 어떤 캐시클러스터를 사용하는가에 따라 어떠한 환경에 종속적이게 된다. 이러한 제약은 이전에는 뭐 그래, 우리가 그런 소프트웨어와 인프라를 구매 했으니까 라고 생각 될 수 있겠지만, 클라우드 시대에는 각 퍼블릭 클라우드가 제공하는 가격에 따라, 그리고 지역적인 요건, 네트워크의 성능등 다양한 사업 요구 조건에 따라 어플리케이션을 배포하고 구동할 수 있어야 한다는 것. 그러나 이럴때마다 매번 각 환경에 맞도록 코드를 다시 써야한다면 엄청난 수고가 아닐 수 없다.

단순히 멀티클라우드에 대한 요구 사항 뿐만 아니라, 작성된 코드의 동작 여부를 빠르게 확인하고, 이를 prod / stag / dev 환경의 변화에 따른 코드 변화 없이 바로 서비스에 반영할 수 있다는 장점을 얻을 수 있는것.

이 모든것은 '스피드'와 연관이 있으며, 개발이 빨라질 수록 사업의 혁신도 빨라진다는 이야기.

한가지 더 추가 하자면, Cloud Foundry 에 배포되는 앱은 컨테이너 기반이라는 것. - 재밌겠쥬?

아래는 PCF 의 화면. run.pivotal.io

그리고 이것은 AWS에 설치한 PCF.

Cloud Foundry 에 대한 더 쉬운 설명은... 흠.

"On-premise 와 AWS, GCE, Azure, OpenStack, VMware 를 지원하는 확장된 Heroku"

간단 데모

STS + Cloud Foundry

백견이 불여일행.

https://run.pivotal.io

더 재미있는것은 공식 블로그 오픈과 함께 고고씡!

추가.

Cloud Foundry on AWS

http://blog.pivotal.io/pivotal-cloud-foundry/products/pivotal_cloud_foundry_on_amazon_web_services

Cloud Foundry on Azure

https://azure.microsoft.com/blog/2015/05/29/try-cloud-foundry-on-azure-today/

Cloud Foundry on GCE

http://blog.pivotal.io/pivotal-cloud-foundry/products/deploy-and-update-your-google-compute-engine-vms-using-cloud-foundry-bosh

Cloud Foundry on OpenStack

http://blog.pivotal.io/pivotal-cloud-foundry/products/migrating-a-cloud-foundry-paas-to-run-on-openstack

(younjin.jeong@gmail.com, 정윤진)

저작자표시 비영리

,

PaaS Community Leader / Member 를 찾습니다.

2015. 6. 22. 18:02

Cerberos

Techs

(younjin.jeong@gmail.com, 정윤진)

클라우드에 관심이 있으신 분이라면 한번쯤은 들어보셨을 법한 Cloud Foundry 의 한국 Community 를 만들어 보고자 합니다.

국내에서는 Spring Framework 이 매우 유명하고, 많이들 사용하시는 것으로 알고 있습니다만 그 Spring framework 을 만든 회사가 Pivotal 이라는 사실을 아시는 분은 많이 없으신 것 같더라구요. :)

Pivotal 의 경우, Spring framework 및 기타 다양한 Open source 에 기여하고 있으며 또한 소프트웨어 업계에서 유명한 컨설팅/외주 업체인 Pivotal Labs, 그리고 Big data 관련 제품을 담당하고 있는 Big data suite, 마지막으로 이번에 조직중인 Cloud Foundry 의 크게 세가지 제품을 주력으로 한국 고객들을 뵙고 있습니다. http://pivotal.io

이는, 단순히 상용 클라우드 플랫폼 뿐만 아니라 Pivotal 이 90% 이상의 code 를 commit 하고 있는 OSS Cloud Foundry 영역을 포함합니다. http://cloudfoundry.org/index.html

Cloud Foundry 는 PaaS 서비스로서, 현존하는 다양한 퍼블릭/프라이빗 클라우드를 Platform level 에서 묶을 수 있는 강력한 도구 입니다. 백문이 불여 일견, 아래의 이미지로 대신 할게요.

아무튼 OSS Cloud Foundry 및 Pivotal Cloud Foundry 모두에 관심이 있으신 분들, 그리고 기존의 퍼블릭, 하이브리드, 엔터프라이즈 비지니스 등에 관심 있으신 많은 분들의 연락을 기다리고 있겠습니다. 물론 인프라 하시는 분들 뿐만 아니라 개발하시는 분들께도 좋은 내용을 많이 소개해 드릴 수 있을 것 같네요.

재미있는 신기술에 대해 함께할 멤버를 찾습니다!

아래의 링크 Meetup.com 에서 FB 로그인을 통해 쉽게 만나보실 수 있어요.

http://www.meetup.com/Seoul-Cloud-Foundry-Meetup/

(younjin.jeong@gmail.com, 정윤진)

저작자표시 비영리

,

Satellite messaging

2015. 5. 20. 01:34

Cerberos

Techs

(younjin.jeong@gmail.com, 정윤진)

최근 Arduino 관련 shield 를 쇼핑하다가, 아주 흥미로운 물건이 있어서 포스팅 포스팅.

장거리 통신의 원조라면 역시 위성만한게 없다. 위성 통신이란건 일단 모두에게 꿈같은 이야기 일 지도 모르겠지만.

예전에 모토롤라가 엄청 잘나갈때 지구상에서 통신이 안되는 지역이 없도록 하겠노라 해서 저궤도에 위성을 미친듯이 쏘아 올렸던 사업이 있다. 알만한 사람은 다 아는 Iridium. 궁금하신 분들은 클릭 클릭 https://www.iridium.com/About.aspx http://en.wikipedia.org/wiki/Iridium_satellite_constellation

어머 한글 페이지도 있다. http://iridium.sungjin.com/

엄청나고 시원하게도 말아드신 사업으로 정평이 나 있기도 하다.

http://content.time.com/time/specials/packages/article/0,28804,1898610_1898625_1898640,00.html

뭐 어쨌던지간에, 이 플랫폼을 사용한 아두이노 쉴드가 있어 소개한다.

http://www.rock7mobile.com/products-iridium-sbd

가격은 기절하게 비싼 수준은 아니므로, 뭔가 글로벌 레벨에서의 통신 단말을 생각하고 있다면 꽤 괜찮은 솔루션이 될 지도. 이걸 가지고 무엇을 할 수 있을까 고민을 아무리 때려봐도 ~~나는 맨날 드론만 생각이나 응?~~ 이 아니고 기상 관측이라던가, 산악 또는 오지에서 뭔가 응급적인 느낌이라던가 지구 반대편에 있는 무언가에 커맨드를 때리고 싶다던가 하면 생각 할 수 있을법한 장치. 물론 솔라셀 같은 솔루션과 덧붙이면 좋은 그림이 나올지도.

얘는 시범 케이스.

http://www.rock7mobile.com/case-study-hab

http://www.rock7mobile.com/case-study-lohan

여러분 이제 우리 위성으로 놀아요. 응?

(younjin.jeong@gmail.com, 정윤진)

저작자표시 비영리

,

마흔이 되어 간다.

2015. 5. 10. 20:47

Cerberos

Stories

(younjin.jeong@gmail.com, 정윤진)

세상 모든일에 시작이 있듯, 언젠가는 정리 해야 할 일도 있는 것 같다. 결자 해지라고 했던가. 졸업을 하고 삶을 살면서 이렇게 저렇게 꼬인 실타래는 결국 나에게로 돌아온다. 때로는 반갑고, 때로는 걱정스러우며, 또한 때로는 삶의 방식에 변화를 주어야 할 만큼 상처를 안기기도 하지만, 결국 모든 시작은 나로 부터 였던 것.

블로깅을 시작 한지도 어느덧 십여년이 되어가지만, 생각보다 기술 포스팅을 많이 하지도 못한것 같고, 그저 이런 저런 푸념이나 인터넷에 퍼질러 놓는 공간은 아니었나 반성해 본다. 좋아하는 사진도 전화기로 대체한지 이미 수년째이고, RC 는 혼자서만 깨작깨작 대는데... 아마 서른 중반에 접어 들면서 일처리는 원숙해 지고, 나이가 나이인 만큼 일도 폭발적으로 많아지고 그러면서 쌓인 피곤에 다른것들은 잘 거들떠 보지 않는, 아니 더 쉽게 말하면 귀찮아 졌던것이 아닐까 싶은.

그나마 건진것이 있다면 나이를 먹어가며 많은 사람들로 부터 그들이 원하는 기술에 대해, 그리고 그 기술과 비지니스의 연관성에 대해 보고, 듣고 또 해결책을 같이 찾아왔던 것이 아니었나 생각해 본다. 여기 아마존에서 일하면서 만난 고객 회사만 수백, 그리고 기술자, 사장님, 기술책임자 등등 헤아릴 수 없이 많았던 스타트업과 대기업 그리고 게임 회사들. 수많은 요청 사이에 어떤때는 성공적으로, 또 어떤때는 제대로 준비가 되지 못함으로 인해 실수를 겪기도 했던 지난 몇년이 아니었나 싶다.

이론이 아니라 실행으로 부터 배운다던가, 성공과 발전으로 가는 길에는 수많은 도전과 그로 인한 실패의 경험이 중요하다던가 하는 좋은 글귀들을 가슴에 새길 수 있기도 했던것.

한동안 내던져진 블로그에 무언가라도 써보고 싶어서 끄적이는 주말 일요일 밤, 생각과 고민이 깊어진다.

간만에 홀로 소주라도 해야 잠이 올 것 같은 5월의 복잡한 밤.

그리고 잊지 말아야 할 한마디, 모두들 고맙습니다. :)

(younjin.jeong@gmail.com, 정윤진)

저작자표시 비영리

,

AWS Lambda & Go!

2014. 12. 23. 16:53

Cerberos

Techs

(younjin.jeong@gmail.com, 정윤진)

최근 AWS에서 새로운 서비스가 나왔는데, 이름하야 Lambda.

구구절절이 자세한 설명은 http://aws.amazon.com/ko/lambda/?nc2=h_ls 여기에서.

읽은척 매뉴얼처럼 요약 버전으로 살짜쿵 정리해 보자면, "이벤트 기반으로 호출되는 function level 의 컴퓨팅 서비스. 즉, 서버를 켜는 대신 코드를 쓰자!" 로 요약이 가능. 그럼 어떤 코드를 쓸 수 있는데? 라고 묻는다면, 일단 제품이 발매 될 때 (지금은 preview 기간) 에 지원되는 언어는 Javascript 로, node.js 코드를 돌릴 수 있다. 지원 되는 버전은 다음의 링크에서. http://docs.aws.amazon.com/lambda/latest/dg/lambda-introduction.html#current-supported-versions

그럼 node.js 만 돌릴 수 있나요 하면 그것은 아니고, 64비트 리눅스 환경에서 동작 할 수 있도록 static 하게 컴파일된 바이너리 또는 external library 를 사용하는 경우에도 함깨 packing 해서 업르도 해 주면 동작할 수 있다. 단, 이 경우에도 trigger 는 node.js 가 되어야 하기 때문에, 이렇게 올라간 바이너리는 child_process 와 같은 도구로 spawn 을 하면 된다. Process 및 thread 를 사용하는 것이 가능하달까. http://aws.amazon.com/lambda/faqs/

어쨌든 preview 권한을 획득하면 다음과 같은 화면에 접근이 가능하다.

화면 왼쪽은 이벤트를 통해 Lambda 에 전달할 json 을 보여준다. 오른쪽의 경우에는 이 이벤트를 통해 트리거될 함수이며, 양쪽 모두 브라우저에서 직접 코드의 수정이 가능하다. 그 아래 보이는 화면은 함수를 invoke 한 경우 그 실행 결과로 출력되는 console output 을 보여주며, 이는 나중에 CloudWatch 를 통해 log stream 으로 확인이 가능하겠다.

왼쪽의 event 로 함수에 전달된는 json 은 S3 / Kinesis / DynamoDB stream 의 템플릿을 확인 할 수 있고, 원한다면 custom template 을 만들어서 전달하는것도 가능하다. 따라서 만약 S3에 어떤 파일이 업로드 된 경우, putObject 가 완료되면 lambda 로 이벤트가 전달되고, 이때 전달되는 json 에는 bucket 의 이름, key 와 같은 정보들이 함께 전달되어 thumbnail 을 생성한다던가 DynamoDB 의 table 에 link 를 업데이트한다던가 하는 동작을 수행 할 수 있겠다.

위에서 설명했듯이 이러한 동작을 node.js 로 할 수 있도록 했지만, 이를 반드시 node.js 로 할 필요는 없기 때문에 여기에 요새 유행하는 Go 를 사용해 보면 어떨까나. AWS에서 Golang 에 대한 SDK 를 정식 배포하고 있지는 않지만, 다음의 링크에서 남이 만들어 놓은 것을 ~~거져 먹을수~~ 참조해 볼 수 있곘다. https://github.com/mitchellh/goamz 일단 땡큐.

여기까지 생각하고 보니 이런 생각을 과연 나만했을까 하는 의심이 들어서 검색질을 했더니 얼씨구나 역시나.

http://blog.0x82.com/2014/11/24/aws-lambda-functions-in-go/

나의 경우 OSX 를 사용하기 때문에 Go 의 corss compile (Lambda 는 64bit Linux 환경이므로) 설정이 필요했다. 무턱대고 돌리면 아래와 같은 에러를 뱉어주실 것임.

$ GOOS=linux GOARCH=amd64 go build HelloWorld.go

go build runtime: linux/amd64 must be bootstrapped using make.bash

OSX 에서 별도의 옵션없이 Golang 을 설치했다면 다음의 위치에서 Cross compile 을 위한 준비가 가능

sudo GOOS=linux GOARCH=amd64 ./make.bash --no-clean

Password:

# Building C bootstrap tool.

cmd/dist

# Building compilers and Go bootstrap tool for host, darwin/amd64.

lib9

libbio

liblink

...

..

.

어쩌고 저쩌고 블라블라

...

testing/quick

text/scanner

---

Installed Go for linux/amd64 in /usr/local/go

Installed commands in /usr/local/go/bin

prompt $

이러면 이제 크로스 컴파일 준비완료.

Go 를 사용해서 원하는 코드를 마음껏 써준다.

package main

import  (
	"fmt"
	"os"
)

func main() {
    fmt.Printf("%v, a message from Go \n", os.Args[1])
}

Linux 64bit 용으로 빌드

GOOS=linux GOARCH=amd64 go build hello.go

node.js 코드 작성

//main.js
var child_process = require('child_process');

exports.handler = function(event, context) {
  var proc = child_process.spawn('./hello', [ JSON.stringify(event) ], { stdio: 'inherit' });

  proc.on('close', function(code) {
    if(code !== 0) {
      return context.done(new Error("Process exited with non-zero status code"));
    }

    context.done(null, 'done!');
  });
}

압축 및 업로드. 업로드는 브라우저에서 해도야 됨. CLI 로 하면 handler / file name 을 제대로 인식하지 못하는 경우가 발생. 아직 preview 라 그런듯.

$ zip test.zip main.js hello

$ aws lambda upload-function --function-name MyFirstGoFunc --function-zip test.zip --runtime nodejs --role arn:aws:iam::xxxxxxxxx:role/lambda_exec_role --handler handler --mode event --timeout 10 --memory-size 128 --region us-west-2

{

"FunctionName": "MyFirstGoFunc",

"CodeSize": 568189,

"ConfigurationId": "c1745483-xxxxxxxx",

"MemorySize": 128,

"FunctionARN": "arn:aws:lambda:us-west-2:xxxxxxxxxx:function:MyFirstGoFunc",

"Handler": "handler",

"Role": "arn:aws:iam::xxxxxxxxxxxx:role/lambda_exec_role",

"Mode": "event",

"Timeout": 10,

"LastModified": "2014-12-23T05:55:10.647+0000",

"Runtime": "nodejs",

"Description": ""

}

브라우저를 통한 업로드.

로그를 확인하려면 "Execution results" 부분의 Click here 를 통해 CloudWatch log stream 으로 이동하면 된다.

그럼 compile 된 Go 코드가 수행되면서 argv[1] 로 받은 event json 이 예쁘게 print 되어 있는 모습을 확인 할 수 있다.

Lambda 는 Function 에 할당하는 메모리의 크기에 따라 코드를 수행하는 플랫폼의 성능이 달라진다고 볼 수 있겠다. 아래의 간단한 uname -a 정보를 통해 Linux 64bit, C코드던 뭐던 좌우당간에 native code 도 동작시킬 수 있다고 보면 될 듯.

exports.handler = function(event, context) {

  var exec = require('child_process').exec,
        child;

  child = exec('uname -a', function(error, stdout, stderr) {
        console.log('stdout: ' + stdout);
        if (stderr) console.log('stderr: ' + stderr);
        if (error) console.log('error: ' + error); 
  });
  context.done(null, 'done!');
}