Download to read offline
![CloudWatch – 이벤트 버스(패턴)
• 지원되는게 너무 많다...
https://docs.aws.amazon.com/ko_kr/A
mazonCloudWatch/latest/events/Even
tTypes.html
• 다른 계정에서
전송/수신하도록 설정 가능
https://docs.aws.amazon.com/ko_kr
/AmazonCloudWatch/latest/events/
CloudWatchEvents-
CrossAccountEventDelivery.html
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
{
"version": "0",
"id": "3e3c153a-8339-4e30-8c35-687ebef853fe",
"detail-type": "EC2 Instance Launch Successful",
"source": "aws.autoscaling",
"account": "123456789012",
"time": "2015-11-11T21:31:47Z",
"region": "us-east-1",
"resources": [
],
"detail": {
"eventVersion": "",
"responseElements": null
}
} cs](https://image.slidesharecdn.com/awslambdastepfunctioncloudwatch-190826132108/85/AWS-lambda-step-function-cloud-watch-59-320.jpg)
![CloudWatch – 이벤트 버스(패턴)
• 지원되는게 너무 많다...
https://docs.aws.amazon.com/ko_kr/A
mazonCloudWatch/latest/events/Even
tTypes.html
• 다른 계정에서
전송/수신하도록 설정 가능
https://docs.aws.amazon.com/ko_kr
/AmazonCloudWatch/latest/events/
CloudWatchEvents-
CrossAccountEventDelivery.html
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
{
"version": "0",
"id": "3e3c153a-8339-4e30-8c35-687ebef853fe",
"detail-type": "EC2 Instance Launch Successful",
"source": "aws.autoscaling",
"account": "123456789012",
"time": "2015-11-11T21:31:47Z",
"region": "us-east-1",
"resources": [
],
"detail": {
"eventVersion": "",
"responseElements": null
}
} cs](https://image.slidesharecdn.com/awslambdastepfunctioncloudwatch-190826132108/75/AWS-lambda-step-function-cloud-watch-59-2048.jpg)
Uploaded byHan Sung Kim
AWS lambda, step function, cloud watch
AWS lambda, step function, cloud watch 운영경험을 바탕으로 진행한 내부 세미나용 PPT
More Related Content
Similar to AWS lambda, step function, cloud watch
![[MASOCON 2019] Serverless - Kimminjun](https://cdn.slidesharecdn.com/ss_thumbnails/masocon2019kimminjunserverless-191124110856-thumbnail.jpg?width=600ounds&width=560&fit=bounds)
![[AWS Builders] AWS 서버리스 서비스를 활용한 웹 애플리케이션 구축 및 배포 방법 - 정창호, AWS 솔루션즈 아키텍트](https://cdn.slidesharecdn.com/ss_thumbnails/5severles-191112092245-thumbnail.jpg?width=600ounds&width=560&fit=bounds)
AWS lambda, step function, cloud watch
- 1.
- 2.
- 3.
- 4. Lambda • 서버를 프로비저닝하거나관리하지 않고도 코드를 실행할 수 있게 해주는 서버리스 컴퓨팅 서비스 • 주요 기능 • AWS Service 를 연결해주는 역할(서비스 확장) • 스케줄링, 이벤트 처리 • 모니터링, 백엔드 서버(API) • CI/CD(자동 배포)
- 5.
- 6. Lambda - 간단한예제2
- 7. Lambda - 생성 •사용자 지정 Runtime을 사용해서 공식적으로 지원하지 않는 버전을 사용할 수 있음 → Support 지원이 어려울 수 있음
- 8. Lambda - 지원하는플랫폼 • 기본적으로 Python, Node.js 사용 추천 • 사용하지 말아야할 것 – Java, C# • 추천 – Python, Node.js • 생명체빼고 다 만든다는 갓Python
- 9. Lambda - 구조 AWS가최적화할 수 있는 부분과 직접 최적화할 수 있는 부분이 존재함
- 10. Lambda - Container 문제는Container 재사용이 보장되지 않음 (재사용, 추가, IDLE...) ex) 발생하는 문제점 환경변수나 Code가 변경됐을 때 적용시점이나 적용된 Container를 알 수 없음
- 11. Lambda – Java •평균/지속적인 속도는 Java가 좋음 • 하지만 상대는 Serverless
- 12. Lambda – ColdStart
- 13. Lambda – ColdStart(Detail)
- 14. Lambda – ColdStart
- 15. Lambda – ColdStart • 언어/메모리마다 다른 Cold Start Time 이것이 돈의 맛 • 가격/성능을 고려했을때 1024MB가 적절함 1,792MB = vCPU 1개
- 16. Lambda – ColdStart 최적화 • https://theburningmonk.com/2017/06/aws-lambda-compare-coldstart-time-with-different-languages-memory-and-code-sizes/ • Code(Package)의 크기가 Cold Start Time에 크게 영향을 주지 않음(물론 너무 큰 건 좀...)
- 17. Lambda – ColdStart 최적화 • Cold Start가 없게 모두 Warm 상태로 만든다 • https://github.com/FidelLimited/serverless -plugin-warmup • AWS SDK 활용 (기본 내장)
- 18. Lambda - 가성비 •Lambda • 비용 – 0.1초에 $0.000001667 = 1시간에 $0.06 = 1달(750시간)에 $45 • 성능 – vCPU 1개, 1024MB(1GiB) • EC2 t2.small • 비용 - 시간당 0.0288달러 = 1달에 $21 • 성능 – vCPU 1개, 2GiB
- 19. Lambda • 스케줄링, 배치처리 •Resource가 예상이 안되는 작업 • ex) 이미지 처리, 인코딩/디코딩 등등 • 다른 Serverless Service와 연동해서 사용 • ex) Lambda – S3 Lambda – SNS – Lambda CloudWatch – SNS- Lambda
- 20.
- 21. Lambda - Trigger •잘쓰면 매우 좋은 기능 • 잘쓰기 어려운 기능 MSA 간접 체험
- 22.
- 23. Lambda - 한계 •동시 실행 = 1000(리전당) • 제한 시간 = 900s • request payload • 동기 = 6MB • 비동기 = 256KB • 배포 패키기 • 콘솔 = 3MB • 직접 업로드 = 50MB • 계층 포함 = 250MB (최대 5개 계층) • /tmp 스토리지 = 512MB
- 24. Lambda - 한계 •ENI(Elastic Network Interface) 용량 = 동시실행 x (? GB / 3 GB) • ENI수 = IP주소(서브넷) • IP는 늘 부족... (여러 가용 영역을 써야함) • IP가 없으면 EC2 오류 유형의 호출 오류 증가 • ENI 생성도 제한 https://docs.aws.amazon.com/ko_kr/lambda/latest/dg/vpc.html • 동시성 조절(동시성 한도 도달) • 이벤트(동기/비동기) • 스트림 & poll(Kenesis) • !스트림 & pool(SQS)
- 25. Lambda – BestPractice • 높은 자원 활용률 + 낮은 비용 • 다양한 Workload
- 26. Lambda – BestPractice 2 • https://youtu.be/0PRjqEQ2J 3g?t=1406 • https://docs.aws.amazon.co m/ko_kr/lambda/latest/dg/vp c.html
- 27. Lambda – BestPractice 3 • 공통 코드 = /opt • 임시 파일 = /tmp • Cold Start 상관X • Deploy 상관O • https://aws.amazon.com/ko/blogs/korea/new-for-aws-lambda-use-any-programming- language-and-share-common-components/
- 28. Lambda - Deploy •기본 AWS SAM CLI 사용 https://docs.aws.amazon.com/ko_kr/lambda/latest/dg/lambda-python-how-to-create-deployment-package.html 빠르지만 번거로움 • Serverless framework 사용 https://serverless.com/framework/docs/providers/aws/guide/deploying/ 상대적으로 느리지만 cmd 한번으로 deploy 가능 • 주로 쓰는 Library는 계층(Layer) 사용 • Code Commit/Build/Deploy/Pipeline를 통해 간단하게 자동 배포 구성 가능
- 29. Lambda – AWSToolkit • AWS Plugin – Jetbrain, Eclipse, VS code 지원 • 런타임에 즉시 배포 가능한 서버리스 애플리케이션 생성 • 로컬에서 코드 실행/디버깅 가능 • 로컬/원격으로 Lambda 함수 호출 가능 (remote debug 지원X) • local docker container를 사용하기 때문에 고사양 PC필요 + 윈도우 금지 https://aws.amazon.com/ko/blogs/korea/new-aws-toolkits-for-pycharm-intellij-preview-and-visual-studio-code-preview/
- 30. Lambda – 코드재사용 • 이미 있는 함수를 재사용하고 싶다? -> Invoke
- 31. Lambda - Invoke •RequestResponse (default) – 동기 처리, Connection이 유지 • Event – 비동기 처리. connection 없이 event push 후 종료 • DryRun – 유저나 Role의 권한이나 parameter 값만 확인 • 한두개만 쓸거라면 invoke 추천 -> Step이나 조건이 많다면 Step Function을 사용!
- 32.
- 33. Step Function • 시각적워크플로우를 사용해 분산 애플리케이션 및 마이크로서비스의 구성 요소를 손쉽게 조정하도록 해주는 웹 서비스
- 34. Lambda Invoke vsStep function • Invoke = stateless • step function = stateful
- 35. Step Function • 대표사례- 코카콜라 구입 • 결제 처리 -> 자판기 동작 -> 음료수가 나올 90초 대기 -> 잔액 확인 -> 모바일 지갑 잔액 업데이트
- 36. Step Function -Stateful • 다양한 상태값 • Task : 작업 수행 • Choice : 실행 브랜치 선택 • Fail/Succeed : 실패/성공 • Pass : 단순 전달, 일부 수정 후 전단 • Wait : 실행 지연 • Parallel : 브랜치 병렬 실행
- 37. Step Function • 예제상태 시스템 코드 https://docs.aws.amazon.com/ko_kr/step- functions/latest/dg/sample-project- transfer-data-sqs.html
- 38. Step Function • 가격정책 https://aws.amazon.com/ko/step-functions/pricing/ 상태 전환 1000번당 $0.0271 • 유사 서버 • 잘 안쓰는 서비스
- 39.
- 40. CloudWatch • Amazon WebServices(AWS) 리소스와 AWS에서 실시간으로 실행 중인 애플리케이션을 모니터링 • CloudWatch를 사용하여 리소스 및 애플리케이션에 대해 측정할 수 있는 변수인 지표를 수집하고 추적
- 41. CloudWatch 기능 • 로그(Log) •지표(Metric) • 대시보드(Dashboard) • 경보(Alarm) • 이벤트(Event)
- 42. CloudWatch – 로그그룹 • 단순 Log뿐 아니라 스트림 작업도 가능
- 43. CloudWatch – 로그그룹 • 단순 Log뿐 아니라 특정 로그의 필터에 대한 스트림 작업도 가능
- 44. CloudWatch - 로그 •Kinesis Firehose 로그
- 45. CloudWatch – 로그필터 • TEXT, JSON 필터(검색) 가능 • Log 쓰는법만 따로 Docs가 있을정도 https://docs.aws.amazon.com/ko_kr/Amaz onCloudWatch/latest/logs/WhatIsCloudW atchLogs.html
- 46. CloudWatch – 지표1 •Dynamo DB 사용량(AWS 실습)
- 47. CloudWatch – 지표2 •AWS 교육 이후, 일부 지우지 않은 서비스에 대한 비용 발생
- 48. CloudWatch – 로그& 지표 Datalab-DDBtoKinesis 로그에서 history_seq = “14”인 케이스만 지표로 생성 지표로 할당한 이후부터 발생한 로그에 대해서 생성됨
- 49. CloudWatch - 대시보드 •지표의 모음(그룹) • 이쁘게 만들어서 모니터 한쪽에 띄워둡니다 (듀얼모니터의 필요성) • 평소랑 다른 모양이라면 일단 한번 쳐다봅시다
- 50. CloudWatch - 경보 •대시보드를 볼 시간이 없다 • 빠른 장애 대응을 원한다 • 장애 대응에 대한 업무 자동화 CloudWatch Alarm(경보) 사용
- 51. CloudWatch – 경보예시 • AWS 요금이 발생할 때 경보 알림을 보냄 • 6시간 내에 측정된 요금이 0 이상이면 경보!
- 52. CloudWatch – 경보예시 • 파란색 = 측정된 값 • 빨간색 = 임계값
- 53. CloudWatch – 경보예시 • 데이터 포인트 수를 조절해서 일시적으로 발생한 경보 무시 가능 ex) 10번 중 5번 발생 -> 경보
- 54. CloudWatch – 경보예시 • 요금이 부과되면 SNS Topic (NotifyMe)에 Push하고 해당 SNS Topic은 구독자인 이메일에게 내용 발송 • 응용하면 SNS에서 이메일 대신 Lambda를 호출해서 이메일, SMS, Slack 등등으로도 알림이 가능함!
- 55. CloudWatch – 경보예시 • SNS말고도 Auto Scaling, EC2 작업도 가능함 • ex) • CPU가 70%가 넘어가면 instance 추가 • instance 가 멈추면 자동 재시작
- 56. CloudWatch – 이벤트 •리소스의 변경 사항을 설명하는 시스템 이벤트의 스트림을 거의 실시간으로 제공 • 쉽게 말해서 Lambda Trigger • 1개 이벤트에 대상은 최대 5개 • 이또한 따로 Docs가 존재함 https://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/events/WhatIsCloudWatchEvents.html
- 57. CloudWatch – 이벤트 •Amazon EC2 인스턴스 • AWS Lambda 함수 • Amazon Kinesis Data Streams의 스트림 • Amazon Kinesis Data Firehose의 전송 스트림 • Amazon CloudWatch Logs의 로그 그룹 • Amazon ECS 작업 • 시스템 관리자 실행 명령 • 시스템 관리자 자동화 • AWS Batch 작업 • Step Functions 상태 시스템 • CodeBuild 프로젝트 • Amazon Inspector 평가 템플릿 • Amazon SNS 주제 • Amazon SQS 대기열 • EC2 CreateSnapshot, RebootInstances, StopInstances, TerminateInstances API call. • 다른 AWS 계정의 기본 이벤트 버스 • CodePipeline의 파이프라인
- 58. CloudWatch – 이벤트규칙 • Cron : cron(0 12 * * ? *) – 매일 UTC 12시에 이벤트 발생 • Rule : rate(1 minute) – 1분마다 이벤트 발생 • 주로 Batch, Schedule할 때 사용
- 59. CloudWatch – 이벤트버스(패턴) • 지원되는게 너무 많다... https://docs.aws.amazon.com/ko_kr/A mazonCloudWatch/latest/events/Even tTypes.html • 다른 계정에서 전송/수신하도록 설정 가능 https://docs.aws.amazon.com/ko_kr /AmazonCloudWatch/latest/events/ CloudWatchEvents- CrossAccountEventDelivery.html 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 { "version": "0", "id": "3e3c153a-8339-4e30-8c35-687ebef853fe", "detail-type": "EC2 Instance Launch Successful", "source": "aws.autoscaling", "account": "123456789012", "time": "2015-11-11T21:31:47Z", "region": "us-east-1", "resources": [ ], "detail": { "eventVersion": "", "responseElements": null } } cs