GCP 구글 클라우드 용어 정리

 

 

필요한 구글 클라우드 용어에 대해서 정리해보았다!

용어 정리 출처: 

https://brunch.co.kr/@topasvga/731

17.(용어) 구글 클라우드 용어 알아보자. 2019

위의 블로그의 용어정리와 분류방식을 참고하였고, 한빛미디어의 '빠르게 훑어보는 구글 클라우드 플랫폼'을 참고하였다.

https://cloud.google.com/docs#section-10

Google Cloud Platform  |  문서

위 블로그의 용어정리와 구글 클라우드 documentation를 토대로 모르는 개념들은 다시 구글링하여 정리해보았다.🙃

앞으로 공부하면서 추가되는 개념이라던지, 설명을 추가할 것이다.

 

 

1. Big Data & analytics
2. Machine Learning
3. Network
4. Compute
5. 저장장치
6. Database
7. Management Monitoring Service

---

1. Big Data & Analytics

 

빅쿼리 (Big Query) : 대규모 데이터 저장/ 분석 플랫폼으로 Data Warehouse라고도 한다.

멀티 페타바이트 지원하며, 표준 SQL지원한다.

8800개의 CPU와 3600개의 디스크를 사용하는 대규모 인프라를 활용하여 1000억개의 레코드에 대한 질의를 30초 정도에 수행한다.

 

클라우드 데이터플로(Cloud Dataflow) : 아파치 스파크(Apache Spark)나 플링크(Flink)와 같이 실시간 스트리밍 분석 및 배치 분석을 지원하는 플랫폼이다.

오픈소스 프레임워크인 아파치빔( Apache Beam)에 기초하고 있다.

스트림 데이터 처리를 하며, 수집한 데이터를 변환하거나 여러 데이터 소스와 저장소간의 연결(라우팅)을 담당한다.

ETL 처리(Extract, Transform, and Load)

 

*아파치빔(Apache Beam) : Apache Beam 은 ETL, 배치 및 스트림(연속) 처리를 포함하여 데이터 처리 파이프 라인을 정의하고 실행하기 위한 오픈소스 통합 프로그래밍 모델 입니다. 

 

펍/섭 큐(Pub/Sub) : 카프카(Kafka)와 같은 대규모 큐잉 시스템으로, 데이터를 대규모로 수집한다. 

스트림 데이터 처리를 한다.

 

클라우드 데이터랩 (DataLab) : 데이터랩은 데이터과학자나 엔지니어가 여러가지 데이터소스에 접속해서 MS워드와 같은 환경에서 작업 내용을 저장하고, 구글 빅쿼리 등과 연결해서 바로 질의를 수행할 수 있는 웹 기반의 제작도구이다. 

 

데이터프록(Cloud Dataproc) : 오픈소스 빅데이터 플랫폼인 하둡(Hadoop)과 스파크의 매니지드 서비스로, 클러스터를 90초안에 배포할 수 있고, 분당과금을 지원한다. 

빠르고 편리하게 작업하면서 사용한만큼만 정확하게 비용을 지불하여 비용낭비를 줄인다. 

 

데이터스튜디오(Cloud Data Studio) : SQL이나 빅쿼리등의 데이터 소스를 기반으로 시각적인 보고서를 생성하는 제품이다. 

 

Cloud Composer : 워크플로우 조정

 

클라우드 데이터프렢(Cloud Dataprep) : 데이터 준비/정리하며, 이상감지시(detect anomalies) 사용된다. 

https://cloud.google.com/dataprep/

Trifacta의 Cloud Dataprep  |  Google Cloud

 

 

2. Machine Learning

 

API (Application Programming Interface)

API서비스는 머신 러닝 개념을 모르더라도 약 20~30줄의 코드만으로 머신러닝 기능을 바로 사용할 수 있도록 해줌

• Cloud Speech-to-text
  Speech API(스피치 API) : 음성을 인식하여 텍스트로 변환
• Cloud Translation
  Translate API(번역 API) : 80여개의 나라의 언어를 읽어서 번역
• Cloud Vision
  Vision API(비전 API) : 사진, 이미지에서 사람의 표정과 사물을 인식
• Cloud Natural Language
  자연어 처리, 텍스트 문서, 뉴스 기사, 블로그에 언급된 인물, 장소, 이벤트 정보를 추출
• Cloud Video Intelligence : 비디오

Cloud Machine Learning Service (텐서플로)

텐서플로(Tensorflow)는 알파고에 탑재된 딥러닝 프레임워크이며, 구글 클라우드에서 CloudML이라는 이름의 클라우드서비스로 제공한다.

CloudML은 자신만의 머신러닝을 개발하고자 하는 사람에게 강력하고, 대용량의 컴퓨팅파워를 제공한다.

TPU(Tensor Processing Unit) : 구글이 자체개발한 텐서플로전용CPU

 

Cloud AutoML : 머신러닝 개발자를 위한 vision, translation, natural language API제공

 

Dialogflow Enterprise Edition : 대화형 인터페이스

 

API platform : 완전관리형 머신러닝으로, 클라우드 머신러닝 엔진, Tensorflow, 머신러닝은 명시적으로 프로그래밍하지 않고, 예제 데이터를 사용하여 작업을 수행하도록 컴퓨터를 학습

 

Cloud IoT Core Edge : IoT(Internet of Things), 사물인터넷으로 소·시간에 제약 없이 어떤 사물이든 상호 작용이 가능한 것으로, 센서와 통신 기능을 내장한 사물이 인터넷 통해 각 사물을 연결

 

3. Network

 

Cloud Armor : 서비스 방어 체계로 Global Cloud Load Balancing 인프라와 연동되며 공격 감지 및 완화 기능을 상시 제공하여 비즈니스를 중단 없이 운영할 수 있게 해준다.

 

Cloud DNS : Google과 동일한 인프라에서 실행되어 확장성과 안정성이 높은 관리형 권한 DNS(도메인 이름 시스템) 서비스이다. 영역 수(도메인 이름) 및 DNS 조회 요청수를 기반으로 요금을 부과

 

Virtual Private Cloud : 가상 네트워크로, 데이터 센터 네트워크와 같은 실제 네트워크의 가상 버전이다.

구글 클라우드 리소스에 대한 네트워킹 기능을 제공한다.

Compute Engine 가상 머신(VM) 인스턴스, Google Kubernetes Engine(GKE) 컨테이너, App Engine 가변형 환경에 네트워킹 기능을 제공합니다. VPC는 클라우드 기반 서비스에 대해 확장 가능하고 유연한 전역 네트워킹을 제공합니다.

 

Cloud Load Balancer : 로드 밸랜서

Cloud Load Balancing : 부하 분산으로, 가동 준비 과정 없이 Compute Engine에서 애플리케이션을 최대 범위까지 확장할 수 있다.

 

Firewall rule : 방화벽 규칙

Google Cloud 방화벽 규칙을 사용하면 지정한 구성을 기준으로 가상 머신(VM) 인스턴스 간의 트래픽을 허용하거나 거부할 수 있다. 사용 설정한 Google Cloud 방화벽 규칙은 인스턴스의 구성 및 운영 체제와 상관없이 인스턴스를 보호할 수 있도록 항상 실행된다.

 

Cloud CDN(Content Delivery Network) : 전 세계적인 규모와 도달범위를 기반으로 빠르고 안정적인 웹 및 동영상 콘텐츠 전송

 

Cloud VPN : 가상사설망

 

Cloud Interconnect : Cloud Interconnect를 활용하면 가용성이 높고 지연 시간이 짧은 연결을 통해 온프레미스 네트워크를 Google 네트워크로 확장할 수 있다.

 

 

4. Compute

 

Compute Engine : Compute Engine은 고성능의 네트워킹 인프라와 블록 스토리지에 액세스할 수 있는 Google의 데이터 센터에서 실행되는 구성 가능한 가상 머신

 

App Engine : 완전 관리형 서버리스 애플리케이션 플랫폼으로 기본 인프라 관리를 걱정할 필요 없이 규모에 구애받지 않고 애플리케이션을 원활하게 확장할 수 있다.

• App Engine Standard
  Scaling finer-grained, app idle case billing can drop, google maintains runtime binaries
• App Engine Flexible
  write local disk, install third-party binaries, can SSH, 다양한 언어지원, 실행되는 지역 제어 가능

 

Google Kubernetes Engine : 

Pod(파드) : 파드 는 쿠버네티스 애플리케이션의 기본 실행 단위이다. 쿠버네티스 객체 모델 중 만들고 배포할 수 있는 가장 작고 간단한 단위이다. 파드는 클러스터에서의 Running 프로세스를 나타낸다.

 

Cloud Function : Google Cloud의 이벤트 기반 서버리스 컴퓨팅 플랫폼이다.

쉽고 간편하게 cloud function을 통해 코드로 클라우드 서비스를 연결할 수 있다.

cloud function에 대한 동영상 👇🏻

https://www.youtube.com/watch?time_continue=62&v=1r3vMYywNLk&feature=emb_title

 

• 개발자 환경 간소화 및 개발자 속도 증가
• 사용한 만큼만 지불
• 개방형 기술로 종속 방지

 

Cloud Run : 테이트리스(Stateless) 컨테이너를 자동으로 확장하는 완전 관리형 컴퓨팅 플랫폼이다. 

서버리스 기반으로 인프라 관리가 필요 없다. 따라서, 개발자 본연의 업무인 애플리케이션 개발에 집중할 수 있다.

cloud run에 대한 동영상 👇🏻

https://www.youtube.com/watch?time_continue=5&v=gx8VTa1c8DA&feature=emb_title

 

 

5. 저장장치

 

Cloud Storage : Cloud Storage를 사용하면 데이터 양에 관계없이 언제 어디서나 데이터를 저장하고 검색할 수 있다.습Cloud Storage를 통해 웹사이트 콘텐츠를 제공하거나, 보관 및 재해 복구를 위해 데이터를 저장하거나, 직접 다운로드를 통해 사용자에게 대량의 데이터 객체를 배포하는 등 다양한 용도로 사용할 수 있다.

오브젝트 스토리지로, 이미지, 동영상을 저장한다.

글로벌 에지 캐싱으로 객체를 저장

 

Filestore : Cloud Filestore는 파일 시스템 인터페이스와 데이터 공유 파일 시스템이 요구되는 애플리케이션용 관리형 파일 스토리지 서비스다. Filestore는 관리형 Network Attached Storage(NAS)를 Google Compute Engine 및 Kubernetes Engine 인스턴스와 같이 수행할 시 편리한 기본 환경을 제공한다.

 

Persistent Disk : Google Persistent Disk는 Google Cloud Platform을 위한 내구성이 뛰어난 고성능 블록 스토리지입니다. Persistent Disk는 Compute Engine이나 Google Kubernetes Engine에서 실행하는 인스턴스에 연결 가능한 SSD 또는 HDD 스토리지를 제공합니다. 스토리지 볼륨 크기를 투명하게 조절하고 빠르게 백업하며 동시 읽기를 지원할 수 있습니다.

VM인스턴스에 블록 스토리지를 추가

 

 

6. DataBase

 

Cloud Bigtable : Cloud Bigtable은 머신러닝 애플리케이션용 스토리지 엔진으로 설계되었으며 오픈소스 빅데이터 도구와 간편하게 통합된다.

Hadoop, Cloud Dataflow, Cloud Dataproc 등 널리 사용되는 빅데이터 도구와 쉽게 연동된다.

실시간 데이터 처리

구조화된 데이터(structured objects)

single key 기반

구글의 웹 검색 색인을 위해 시작

 

Cloud Spanner : Cloud Spanner는 클라우드 전용으로 설계되고 강력한 일관성을 갖춘 최초의 확장 가능한 엔터프라이즈급 글로벌 분산형 데이터베이스 서비스로서, 관계형 데이터베이스 구조와 비관계형 수평적 확장의 이점을 결합

 

Firestore : 차세대 Cloud Datastore

Cloud Firestore는 Firebase 및 Google Cloud Platform의 모바일, 웹, 서버 개발에 사용되는 유연하고 확장 가능한 데이터베이스이다. Firebase 실시간 데이터베이스와 마찬가지로 실시간 리스너를 통해 클라이언트 애플리케이션 간에 데이터의 동기화를 유지하고 모바일 및 웹에 대한 오프라인 지원을 제공해 네트워크 지연 시간이나 인터넷 연결에 상관없이 원활하게 반응하는 앱을 개발할 수 있다.

 

Cloud SQL : MySQL, PostgreSQL, SQL Server를 사용하는 애플리케이션과 완전히 호환되며, 전 세계 어디서든지 거의 모든 애플리케이션과 연결할 수 있다. Cloud SQL은 백업, 복제, 장애 조치를 자동화하여 데이터베이스에 성능 요건에 맞는 안정성, 고가용성, 유연성을 제공한다.

관계형 데이터베이스

 

Memorystore : Cloud Memorystore는 Google에서 관리하는 확장 가능하고 안전하며 가용성이 뛰어난 인프라를 기반으로 한 완전 관리형 인메모리 데이터 저장소 서비스이다. Memorystore를 사용하면 밀리초 이하의 데이터 액세스를 제공하는 애플리케이션 캐시를 빌드할 수 있다.

 

Cloud Datastore : 애플리케이션에 사용되는 확장성 높은 NoSQL 데이터베이스

Cloud Datastore는 자동 샤딩 및 복제 처리를 통해 자동으로 확장되는 가용성과 내구성이 높은 데이터베이스를 제공해 애플리케이션 부하를 처리한다. Cloud Datastore는 ACID 트랜잭션, SQL 유사 쿼리, 색인 등 수많은 기능을 제공한다.

entity를 사용

user profile database에 사용

gmail에 사용

NoSQL

분석이 아님

구조화된 데이터 (structured objects)

대규모 데이터 처리

 

7. Management Monitoring Service 

 

Stackdriver : Google Cloud에 포함된 Stackdriver는 여러 가지 관찰 기능으로 클라우드 인프라, 소프트웨어, 애플리케이션의 성능을 모니터링하여 문제를 해결하고 개선하도록 설계됨

OPS, SECOPS, SRE, DEVOPS를 위한 기능

 

Stackdriver Monitoring : 모니터링

 클라우드 기반 애플리케이션의 성능, 업타임, 전반적인 상태에 관한 정보를 제공합니다. Stackdriver는 측정항목, 이벤트, Google Cloud Services의 메타데이터, 호스팅한 업타임 프로브, 애플리케이션 계측, 여러 종류의 공통 애플리케이션 구성요소 등을 수집합니다.

 

Stackdriver Logging : 로그 모니터링

규모에 맞춰 실행되는 완전 관리형 서비스로 애플리케이션과 시스템 로그 데이터뿐만 아니라 몇 천 개의 VM 커스텀 로그 데이터까지 수집할 수 있습니다. Stackdriver Logging을 통해 실시간으로 선택된 로그를 분석해 장기 스토리지로 내보낼 수 있습니다.

 

Cloud Deployment Manager : 배포 시스템

애플리케이션에 필요한 모든 리소스를 yaml을 사용한 선언 형식으로 지정할 수 있다.

 

Source Repositories : 비공개 git repositories

무료로 제공되는 무제한 비공개 저장소를 통해 코드를 가장 효과적인 방식으로 정리할 수 있으며, GitHub 또는 Bitbucket 저장소의 코드를 미러링하여 강력한 코드 검색, 코드 탐색, 진단 기능을 사용할 수 있다.

 

Cloud Endpoints : API 로깅, 모니터링 지원, API 관리

API를 개발, 배포, 보호, 모니터링한다. NGINX 기반 프록시 및 분산 아키텍처가 우수한 성능과 확장성을 제공

 

Apigee Edge : 고객 대면, 비즈니스 분석 및 청구 수행

 API를 개발하고 관리하기위한 플랫폼

 

Cloud IAM : Cloud Identity and Access Management

계정 관리 서비스

관리자가 누가 어떤 리소스에 조치를 취할 수 있는지 승인할 수 있어 클라우드 리소스를 중앙에서 관리하는 데 필요한 완전한 제어와 가시성을 얻을 수 있다.