전문가용 데이터 엔지니어 덤프 - 첫 번째 시도 성공 보장 [Q136-Q154]

새 질문 136
화학 회사에서 고객 주문에 대한 문서를 수동으로 확인해야 합니다. 영업 상담원이 주문의 세부 정보를 얻을 수 있도록 게시/서브에서 풀 구독을 사용합니다. 다른 영업 상담원에게 주문을 두 번 처리하지 않도록 하고 이 워크플로우에 복잡성을 더하지 않도록 해야 합니다.
어떻게 해야 하나요?

새 질문 137
회사에서 공장 현장의 실시간 센서 데이터를 Bigtable로 스트리밍하고 있는데 성능이 극도로 저하되는 것을 발견했습니다. 실시간 대시보드를 채우는 쿼리에서 Bigtable 성능을 개선하려면 행 키를 어떻게 재설계해야 할까요?

새 질문 138
Cloud Pub/Sub의 데이터를 BigQuery의 정적 참조 데이터로 보강하기 위해 Apache Beam 파이프라인을 설계하고 있습니다. 참조 데이터는 단일 워커의 메모리에 들어갈 만큼 충분히 작습니다. 파이프라인은 분석을 위해 보강된 결과를 BigQuery에 기록해야 합니다. 이 파이프라인은 어떤 작업 유형과 변환을 사용해야 하나요?

새 질문 139
클라우드 빅테이블에 데이터를 저장할 때 권장되는 최소 저장 데이터 용량은 얼마인가요?

새 질문 140
Kafka 클러스터를 통해 Redis 클러스터에 스트리밍 데이터 삽입을 설정합니다. 두 클러스터는 모두
컴퓨트 엔진 인스턴스. 필요에 따라 생성, 회전, 파기할 수 있는 암호화 키를 사용하여 미사용 데이터를 암호화해야 합니다. 어떻게 해야 하나요?

새 질문 141
회사에 대한 보고서를 생성하는 데 사용되는 데이터가 BigQuery에 있습니다. 일부 주간 임원 보고서 필드가 회사 표준에 따른 형식과 일치하지 않는 것을 발견했습니다(예: 보고서 오류에는 다른 전화 형식 및 다른 국가 코드 식별자가 포함됨). 이것은 자주 발생하는 문제이므로 데이터를 정규화하기 위해 반복 작업을 만들어야 합니다. 코딩이 필요 없는 빠른 솔루션을 원하는데 어떻게 해야 하나요?

새 질문 142
클라우드 스토리지에 데이터를 보관하려고 합니다. 일부 데이터는 매우 민감하므로 클라우드 제공업체 직원이 데이터를 해독하지 못하도록 데이터를 암호화하는 '아무도 신뢰하지 않음(TNO)' 방식을 사용하려고 합니다.
어떻게 해야 하나요?

새 질문 143
MJTelco 사례 연구
회사 개요
MJTelco는 전 세계에서 빠르게 성장하고 있는 소외된 시장에 네트워크를 구축하려는 스타트업입니다.
이 회사는 혁신적인 광통신 하드웨어에 대한 특허를 보유하고 있습니다. 이러한 특허를 기반으로 저렴한 하드웨어로 안정적인 고속 백본 링크를 많이 만들 수 있습니다.
회사 배경
숙련된 통신사 경영진이 설립한 MJTelco는 원래 우주에서의 통신 문제를 극복하기 위해 개발된 기술을 사용합니다. 운영의 기본은 실시간 분석을 주도하고 머신 러닝을 통합하여 토폴로지를 지속적으로 최적화하는 분산형 데이터 인프라를 구축하는 것입니다. 하드웨어가 저렴하기 때문에 역동적인 지역 정치가 위치 가용성과 비용에 미치는 영향을 고려할 수 있도록 네트워크를 과도하게 배포할 계획입니다.
이 회사의 관리 및 운영 팀은 전 세계 곳곳에 위치하여 시스템에서 데이터 소비자와 제공자 간의 다대다 관계를 형성하고 있습니다. 신중한 검토 끝에 퍼블릭 클라우드가 이러한 요구 사항을 지원하는 완벽한 환경이라고 판단했습니다.
솔루션 개념
MJTelco는 실험실에서 성공적인 개념 증명(PoC) 프로젝트를 실행하고 있습니다. 여기에는 두 가지 주요 요구 사항이 있습니다:
* 50,000개 이상의 설치로 늘어날 때 생성되는 훨씬 더 많은 데이터 흐름을 지원하기 위해 PoC를 확장하고 강화합니다.
* 머신 러닝 주기를 개선하여 토폴로지 정의를 제어하는 데 사용하는 동적 모델을 검증하고 개선합니다.
또한 개발/테스트, 스테이징, 프로덕션의 세 가지 운영 환경을 사용하여 실험을 실행하고 새로운 기능을 배포하며 프로덕션 고객에게 서비스를 제공하는 데 필요한 요구 사항을 충족할 것입니다.
비즈니스 요구 사항
* 예측할 수 없는 분산된 통신 사용자 커뮤니티에서 필요할 때 언제 어디서나 리소스를 인스턴스화하여 최소한의 비용으로 프로덕션 환경을 확장할 수 있습니다.
* 최첨단 머신 러닝 및 분석을 보호하기 위해 독점 데이터의 보안을 보장합니다.
* 분산된 연구 인력으로부터 분석에 필요한 데이터에 안정적이고 시기적절하게 액세스 제공
* 고객에게 영향을 주지 않으면서 머신러닝 모델의 신속한 반복을 지원하는 격리된 환경을 유지합니다.
기술 요구 사항
원격 측정 데이터의 안전하고 효율적인 전송 및 저장 보장
인스턴스를 빠르게 확장하여 각각 여러 개의 플로우를 가진 10,000~100,000개의 데이터 공급자를 지원하세요.
하루에 약 100m 레코드를 저장하는 최대 2년간의 데이터를 추적하는 데이터 테이블에 대한 분석 및 프레젠테이션 지원 원격 측정 흐름과 프로덕션 학습 주기 모두에서 데이터 파이프라인 문제 인식에 초점을 맞춘 모니터링 인프라의 신속한 반복을 지원합니다.
CEO 성명서
저희의 비즈니스 모델은 특허, 분석 및 동적 머신 러닝에 의존합니다. 우리의 저렴한 하드웨어는 높은 안정성으로 구성되어 있어 비용 측면에서 이점을 제공합니다. 안정성과 용량 약속을 지키기 위해 대규모 분산 데이터 파이프라인을 신속하게 안정화해야 합니다.
CTO 성명서
퍼블릭 클라우드 서비스는 광고된 대로 작동해야 합니다. 데이터를 안전하게 보호하고 확장할 수 있는 리소스가 필요합니다. 또한 데이터 과학자들이 신중하게 연구하고 모델을 신속하게 조정할 수 있는 환경이 필요합니다. 데이터 처리를 위해 자동화에 의존하기 때문에 반복 작업을 수행할 수 있는 개발 및 테스트 환경도 필요합니다.
CFO 성명서
프로젝트 규모가 너무 커서 데이터와 분석에 필요한 하드웨어와 소프트웨어를 유지 관리할 수 없습니다. 또한 수많은 데이터 피드를 모니터링할 운영팀을 둘 여유가 없으므로 자동화와 인프라에 의존할 것입니다. Google Cloud의 머신 러닝을 통해 정량적 연구자들은 데이터 파이프라인의 문제 대신 가치가 높은 문제에 집중할 수 있게 될 것입니다.
MJTelco는 데이터 공유를 위한 사용자 지정 인터페이스를 구축하고 있습니다. 다음과 같은 요구 사항이 있습니다:
1. 페타바이트 규모의 데이터 집합에 대한 집계를 수행해야 합니다.
2. 매우 빠른 응답 시간(밀리초)으로 특정 시간 범위의 행을 스캔해야 합니다.
어떤 Google Cloud Platform 제품 조합을 추천하나요?

새 질문 144
클라우드 머신 러닝 엔진을 사용하여 자신의 컴퓨터에서 텐서플로 트레이닝 작업을 실행하려면 명령은 무엇으로 시작하나요?

새 질문 145
클라우드 빅테이블에 데이터를 저장할 때 권장되는 최소 저장 데이터 용량은 얼마인가요?

새 질문 146
Cloud Dataproc 클러스터를 확장하려면 일반적으로 ____.

새 질문 147
확장 가능한 방식으로 데이터를 수집해야 하는 새 애플리케이션을 구축하고 있습니다. 애플리케이션에서 하루 종일 데이터가 지속적으로 도착하며, 연말까지 하루에 약 150GB의 JSON 데이터가 생성될 것으로 예상됩니다. 요구 사항은 다음과 같습니다:
* 생산자와 소비자 분리
* 수집된 원시 데이터의 공간 및 비용 효율적인 저장, 무기한 보관 가능
* 실시간에 가까운 SQL 쿼리
* SQL로 쿼리할 최소 2년의 기록 데이터를 유지해야 합니다. 이러한 요구 사항을 충족하려면 어떤 파이프라인을 사용해야 하나요?

새 질문 148
클라우드 머신 러닝 엔진을 사용하여 자신의 컴퓨터에서 텐서플로 트레이닝 작업을 실행하려면 명령은 무엇으로 시작하나요?

새 질문 149
다음 중 기능 엔지니어링 기술이란 무엇인가요? (정답 2개 선택)

새 질문 150
클라우드 빅테이블 스키마에 대한 행 키를 설계할 때 일반적으로 권장되는 사항은 무엇인가요?

새 질문 151
온디맨드 청구 모델에서 BigQuery 프로젝트를 실행 중이며 데이터 a를 수집하는 변경 데이터 캡처(CDC) 프로세스를 실행하고 있습니다. CDC 프로세스는 10분마다 1GB의 데이터를 임시 테이블에 로드한 다음 10TB 대상 테이블로 병합을 수행합니다. 이 프로세스는 매우 스캔 집약적이며 예측 가능한 비용 모델을 활성화하기 위한 옵션을 탐색하려고 합니다. BigQuery 모니터링에서 수집한 사용량 정보를 기반으로 BigQuery 예약을 생성하고 이 예약을 CDC 프로세스에 적용해야 합니다. 어떻게 해야 하나요?

새 질문 152
데이터 웨어하우스를 BigQuery로 마이그레이션하고 있습니다. 모든 데이터를 데이터 집합의 테이블로 마이그레이션했습니다. 조직의 여러 사용자가 데이터를 사용할 것입니다. 사용자는 팀 멤버십에 따라 특정 테이블만 볼 수 있어야 합니다. 사용자 권한을 어떻게 설정해야 하나요?

새 질문 153
Cloud 데이터 흐름 스트리밍 파이프라인을 운영 중입니다. 이 파이프라인은 하나의 창 내에서 Cloud Pub/Sub 구독 소스로부터 이벤트를 집계하고, 그 결과 집계된 내용을 Cloud 저장소 버킷에 싱크합니다.
소스의 처리량이 일정합니다. Cloud Stackdriver로 파이프라인의 동작에 대한 알림을 모니터링하여 데이터를 처리하고 있는지 확인하려고 합니다. 어떤 Stackdriver 경고를 생성해야 하나요?

새 질문 154
Google Cloud에 데이터 파이프라인을 배포하기 위한 일환으로 20TB의 텍스트 파일을 위한 스토리지를 설계하고 있습니다.
입력 데이터가 CSV 형식입니다. 여러 엔진으로 클라우드 스토리지의 데이터를 쿼리할 여러 사용자의 집계 값 쿼리 비용을 최소화하려고 합니다. 어떤 스토리지 서비스와 스키마 디자인을 사용해야 하나요?