专业人士提供的专业数据工程师试卷--第一次尝试保证成功 [Q136-Q154]

出版日期 10 月 3, 2024

给本帖评分

专业人士提供的专业数据工程师试卷 - 保证一次成功

100% 保证下载专业数据工程师考试试卷 PDF Q&A

谷歌专业数据工程师认证考试旨在验证从事数据工程领域工作的个人的技能和知识。Google Certified Professional Data Engineer Exam 认证面向那些拥有使用 Google Cloud Platform 服务设计、构建和维护数据处理系统专业知识的专业人士。专业数据工程师考试评估考生设计、实施和管理数据处理系统的能力，以及对数据分析和机器学习概念的理解。

新问题 136
贵化工公司需要手动检查客户订单的文档。您在 Pub/Sub 中使用了拉动订阅，以便销售代理从订单中获取详细信息。您必须确保不同的销售代理不会重复处理订单，也不会增加工作流程的复杂性。
你该怎么办？

创建一个事务数据库，监控待处理信息。

创建一个新的 Pub/Sub 推送订阅，以监控代理系统中处理的订单。

在拉动订阅中使用 Pub/Sub 精确投递。

在向销售代理发送信息之前，在数据流中使用 Deduphcate PT 转换。

Pub/Sub 准确一次交付是一项功能，可保证订阅不会根据 Pub/Sub 定义的唯一消息 ID 接收重复交付的消息。只有拉动订阅类型才支持这一功能，您在本方案中使用的就是拉动订阅类型。通过启用 "一次发送 "功能，可以确保销售代理对每个订单只处理一次，而且不会丢失或重复发送订单。这也简化了您的工作流程，因为您无需创建单独的数据库或订阅来监控待处理或已处理的邮件。参考资料
* 云发布/子文档
* 云发布/子完全一次性交付功能现已普遍可用 (GA)

新问题 137
贵公司正在将来自工厂车间的实时传感器数据流导入 Bigtable，他们发现性能极差。应该如何重新设计行键，以提高 Bigtable 在填充实时仪表盘的查询中的性能？

使用格式的行键。

使用格式为 # 的行键。

使用格式为 >## 的行键。

bigtable 的最佳实践规定，rowkey 不应该只有时间戳或在开始时有时间戳。
最好使用 sensorid 和 timestamp 作为 rowkey。

新问题 138
您正在设计一个 Apache Beam 管道，利用 BigQuery 的静态参考数据来丰富来自 Cloud Pub/Sub 的数据。参考数据非常小，足以容纳在单个 Worker 的内存中。管道应将丰富后的结果写入 BigQuery 进行分析。该管道应使用哪种作业类型和转换？

批处理作业、PubSubIO、侧输入

流式工作、PubSubIO、JdbcIO、侧输出

流式工作、PubSubIO、BigQueryIO、侧输入

流式工作、PubSubIO、BigQueryIO、侧输出

新问题 139
在 Cloud Bigtable 中存储数据时，建议最少存储多少数据？

500 TB

1 GB

1 TB

500 GB

Cloud Bigtable 不是关系型数据库。它不支持 SQL 查询、连接或多行事务。对于少于 1 TB 的数据，它不是一个好的解决方案。

新问题 140
您通过 Kafka 集群向 Redis 集群插入流式数据。两个群集都在
计算引擎实例。您需要使用可根据需要创建、旋转和销毁的加密密钥对静态数据进行加密。您应该怎么做？

创建专用服务帐户，并使用静态加密技术来引用存储在您的服务器中的数据。
计算引擎集群实例作为 API 服务调用的一部分。

在云密钥管理服务中创建加密密钥。使用这些密钥对所有计算引擎群集实例中的数据进行加密。

在本地创建加密密钥。将加密密钥上传到云密钥管理服务。使用这些密钥加密所有计算引擎群集实例中的数据。

在云密钥管理服务中创建加密密钥。在访问计算引擎群集实例中的数据时，在 API 服务调用中引用这些密钥。

新问题 141
您在 BigQuery 中拥有用于为公司生成报告的数据。例如，报告错误包括不同的电话格式和不同的国家代码标识符。这是一个经常出现的问题，因此您需要创建一个定期作业来规范数据。

使用云数据融合和 Wrangler 对数据进行规范化处理，并设置重复性工作。

使用 BigQuery 和 GoogleSQL 对数据进行规范化处理，并在 BigQuery 中安排循环查询。

创建 Spark 作业并将其提交给 Dataproc Serverless。

使用数据流 SQL 创建一个作业，对数据进行规范化处理，并在作业首次运行后，安排管道重复执行。

云数据融合（Cloud Data Fusion）是一种完全托管的云原生数据集成服务，可让您使用图形界面构建和管理数据管道。Wrangler 是 Cloud Data Fusion 的一项功能，可让您使用类似电子表格的用户界面交互式地探索、清理和转换数据。您可以使用 Wrangler 通过应用各种指令（如解析、格式化、替换和验证数据）来规范 BigQuery 中的数据。您还可以预览结果，并将处理过的数据导出到 BigQuery 或其他目的地。然后，您可以在 Cloud Data Fusion 中设置一个定期作业，按计划运行 Wrangler 管道，如每周或每天。这样，您就可以创建一个快速、无代码的解决方案，为您的报告规范化数据。参考资料
云数据融合概述
牧马人概览
从 BigQuery 处理数据
[调度流水线]

新问题 142
您想在云存储中存档数据。由于某些数据非常敏感，您希望使用 "不信任任何人"（TNO）的方法来加密数据，以防止云提供商的员工解密您的数据。
你该怎么办？

使用 gcloud kms keys create 创建对称密钥。然后使用 gcloud kms encrypt 使用密钥和唯一的附加验证数据 (AAD) 加密每个存档文件。使用 gsutil cp 将每个加密文件上传到云存储桶，并将 AAD 保留在 Google 云之外。

使用 gcloud kms keys create 创建对称密钥。然后使用 gcloud kms encrypt 用密钥加密每个存档文件。使用 gsutil cp 将每个加密文件上传到云存储桶。
手动销毁之前用于加密的密钥，并旋转一次密钥，再旋转一次密钥。

在 .boto 配置文件中指定客户提供的加密密钥 (CSEK)。使用 gsutil cp 将每个存档文件上传到云存储桶。将 CSEK 保存在 Cloud Memorystore 中，作为秘密的永久存储。

在 .boto 配置文件中指定客户提供的加密密钥 (CSEK)。使用 gsutil cp 将每个存档文件上传到 Cloud Storage 存储桶。将 CSEK 保存在只有安全团队才能访问的不同项目中。

新问题 143
MJTelco 案例研究
公司概况
MJTelco 是一家初创公司，计划在全球快速增长、服务不足的市场建立网络。
该公司拥有创新光通信硬件的专利。基于这些专利，他们可以用廉价的硬件创建许多可靠的高速主干链路。
公司背景
MJTelco 由经验丰富的电信高管创立，采用的技术最初是为克服太空通信挑战而开发的。作为运营的基础，他们需要创建一个分布式数据基础设施，以推动实时分析并结合机器学习来不断优化拓扑结构。由于硬件成本低廉，他们计划超量部署网络，以便考虑到动态区域政治对位置可用性和成本的影响。
他们的管理和运营团队遍布全球各地，在数据消费者和系统提供者之间形成了多对多的关系。经过慎重考虑，他们认为公共云是支持其需求的完美环境。
解决方案理念
MJTelco 正在其实验室成功实施一个概念验证 (PoC) 项目。他们有两个主要需求：
* 扩展和加固其 PoC，以支持在安装数量超过 50,000 个时产生的更多数据流。
* 完善机器学习循环，验证并改进用于控制拓扑定义的动态模型。
MJTelco 还将使用开发/测试、暂存和生产三个独立的运行环境，以满足运行实验、部署新功能和服务生产客户的需要。
业务要求
* 在不可预测的分布式电信用户社区中，以最小的成本扩展生产环境，在需要的时间和地点配置资源。
* 确保其专有数据的安全，以保护其领先的机器学习和分析。
* 为分布在各地的研究人员提供可靠、及时的数据分析途径
* 维护隔离环境，支持机器学习模型的快速迭代，同时不影响客户。
技术要求
确保安全高效地传输和存储遥测数据
快速扩展实例，支持 10,000 至 100,000 个数据提供商，每个提供商可提供多个数据流。
支持监控基础设施的快速迭代，重点关注遥测流和生产学习周期中的数据管道问题。
首席执行官声明
我们的商业模式依赖于我们的专利、分析和动态机器学习。我们的硬件价格低廉，可靠性高，因此具有成本优势。我们需要快速稳定我们的大型分布式数据管道，以实现我们的可靠性和容量承诺。
首席技术官声明
我们的公共云服务必须按照广告宣传的那样运行。我们需要能够扩展并确保数据安全的资源。我们还需要数据科学家能够仔细研究并快速调整模型的环境。由于我们依赖自动化来处理数据，因此我们还需要开发和测试环境能够在我们迭代时正常工作。
首席财务官声明
该项目规模太大，我们无力维护数据和分析所需的硬件和软件。此外，我们也无力为监控如此多的数据源配备运营团队，因此我们将依赖自动化和基础设施。谷歌云的机器学习将使我们的定量研究人员能够解决我们的高价值问题，而不是数据管道问题。
MJTelco 正在构建一个定制界面来共享数据。他们有以下要求
1.他们需要对 PB 级数据集进行聚合。
2.他们需要以极快的响应时间（毫秒）扫描特定时间范围内的行。
您应该推荐哪种 Google 云平台产品组合？

云数据存储和云大表

云 Bigtable 和云 SQL

BigQuery 和云 Bigtable

BigQuery 和云存储

新问题 144
要在自己的计算机上使用云机器学习引擎运行 TensorFlow 训练作业，您的命令会以什么开始？

gcloud ml-engine 本地列车

gcloud ml-engine 工作岗位提交培训

gcloud ml-engine 工作提交培训本地

使用云 ML 引擎，您无法在自己的计算机上运行 TensorFlow 程序。

说明
gcloud ml-engine local train - 本地运行云 ML 引擎训练作业此命令在与实时云 ML 引擎训练作业类似的环境中运行指定模块。
这在测试分布式模型时尤其有用，因为它允许您验证是否与云 ML 引擎集群配置正确交互。
参考资料： https://cloud.google.com/sdk/gcloud/reference/ml-engine/local/train

新问题 145
在 Cloud Bigtable 中存储数据时，建议最少存储多少数据？

500 TB

1 GB

1 TB

500 GB

Cloud Bigtable 不是关系型数据库。它不支持 SQL 查询、连接或多行事务。对于少于 1 TB 的数据，它不是一个好的解决方案。
参考资料
https://cloud.google.com/bigtable/docs/overview#title_short_and_other_storage_options

新问题 146
扩展 Cloud Dataproc 集群通常涉及 ____。

增加或减少工作节点数量

增加或减少主节点数量

移动内存，在单个节点上运行更多应用程序

定期删除未使用节点上的应用程序

创建 Cloud Dataproc 群集后，您可以随时通过增加或减少群集中的工作节点数量来扩展群集，即使作业正在群集中运行也是如此。Cloud Dataproc 群集通常可扩展至以下规模：
1 ) 增加工人数量，加快工作运行速度
2 ) 减少工人数量以节省开支
3 ) 增加节点数量，扩大可用的 Hadoop 分布式文件系统 (HDFS) 存储空间参考：https://cloud.google.com/dataproc/docs/concepts/scaling-clusters

新问题 147
您正在构建一个新的应用程序，需要以可扩展的方式收集数据。该应用程序每天都会不断生成数据，预计到年底每天将生成约 150 GB 的 JSON 数据。您的要求是
* 生产者与消费者脱钩
* 无限期存储原始采集数据，节约空间和成本
* 近实时 SQL 查询
* 维护至少 2 年的历史数据，这些数据将使用 SQL 查询您应该使用哪种管道来满足这些要求？

创建一个提供 API 的应用程序。编写一个工具来轮询 API 并将数据以压缩 JSON 文件的形式写入云存储。

创建一个写入云 SQL 数据库以存储数据的应用程序。设置数据库的定期导出，以便写入云存储并加载到 BigQuery 中。

创建一个向云 Pub/Sub 发布事件的应用程序，并在云 Dataproc 上创建 Spark 作业，将 JSON 数据转换为 Avro 格式，存储在持久磁盘上的 HDFS 中。

创建一个将事件发布到云 Pub/Sub 的应用程序，并创建一个将 JSON 事件有效载荷转换为 Avro 的云数据流管道，将数据写入云存储和 BigQuery。

新问题 148
要在自己的计算机上使用云机器学习引擎运行 TensorFlow 训练作业，您的命令会以什么开始？

gcloud ml-engine 本地列车

gcloud ml-engine 工作岗位提交培训

gcloud ml-engine 工作提交培训本地

使用云 ML 引擎，您无法在自己的计算机上运行 TensorFlow 程序。

gcloud ml-engine local train - 本地运行云 ML 引擎训练作业此命令在与实时云 ML 引擎训练作业类似的环境中运行指定模块。
这在测试分布式模型时尤其有用，因为它允许您验证是否与云 ML 引擎集群配置正确交互。

新问题 149
以下哪些是特征工程技术？(请选择 2 个答案）

隐藏特征层

功能优先级

交叉地物栏

连续特征的分块化

说明
选择和制作一组正确的特征列是学习有效模型的关键。
桶化是将连续特征的整个范围划分为一组连续的箱/桶，然后根据数值属于哪个桶，将原始数值特征转换为桶 ID（作为分类特征）的过程。
单独使用每个基本特征列可能不足以解释数据。为了了解不同特征组合之间的差异，我们可以在模型中添加交叉特征列。
参考资料
https://www.tensorflow.org/tutorials/wide#selecting_and_engineering_features_for_the_model

新问题 150
为 Cloud Bigtable 模式设计行键时的一般建议是什么？

在行键中包含多个时间序列值

行保留为 8 位整数

合理缩短行键

在田块允许的情况下，保持行键的长度

一般指南是保持行键的合理长度。长行键会占用额外的内存和存储空间，并增加从 Cloud Bigtable 服务器获取响应的时间。
参考资料： https://cloud.google.com/bigtable/docs/schema-design#row-keys

新问题 151
您正在按需计费模式下运行 BigQuery 项目，并正在执行一个摄取数据的变更数据捕获 (CDC) 流程。CDC 流程每 10 分钟将 1 GB 的数据加载到一个临时表中，然后将其合并到一个 10 TB 的目标表中。该流程的扫描密集度非常高，您希望探索各种方案，以实现可预测的成本模式。您需要根据从 BigQuery Monitoring 收集到的利用率信息创建一个 BigQuery 预留，并将该预留应用到 CDC 流程。您应该怎么做？

为任务创建 BigQuery 预留。

为运行作业的服务账户创建 BigQuery 保留。

为数据集创建 BigQuery 保留。

为项目创建 BigQuery 预留。

https://cloud.google.com/blog/products/data-analytics/manage-bigquery-costs-with-custom-quotas.
因此，为项目创建 BigQuery 预留是最合适的解决方案：
项目级保留：BigQuery 保留应用于项目级别。这意味着在该项目中运行的所有作业和查询都将共享保留的插槽（处理能力）。由于您的 CDC 流程对 BigQuery 的使用量贡献很大，为整个项目预留时隙可确保您的 CDC 流程始终能够访问必要的资源，而不受项目中其他活动的影响。
可预测的成本模式：预订提供了一种固定、可预测的成本模式。您无需为每次查询支付按需价格，而是为预订的时段支付固定的月费。这消除了与按需计费相关的成本变化，使您更容易预算和预测 BigQuery 的支出。
BigQuery 监控：您可以使用 BigQuery Monitoring 分析 CDC 流程和项目中其他查询的历史使用模式。这些信息可帮助您确定要预留的适当插槽数量，确保您有足够的容量来处理工作负载，同时优化成本。
为什么其他方案不合适：
A .为作业创建 BigQuery 保留：BigQuery 不支持单个作业级别的保留。保留应用于项目或任务级别。
B .为运行作业的服务帐户创建 BigQuery 保留：虽然可以为分配（用户组或服务帐户）创建预订，但在这种情况下，其效率不如项目级预订。项目级保留涵盖项目中的所有作业，与使用的服务帐户无关。
C .为数据集创建 BigQuery 保留：BigQuery 不支持数据集级别的保留。
根据利用率分析为您的项目创建 BigQuery 预留，您就可以实现可预测的成本模式，同时确保 CDC 流程和其他查询拥有顺利运行所需的资源。

新问题 152
您正在将数据仓库迁移到 BigQuery。您已将所有数据迁移到数据集中的表中。您组织中的多个用户将使用这些数据。他们只能根据其团队成员身份查看某些表。您应如何设置用户权限？

为每个表在表级别分配用户/组数据查看器访问权限

在数据所在的同一数据集中为每个团队创建 SQL 视图，并为用户/组分配 SQL 视图的数据查看器访问权限

在数据所在的同一数据集中为每个小组创建授权视图，并为用户/小组分配数据查看器访问授权视图的权限

在为每个团队创建的数据集中为每个团队创建授权视图。为数据所在的数据集分配授权视图数据查看器访问权限。为用户/组分配授权视图所在数据集的数据查看器访问权限

新问题 153
您正在运行云数据流流水线。该管道在一个窗口内聚合来自 Cloud Pub/ Sub 订阅源的事件，并将聚合结果汇入云存储桶。
源具有一致的吞吐量。您希望使用 Cloud Stackdriver 监控管道行为警报，以确保管道正在处理数据。您应该创建哪些 Stackdriver 警报？

根据信息源的订阅/未发送信息数量减少和目的地的实例/存储/已用字节变化率增加发出警报

根据源的订阅/未送达信息数增加和目的地的实例/存储/已用字节数变化率减少发出警报

根据源的实例/存储/已用字节数减少和目的地的订阅/未送达信息数变化率增加发出警报

根据源的实例/存储/已用字节数的增加和目的地的订阅/未送达信息数的变化率减少发出警报

新问题 154
作为在 Google 云上部署数据管道的一部分，您正在设计 20 TB 文本文件的存储空间。
您的输入数据是 CSV 格式。多个用户将使用多个引擎在云存储中查询数据，您希望尽量降低查询聚合值的成本。您应该使用哪种存储服务和模式设计？

使用 Cloud Bigtable 进行存储。在计算引擎实例上安装 HBase shell，以查询 Cloud Bigtable 数据。

使用云 Bigtable 进行存储。作为永久表链接到 BigQuery 中进行查询。

使用云存储进行存储。作为永久表链接到 BigQuery 中进行查询。

使用云存储进行存储。作为临时表链接到 BigQuery 中进行查询。

加载中 …