[2024 年 10 月 12 日] Databricks-Certified-Data-Engineer-Associate PDF 最近更新的题库，提高考试成绩 [Q30-Q45]

出版日期 10 月 12, 2024

4/5 - (1 选票)

[2024年10月12日] Databricks-Certified-Data-Engineer-Associate PDF 最新题库，提高考试分数

Databricks-Certified-Data-Engineer-Associate（数据工程师认证-协理）完整试题及免费 PDF 试题，可帮助您通过考试

GAQM Databricks-Certified-Data-Engineer-Associate 考试是对个人 Databricks 及其相关技术知识的全面测试。它评估考生使用 Databricks 设计、构建和维护数据管道的能力。Databricks Certified Data Engineer Associate Exam 认证非常适合数据工程师、数据架构师和数据科学家使用 Databricks 展示自己的技能和知识。获得该认证可以帮助个人提升职业生涯，获得更好的工作机会和更高的薪水。

NO.30 与传统数据湖相比，以下哪种数据湖功能可提高数据质量？

数据湖为结构化和非结构化数据提供存储解决方案。

数据湖支持符合 ACID 标准的事务。

数据湖屋允许使用 SQL 查询来检查数据。

数据湖以开放格式存储数据。

数据湖库可实现机器学习和人工智能工作负载。

说明
与传统数据湖相比，数据湖支持 ACID（原子性、一致性、隔离性、持久性）事务，这是数据湖提高数据质量的关键功能之一。ACID 事务提供数据完整性和一致性保证，确保对数据的操作是可靠的，数据不会因故障或并发访问而处于不一致状态。在传统的数据湖中，往往缺乏这种事务保证，这就给保持数据质量带来了挑战，尤其是在涉及多次数据写入、更新或复杂转换的情况下。数据湖提供 ACID 合规性，通过提供强大的一致性和可靠性来帮助保持数据质量，这对数据管道和分析至关重要。

第 31 号 一位数据工程师在 Delta 实时表 (DLT) 管道中有三个表。他们已将管道配置为在每个表中丢弃无效记录。他们注意到，在 DLT 管道中的某些位置，一些数据由于质量问题而被丢弃。他们希望确定是管道中的哪个表丢弃了数据。
数据工程师可以采取以下哪种方法来确定丢弃记录的表？

在开发 DLT 管道时，他们可以为每个表设定不同的期望值。

他们无法确定是哪个表丢弃了记录。

他们可以设置 DLT，以便在删除记录时通过电子邮件通知他们。

他们可以导航到 DLT 管道页面，点击每个表格，查看数据质量统计数据。

他们可以导航到 DLT 管道页面，点击 "错误 "按钮，查看当前的错误。

DLT 的功能之一是为管道中的每个数据集提供数据质量指标，如通过或未通过预期的记录数、丢弃的记录数以及写入目标的记录数。数据工程师可以从 DLT 管道页面访问这些指标，点击每个表，查看最新更新或之前任何更新的数据质量统计。这样，他们就能确定是哪个表丢弃了记录以及丢弃的原因。参考资料
监控三角洲实时表管道
使用 Delta Live Tables 管理数据质量

第 32 号 以下哪些命令可用于向 Delta 表中写入数据，同时避免写入重复记录？

删除

忽略

合并

附录

插入

MERGE 命令可用于将源表、视图或 DataFrame 中的数据上载到目标 Delta 表中。它允许您指定匹配和更新现有记录的条件，并在找不到匹配时插入新记录。这样，就可以避免向 Delta 表中写入重复记录1。其他命令（DROP、IGNORE、APPEND、INSERT）不具备此功能，可能会导致重复记录或数据丢失234。参考文献1: 使用合并向 Delta Lake 表中倒插数据 | Databricks on AWS 2: SQL DELETE | Databricks on AWS 3: SQL INSERT INTO | Databricks on AWS 4: SQL UPDATE | Databricks on AWS

NO.33 一名数据工程师需要使用位于 /path/to/csv 位置的 CSV 文件中的数据在 Databricks 中创建一个表。
他们运行以下命令

以下哪行代码可以填补上述空白，从而成功完成任务？

要成功完成任务，不需要这些代码行

使用 CSV

从 CSV

使用 DELTA

FROM "path/to/csv"

数据湖泊是一种新的模式，可用于简化和统一针对特定用例的筒仓式数据架构。数据湖泊结合了数据湖泊和数据仓库的优点，提供了一个支持多种数据类型、开放标准、低成本存储、高性能查询、ACID 事务、模式执行和管理的单一平台。数据湖泊使数据工程师能够建立可靠、可扩展的数据管道，为数据科学、机器学习、分析和报告等各种下游应用和用户提供服务。数据湖房可利用 Delta Lake 存储层的强大功能，为数据湖带来可靠性和性能。参考文献：什么是数据湖房？新一代统一数据仓库和高级分析的开放平台

NO.34 一位数据工程师一直在使用 Databricks SQL 面板监控 ELT 作业输入数据的清洁度。ELT 作业的 Databricks SQL 查询会返回包含意外 NULL 值的输入记录数。每当该值达到 100 时，数据工程师都希望通过消息 webhook 通知整个团队。
当 NULL 值的数量达到 100 时，数据工程师可以使用以下哪种方法通过消息 Webhook 通知整个团队？

他们可以使用自定义模板设置 "警报"。

他们可以通过新的电子邮件警报目的地设置警报。

他们可以使用新的网络钩子警报目的地设置警报。

他们可以设置一次性通知的警报。

他们可以设置一个没有通知的警报。

网络钩子警报目标是一种通过 HTTP 请求向外部应用程序或服务发送通知的方式。数据工程师可以使用网络钩子警报目标，在输入数据中的 NULL 值达到一定数量时，通过消息网络钩子（如 Slack 或 Microsoft Teams）通知整个团队。
100.要设置 Webhook 警报目标，数据工程师需要执行以下步骤：
* 在 Databricks SQL 工作区，导航至设置齿轮图标，选择 SQL 管理控制台。
* 单击警报目的地，然后单击添加新警报目的地。
* 选择 Webhook 并输入 Webhook URL 和可选的通知信息自定义模板。
* 单击 "创建 "保存网络钩子警报目的地。
* 在 Databricks SQL 编辑器中，创建或打开返回包含意外 NULL 值的输入记录数的查询。
* 单击编辑器窗口上方的创建警报图标，配置警报条件，如值列、条件和阈值。
* 在 "通知 "部分，选择之前创建的网络钩子警报目标，然后单击 "创建警报"。参考资料：什么是 Databricks SQL 警报？"，"监控警报"，"使用警报监控您的业务"，"使用自动化运行本 Webhooks 对 Databricks 状态更新发出警报"。

第 35 号 刚开始使用 Python 的数据工程师需要创建一个 Python 函数，将两个整数相加并返回总和？
数据工程师可以使用以下哪些代码块来完成这项任务？

说明
https://www.w3schools.com/python/python_functions.asp

第 36 号 以下哪项完全由经典 Databricks 架构的控制平面托管？

工人节点

JDBC 数据源

Databricks 网络应用程序

Databricks 文件系统

驱动节点

1：Databricks 网络应用程序是用户界面，允许您创建和管理工作区、集群、笔记本、作业和其他资源。它完全托管在经典 Databricks 架构的控制平面中，包括 Databricks 在您的 Databricks 账户中管理的后台服务。其他选项是计算平面的一部分，即由集群等计算资源处理数据的地方。计算平面位于您自己的云账户和网络中。参考：Databricks 架构概述，安全与信任中心

第 37 号 一位工程经理希望使用 Databricks SQL 查询监控最近一个项目的性能。
在项目发布后的第一周，经理希望查询结果每分钟更新一次。但是，经理担心查询所使用的计算资源会在项目发布后的第一周内继续运行，从而给组织带来大量成本。
工程团队可以使用以下哪种方法来确保查询在项目发布第一周后不会给组织造成任何成本？

他们可以对 SQL 端点消耗的 DBU 数量设置限制。

他们可以将查询的刷新计划设置为刷新一定次数后结束。

他们无法确保在项目发布的第一周之后，查询不会给组织造成损失。

他们可以对能够管理查询刷新时间表的人数设置限制。

他们可以在查询调度程序中将查询的刷新计划设置为在某个日期结束。

第 38 号 关于银表和铜表之间的关系，以下哪项说法总是正确的？

与铜表数据相比，银表所包含的数据不够精细、不够简洁。

银表包含汇总数据，而铜表的数据是非汇总数据。

银表比铜表包含更多数据。

与铜表相比，银表包含更精细、更简洁的数据视图。

银表包含的数据比铜表少。

徽章架构是湖泊库的一种常见数据设计模式，在徽章架构中，数据从青铜层表流向白银层表，再流向黄金层表，每一层都会逐步改善数据的结构和质量。青铜表存储从各种来源获取的原始数据，而白银表则进行最少量的转换和清理，以创建数据的企业视图。银表还可以连接和丰富来自不同铜表的数据，以提供更完整、更一致的数据视图。因此，选项 D 是正确答案，因为银表比铜表包含更精细、更简洁的数据视图。选项 A 不正确，因为它与正确答案相反。选项 B 不正确，因为银表不一定包含汇总数据，也可以存储详细记录。选项 C 不正确，因为银表所包含的数据可能比铜表少，这取决于所应用的转换和清理。选项 E 不正确，因为银表可能比铜表包含更多数据，这取决于所应用的连接和丰富。参考资料：什么是 Medallion 架构？

第 39 号 一位数据工程师一直在使用 Databricks SQL 面板监控 ELT 作业输入数据的清洁度。ELT 作业的 Databricks SQL 查询会返回包含意外 NULL 值的输入记录数。每当该值达到 100 时，数据工程师都希望通过消息 webhook 通知整个团队。
当 NULL 值的数量达到 100 时，数据工程师可以使用以下哪种方法通过消息 Webhook 通知整个团队？

他们可以使用自定义模板设置 "警报"。

他们可以通过新的电子邮件警报目的地设置警报。

他们可以使用新的网络钩子警报目的地设置警报。

他们可以设置一次性通知的警报。

他们可以设置一个没有通知的警报。

网络钩子警报目标是一种通过 HTTP 请求向外部应用程序或服务发送通知的方式。数据工程师可以使用网络钩子警报目标，在输入数据中的 NULL 值数量达到 100 时，通过消息网络钩子（如 Slack 或 Microsoft Teams）通知整个团队。要设置 Webhook 警报目标，数据工程师需要执行以下步骤：
在 Databricks SQL 工作区，导航到设置齿轮图标，选择 SQL 管理控制台。
单击警报目的地，然后单击添加新警报目的地。
选择 Webhook 并输入 Webhook URL 和可选的通知消息自定义模板。
单击 "创建 "保存网络钩子警报目的地。
在 Databricks SQL 编辑器中，创建或打开返回包含意外 NULL 值的输入记录数的查询。
单击编辑器窗口上方的创建警报图标，配置警报条件，如值列、条件和阈值。
在 "通知 "部分，选择之前创建的 webhook 警报目标，然后单击 "创建警报"。参考资料什么是 Databricks SQL 警报？"，"监控警报"，"使用警报监控您的业务"，"使用自动化运行本 Webhooks 对 Databricks 状态更新发出警报"。

NO.40 数据工程师需要确定是使用内置的 Databricks Notebooks 版本管理，还是使用 Databricks Repos 版本管理项目。
与 Databricks Notebooks 版本控制相比，以下哪项是使用 Databricks Repos 的优势？

Databricks Repos 自动保存开发进度

Databricks Repos 支持使用多个分支

Databricks Repos 允许用户恢复到笔记本的以前版本

Databricks Repos 提供对特定更改发表评论的功能

Databricks Repos 完全位于 Databricks Lakehouse 平台内。

Databricks Repos 是 Databricks 中的可视化 Git 客户端和 API，支持克隆、提交、推送、拉取和分支管理等常见 Git 操作。Databricks Notebooks 版本管理是一项传统功能，允许用户将笔记本链接到 GitHub 仓库并执行基本 Git 操作。不过，Databricks Notebooks 版本管理不支持在开发工作中使用多个分支，而这正是使用 Databricks Repos 的优势所在。使用 Databricks Repos，用户可以为不同功能、实验或错误修复创建和管理分支，并合并、重置或解决它们之间的冲突。Databricks 建议为每个笔记本使用单独的分支，并遵循数据科学和工程代码开发的最佳实践，使用 Git 进行版本控制、协作和 CI/CD。参考资料：Git 与 Databricks Repos 的集成 - Azure Databricks | Microsoft Learn, Git 版本控制笔记本（传统） | Databricks on AWS, Databricks Repos Is Now Generally Available - New 'Files' Feature in ..., Databricks Repos - What it is and how we can use it | Adatis.

第 41 号 创建新的 Delta Live Tables 管道时，必须指定以下哪项？

键值对配置

首选的 DBU/小时成本

写入数据的云存储位置路径

写入数据的目标数据库位置

至少要执行一个笔记本库

选项 E 是正确答案，因为它是创建新的 Delta Live Tables 管道时的唯一强制性要求。管道是一种数据处理工作流，包含在 Python 或 SQL 源文件中声明的物化视图和流表。Delta Live Tables 会推断这些表之间的依赖关系，并确保更新以正确的顺序进行。要创建管道，您需要指定至少一个要执行的笔记本库，其中包含 Delta Live Tables 语法。您也可以在管道中指定多个不同语言的库。其他选项为可选项或不适用于创建管道。选项 A 不是必需的，但您可以选择提供键值对配置来自定义管道设置，如存储位置、目标模式、通知和管道模式。
选项 B 不适用，因为 DBU/小时成本由群集配置而非管道创建决定。选项 C 不是必需的，但可以选择指定管道输出数据的存储位置。如果留空，系统将使用默认位置。选项 D 不是必需的，但可以选择为写入的数据指定目标数据库的位置，可以是 Hive 元存储中的位置，也可以是 Unity 目录中的位置。
参考资料：教程：运行第一个 Delta Live Tables 管道，什么是 Delta Live Tables？

第 42 号 一位数据机构领导对数据分析团队的报告与数据工程团队的报告不同感到不满。这位领导认为，他们组织的数据工程和数据分析架构各自为政的性质难辞其咎。
以下哪项描述了数据湖可以缓解这一问题？

两个团队都将根据数据大小的变化自动调整工作规模

两个团队将在工作中使用相同的真相来源

两个团队将重组，向同一个部门报告

两个团队将能够实时合作开展项目

两个团队都将更快地对临时请求做出回应

第 43 号 一位数据工程师一直在使用 Databricks SQL 面板监控零售用例数据分析面板输入数据的清洁度。该任务有一个 Databricks SQL 查询，返回销售额等于零的商店级记录数。数据工程师希望在该值大于 0 时，通过消息 webhook 通知整个团队。
当销售额为 $0 的商店数量大于零时，数据工程师可以使用以下哪种方法通过消息 Webhook 通知整个团队？

他们可以使用自定义模板设置 "警报"。

他们可以通过新的电子邮件警报目的地设置警报。

他们可以设置一次性通知的警报。

他们可以使用新的网络钩子警报目的地设置警报。

他们可以设置一个没有通知的警报。

NO.44 为了使结构化数据流能够可靠地跟踪准确的处理进度，以便能够通过重新启动和/或重新处理来处理任何类型的故障，Spark 使用了以下哪两种方法来记录每个触发器中正在处理的数据的偏移范围？

检查点和预写日志

结构化数据流无法记录每个触发器中正在处理的数据的偏移范围。

可重放源和闲置汇

先写日志和闲置水槽

检查点和闲置水槽

结构化数据流使用检查点和先写日志来记录每个触发器中正在处理的数据的偏移范围。这可确保引擎能可靠地跟踪处理的确切进度，并通过重新启动和/或重新处理来处理任何类型的故障。检查点是一种将流式查询的状态保存到容错存储（如 HDFS）的机制，以便在发生故障后可以恢复。
预写日志是记录每个触发器中正在处理的数据偏移范围的文件，并在处理开始前写入检查点位置。这些日志用于恢复查询状态，并在出现故障时从上次处理的偏移范围恢复处理。参考文献结构化数据流编程指南》，容错语义

第 45 号 一名数据工程师需要使用其组织现有 SQLite 数据库中的数据在 Databricks 中创建一个表。
他们运行以下命令

以下哪行代码可以填补上述空白，从而成功完成任务？

org.apache.spark.sql.jdbc

自动装载机

DELTA

sqlite

org.apache.spark.sql.sqlite

在给出的命令中，数据工程师试图使用 SQLite 数据库中的数据在 Databricks 中创建一个表。填空的正确选项是 "sqlite"，因为它指定了 JDBC 连接字符串中连接的数据库类型。USING 子句后应跟上数据格式，由于我们连接的是 SQLite 数据库，因此此处应填 "sqlite"。参考资料
* 使用 JDBC 创建表格
* JDBC 连接字符串
* SQLite JDBC 驱动程序

加载中 …