在设计大数据架构的时候,可以使用以下哪些技术做etl()A、mapreduceB、hiveC、sqlD、oozie

题目

在设计大数据架构的时候,可以使用以下哪些技术做etl()

  • A、mapreduce
  • B、hive
  • C、sql
  • D、oozie
如果没有搜索结果或未解决您的问题,请直接 联系老师 获取答案。
相似问题和答案

第1题:

以下哪种数据加密技术可以在基础架构层面进行()。

A.IPSec

B.SecureSocketsLayer

C.TransportLayerSecurit

D.RSA


正确答案:A

第2题:

以下哪些是OMC采用的开放式工业标准技术()

A.JAVA

B.SYBASE

C.SQL

D.JBOSS


参考答案:A, C, D

第3题:

Spark可以从()分布式文件系统中读取数据。

A.Tachyon

B.Hive

C.Hbase

D.HDFS


正确答案:ABCD

第4题:

在互联网金融的背景下,征信系统现有的( )等方面的设计已开始难以满足现实要求。

A.查询架构
B.技术架构
C.数据架构
D.应用架构
E.基础架构

答案:B,C,D
解析:
在互联网金融的背景下,征信系统现有的应用架构、数据架构、技术架构等方面的设计已开始难以满足现实要求,需要针对互联网金融进一步提升其扩展性、灵活性和前瞻性,以适应未来的发展需要。

第5题:

在大数据的关键技术中,数据抽取工作ETL是( )过程主要使用的技术

A:数据采集
B:数据存储
C:数据清洗
D:数据分析

答案:A
解析:
大数据从数据源经过分析挖掘到最终获得价值一般需要经过5个主要环节,包括数据采集、
数据存储与管理、计算处理、数据分析和知识展现。在数据采集阶段主要使用的技术是数据抽取工具ETL。在数据存储环节主要有结构化数据、非结构化数据和半结构化数据的存储与访问。

第6题:

Describe the architecture options for implementing real-time ETL.

简述在架构实时ETL时的可以选择的架构部件。


正确答案:
答:在建立数据仓库时,ETL通常都采用批处理的方式,一般来说是每天的夜间进行跑批。
随着数据仓库技术的逐步成熟,企业对数据仓库的时间延迟有了更高的要求,也就出现了目前常说的实时ETL(Real-Time ETL)。实时ETL是数据仓库领域里比较新的一部分内容。
在构建实时ETL架构的数据仓库时,有几种技术可供选择。
1.微批处理(microbatch ETL,MB-ETL)
微批处理的方式和我们通常的ETL处理方式很相似,但是处理的时间间隔要短,例如间隔一个小时处理一次。
2.企业应用集成(Enterprise Application Integration,EAI)
EAI也称为功能整合,通常由中间件来完成数据的交互。而通常的ETL称为数据整合。
对实时性要求非常高的系统,可以考虑使用EAI作为ETL的一个工具,可以提供快捷的数据交互。不过在数据量大时采用EAI工具效率比较差,而且实现起来相对复杂。
3.CTF(Capture, Transform. and Flow)
CTF是一类比较新的数据整合工具。它采用的是直接的数据库对数据库的连接方式,可以提供秒级的数据。CTF的缺点是只能进行轻量级的数据整合。通常的处理方式是建立数据准备区,采用CTF工具在源数据库和数据准备区的数据库之间相连接。数据进入数据准备区后再经过其他处理后迁移入数据仓库。
4.EII(Enterprise Information Integration)
EII是另一类比较新的数据整合软件,可以给企业提供实时报表。EII的处理方式和CTF很相似,但是它不将数据迁移入数据准备区或者数据仓库,而是在抽取转换后直接加载到报表中。
在实际建立实时ETL架构的数据仓库时,可以在MB-ETL, EAI, CTF, EII及通常的ETL中作出选择或者进行组合。

第7题:

以下并行框架哪些不适合大规模数据的迭代挖掘算法和图计算处理的

A.MapReduce

B.BSP

C.流式计算


参考答案:A,C

第8题:

对5G承载网SPN技术描述正确的是()

A.SPN是分层架构,包括SPL、SCL、STL

B.切片传送层,可以使用DWDM

C.可以基于SDN架构

D.SPN包括单一的承载网技术

E.在SPN的技术架构下,可以使用FlexE技术


答案:ABCE

第9题:

在大数据的关键技术中,数据抽取工作ETL是( )过程主要使用的技术。

A.数据采集
B.数据存储
C.数据清洗
D.数据分析

答案:A
解析:
在数据采集阶段主要使用的技术是数据抽取工具ETL。

第10题:

在大型的云计算数据中心,一般采用以下哪些架构()

  • A、紧耦合架构
  • B、松耦合架构
  • C、虚拟化分区架构
  • D、云架构

正确答案:B,C,D

更多相关问题