我正在学习本教程:https://docs.microsoft.com/en-us/learn/modules/intro-to-azure-databricks/4-using-notebooks
在本教程中,我们创建了如下所示的数据库:
%sql
CREATE DATABASE IF NOT EXISTS Databricks;
USE Databricks;
CREATE TABLE IF NOT EXISTS AirlineFlight
USING CSV
OPTIONS (
header="true",
delimiter=",",
inferSchema="true",
path="dbfs:/mnt/training/asa/flights/small.csv"
);
CACHE TABLE AirlineFlight;
SELECT * FROM AirlineFlight;这个数据库是在哪里创建的?此外,还有一个问题
Question: Which of the following are good applications for Apache Spark? (Select all that apply.)
Querying, exploring, and analyzing very large files and data sets
Joining data lakes
Machine learning and predictive analytics
Processing streaming data
Graph analytics
Overnight batch processing of very large files
Updating individual records in a database
Answer: All but #7. Apache Spark uses SQL to read and performs analysis on large files, but it is not a Database.如果我们可以使用spark创建一个数据库,那么为什么我们也不能更改它的记录呢?
发布于 2020-08-27 09:13:49
这个数据库是在哪里创建的?
在现代数据存储和处理中,一个强大的范例是计算和存储的分离。使用解耦的计算和存储构建系统具有与可伸缩性、可用性和成本相关的好处。
Apache加载并对数据执行计算--它是一个分布式数据处理引擎。它不能处理永久的存储。在Databricks (您正在使用databricks文档)中,数据通常存储在Delta中,Delta是专门为使用Spark而设计的。然而,Spark可以使用许多其他方式存储的数据,例如其他云存储(如Amazon、Azure )、传统的SQL数据库、NoSQL数据库、HDFS等等。
https://datascience.stackexchange.com/questions/65588
复制相似问题