data-warehouse

需要帮助决定最适合我们的用例和服务器硬件限制的 MariaDB 存储引擎
data-warehouse

需要帮助决定最适合我们的用例和服务器硬件限制的 MariaDB 存储引擎

我在一家小公司工作,我们需要一个数据仓库。 我们的生产数据库大约有 50Gb 的数据(目前每年增长约 10GB),我们的服务器运行略微超出其容量,我们认为我们可以将一些历史数据移动到数据仓库(其中大约一半的 50GB 可以移动)这样它就可以再次顺利运行。 当然,数据仓库会将所有数据 ETL 到其中,而不仅仅是历史数据。这样,我们还可以从 DW 而不是生产服务器获取那些昂贵的报告和仪表板数据。 我打算将数据 ETL 到 DW 并使用雪花方案进行存储,之后我计划创建一些数据集市用于报告和 BI。这些数据集市将使用星...

Admin

如何将专用 SQL 池 (DW) 迁移到 Serveless Synapse?
data-warehouse

如何将专用 SQL 池 (DW) 迁移到 Serveless Synapse?

我有 Azure Datawarehouse,其固定定价层为 DW100。使用量很小,并且假设无服务器可以更便宜。 A)如何获取上个月发生了多少数据处理的信息以分析成本?B)如何迁移到无服务器? ...

Admin

Azure SQL 数据仓库之间的交叉引用
data-warehouse

Azure SQL 数据仓库之间的交叉引用

在一个 SQL Server 实例中,我有以下 2 个数据仓库, sqlwarehouse1 sqlwarehouse2 在 sqlwarehouse2 中,我有表“dbo.test”。我如何从 sqlwarehouse1 引用此表?在 Azure SQL 仓库中可以进行跨数据仓库通信吗? ...

Admin

该应用程序是数据保险库、数据集市还是数据仓库?
data-warehouse

该应用程序是数据保险库、数据集市还是数据仓库?

我正在从各种源系统导入信息并将其放入本地数据库以进行报告。例如,其中一个来源是 Google Analytics。 以下是此导入过程的一些属性: 我正在从源系统(例如 Google Analytics)收集数据。 数据进入我的本地数据库。 数据单向流动,即,本地数据库上唯一的写访问权限是导入器进程。 本地数据库是源系统的视图,即它不是上游数据库的完全保真副本。 鉴于这些属性,我的本地数据库是否应该被称为数据集市、数据保险库或数据仓库? 这个词的选择对我来说很重要,因为我们公司将以开源形式发布我们的工...

Admin

从 OLTP AWS RDS 创建 OLAP 数据仓库
data-warehouse

从 OLTP AWS RDS 创建 OLAP 数据仓库

我有一个 OLTP AWS RDS(在 postgresql 中,非常规范化)为应用程序提供支持。我正在尝试使用星型模式在 AWS RDS(postgresql)中创建一个单独的数据仓库(OLAP 用例)。我没有考虑使用 redshift,因为它更昂贵,而且数据量不值得。作为 AWS 新手,我的问题是 AWS 堆栈中是否有某种工具可以让我基于 OLTP RDS 构建数据仓库类型的 RDS?有关两个 RDS 之间的数据复制/数据同步等的任何建议都很有帮助。 ...

Admin

原始估计在 Team Foundation Server 中如何工作
data-warehouse

原始估计在 Team Foundation Server 中如何工作

如果我调出某个项目的任务,就会看到一个名为“原始估计”的字段。我唯一能找到原始估计的地方是 Tfs_Warehouse 数据库的列FactWorkItemHistory下表格中Microsoft_VSTS_Scheduling_OriginalEstimate。 有人能解释一下这个值是如何工作的吗?我问这个问题的原因是它在 FactWorkItemHistory 表中对于同一个任务会发生变化。有一些正条目和负条目。如果我把Microsoft_VSTS_Scheduling_OriginalEstimateTask 和 ProjectNodeSK 的所有值加...

Admin

使用 SSMA 在 Oracle 和 Azure SQL 数据仓库之间迁移
data-warehouse

使用 SSMA 在 Oracle 和 Azure SQL 数据仓库之间迁移

使用 SSMA 工具(用于将数据从 Oracle 迁移到 Azure SQL 的工具)将表从 Oracle 同步到 Azure SQL 数据仓库时,我遇到了以下错误。我能够连接到数据库并从 Oracle 数据库转换架构,但在将其与 Azure SQL 数据仓库同步时出现错误。请提出解决方案。 错误:不支持使用 USE 语句在数据库之间切换。请使用新连接来连接到不同的数据库。 同步错误:不支持使用 USE 语句在数据库之间切换。请使用新连接来连接到不同的数据库。 我无法确定 SSMA 中此错误的更正方法。了解解决方案将大有帮助。 ...

Admin

SAN 上的 Oracle 数据仓库。吞吐量可能达到 > 400MB/s 吗?
data-warehouse

SAN 上的 Oracle 数据仓库。吞吐量可能达到 > 400MB/s 吗?

我们正在为客户开发和部署基于 Oracle 11g EE 并在 RHEL5 64 位上进行分区的数据仓库。 所需的总存储空间约为 4TB 的可用空间。 我一直在阅读有关数据仓库的平衡硬件配置的文章,并且存储吞吐量对于数据仓库的性能至关重要;存储应该针对顺序吞吐量而不是容量、条带和镜像一切进行规范。 我们的客户非常热衷于使用他们的 SAN(NetApp),原因有很多:例如集中管理和备份,而且他们已经在它上面花费了很多钱。 在我看来,即使数量相对较少的本地磁盘也能比 SAN 具有更好的吞吐量,例如 16 个 10k RPM 600GB SFF 磁盘= ...

Admin

远程数据库服务器所需的最小带宽
data-warehouse

远程数据库服务器所需的最小带宽

我想为我的公司构建一个小型仓储应用程序。我们有一个中央仓库,负责向全国 8 个销售点配送货物。他们坚持采用内部解决方案。我正在考虑设置一个中央 mySQL db Linux 服务器,并让各分支机构连接到该服务器以存储销售。 分支机构对数据库的查询次数最少,可能每小时 10 次。但是我需要所有分支机构能够在高峰时段将每个销售数据(产品 ID、客户 ID)最多每五分钟一次存储在中央数据库中。 我的问题是,我可以使用简单的 24mbps/768kbps DSL 线路吗?如果不行,带宽要求是多少?如果需要,我可以依靠负载平衡路由器来合并其他线路吗?您能提出一些服...

Admin

数据中心与数据仓库
data-warehouse

数据中心与数据仓库

我经常听到这两个术语的使用。数据中心和数据仓库有什么区别?这些术语可以互换吗? ...

Admin

SQL Server 2005 中事实表的简单表分区?
data-warehouse

SQL Server 2005 中事实表的简单表分区?

我一直在阅读这篇文章http://msdn.microsoft.com/en-us/library/ms345146(SQL.90).aspx为实施某些分区做准备。 我有几个表想要按DATA_DT_ID整数进行分区,我真的很希望能够非常简单地处理这个问题 - 当我发布新月份的数据时在末尾添加新的分区,当分区过期时从后端删除它们。 但文章展示了完成此操作所需的一系列相对复杂的步骤。 是否有人创建过任何存储过程来自动执行此操作?这似乎是数据仓库中一个相当常见且普遍的问题。 ...

Admin