amazon-dynamodb

DynamoDB 的大规模更新
amazon-dynamodb

DynamoDB 的大规模更新

我一次从提供商 API 接收多个 json 项目更新,但无法控制可以接收多少个项目,有时可能只有 1 个项目,有时则有 100k 个项目。 这些项目被放入 SQS 队列。然后我使用一些代码处理它以将其插入 dynamoDB(主要是更新,因为项目已经存在但发生了变化) 然后将这些项目插入到 DynamoDB 中,你可以想象,当它一次获得 100k 个项目时,配置的容量是不够的,它需要自动扩展,这会浪费我的时间和金钱。 您是否知道是否有某种架构机制可以用于平滑交易,这样我就不需要一次处理 100K 个项目,从而节省自动缩放和更多配置容量的费用? ...

Admin

AWS Dynamodb 如何根据写入容量单位优化 BatchWrite 操作
amazon-dynamodb

AWS Dynamodb 如何根据写入容量单位优化 BatchWrite 操作

如果我们尝试使用 batchWrite 在 dynamoDb 中插入许多记录,那么 DynamoDb 可能会优化 BatchWrite 操作,以使消耗的 WCU 总大小小于每个项目的总和。 例如: 假设我尝试插入 1000 条记录,每条记录大小为 1 KB(1 WCU = 1 KB)。如果我使用 单独插入每一项PUTItem,则将花费 1000 WCU。但是,如果我使用 batchWrite,则 dynamoDb 可能会优化批处理操作,使总成本低于 1000 WCU。 但是,我还没有找到关于 dynamoDb 如何在批量写入操作期间优化 WCU 的任何详细信...

Admin

DynamoDB 自动扩展、应用程序自动扩展
amazon-dynamodb

DynamoDB 自动扩展、应用程序自动扩展

我正在尝试设置一组可以创建新用户和 dynamoDB 表的 boto3 python AWS 脚本,以便我正在开发的 Web 应用程序可以添加具有适当范围的权限的新用户。 我无法获取脚本来将自动扩展添加到 dynamodb 表。我创建了一个 IAM 策略,我认为它过于宽泛 - 添加了大多数自动扩展和应用程序自动扩展选项,试图找出我需要什么,但我似乎仍然没有权限将自动扩展添加到我的 dynamodb 表。希望有人能发现我遗漏了什么。 下面我将展示 IAM 策略和尝试添加自动扩展的 Python 代码片段。 { "Version": "2012-10-1...

Admin

DynamoDB 用户细分
amazon-dynamodb

DynamoDB 用户细分

在 DynamoDB 中,是否有一种行业标准方法可以按公司/用户/客户细分数据?如果我使用的是关系数据库,我想我会为我在这里考虑的级别使用不同的数据库。我不想使用键来标记行属于给定实体,而是想要一块数据,我可以以编程方式将我的应用程序包含到每个用户,而不会出现错误键或代码中的逻辑错误而导致数据泄露。另外,当我们完成后(不再是客户或用于测试),我可以一次性删除所有数据。我想我可以使用表名前缀,但我认为表的数量可能存在限制,而且这不像想法那么干净。我是否需要为每个表设置单独的帐户,即使所有费用都由我们承担? ...

Admin

使用文件系统(AWS EFS)作为 Lambda 函数的廉价数据库
amazon-dynamodb

使用文件系统(AWS EFS)作为 Lambda 函数的廉价数据库

我正在设计一个数据库,它可以轻松地表示为包含固定大小记录的大型文件集合,序列号为 0,1,... 这可以很好地适用于 DynamoDB,文件名作为主键,记录序列号作为排序键,但我正在考虑在 EFS 上只使用松散文件。我不需要任何复制,因为这已经是容错系统中的复制。我的 Lambda 函数不需要任何比读取、写入或更新单个记录更复杂的操作,这些记录始终位于已知文件中的已知偏移量。可能有 100 个同时活动的 lambda,但通常访问不同的文件。看起来我可以使用 fcntl/lockf 来同步任何争用。 从背面来看,使用原始文件至少可以减少一半的成本,而且我猜性能...

Admin

SHA512-CRYPT MariaDB 密码迁移到 DynamoDB
amazon-dynamodb

SHA512-CRYPT MariaDB 密码迁移到 DynamoDB

我曾经在 Debian 10 上的 MariaDB (10.5.16) 本地运行邮件服务器的数据库。现在我已将其迁移到 RDS,但我还想尝试迁移到 DynamoDB。大多数数据都是纯文本,但在我的帐户表中,我的密码是加密的 SHA512-CRYPT 字符串。 我应该怎么做才能正确安全地将其迁移到 DynamoDB?我相信密码的加密/解密是在本地计算机上使用 openssl 而不是数据库引擎进行的?话虽如此,如果我只是将这些加密的 SHA512 字符串迁移到 DynamoDB 属性中,它们在调用时不会被转换为纯文本数据,是吗? 我对 DBA 的东西很不了解,而...

Admin

AWS DynamoDB 的 HeavyUsage 费用是多少?
amazon-dynamodb

AWS DynamoDB 的 HeavyUsage 费用是多少?

AWS Cost Explorer 中的以下成本费用是多少 <region-code>-HeavyUsage:dynamodb.write <region-code>-HeavyUsage:dynamodb.read 没有找到有关 Dynamodb 账单/成本说明的任何文档。相关文件我发现它适用于 EC2 - HeavyUsage。 有关于 DynamoDB 中这些费用的信息吗? 注意:我们在任何地区都没有任何预留容量。 ...

Admin

如何从 Docker 连接 Dynamodb?
amazon-dynamodb

如何从 Docker 连接 Dynamodb?

我正在 Linux 虚拟机上将 DynamoDB 作为 docker 容器运行。 DnyamoDB docker 镜像的 URL:关联 但在描述中,他们没有提到访问密钥和私钥。如果它是 AWS 托管的,我们可以从我们的帐户控制台获取它。但是,如何为本地托管的创建它们? 我尝试连接 DBeaver,并进入上述设置窗口。它要求输入访问权限和密钥。我在 YouTube 上找到的所有视频都没有解释这一点。 但这是连接容器的障碍。请提出建议。 保持空置并进行测试。 尝试过其他选项,但没有作用。 ...

Admin

如何自动生成 aws dynamodb create-table 的表模式 json?
amazon-dynamodb

如何自动生成 aws dynamodb create-table 的表模式 json?

目前,如果我运行aws dynamodb create-table --generate-cli-skeleton,它将为我生成一个模板来填写列定义等,以创建一个新的 dynamodb 表。 我希望能够从另一个 dynamodb 表转储表布局并将其用作命令的 json 输入create-table。 但是当我使用aws dynamodb describe-table它生成 json 时,它在结构上与 cli 骨架文件不同。 基于现有表创建这样的 json 文件的更简单的方法是什么? ...

Admin

在 AWS Quicksight 中可视化 AWS DynamoDB 数据的正确方法是什么
amazon-dynamodb

在 AWS Quicksight 中可视化 AWS DynamoDB 数据的正确方法是什么

简而言之,考虑到这些标准,如何将 DynamoDB 连接到 AWS Quicksight? 在我现有的解决方案中,数据到达 AWS IoT,调用规则将其发送到 Lambda。Lambda 对其进行解码并将其放入 DynamoDB。DynamoDB 中的每条记录实际上都包含资源的多个读数/观察值。因此,从统计学家的角度来看,数据并不“整洁”。我希望的结果是将数据放入 Quicksight 中,并能够执行与 R 中相同深度的分析,但具有自动化、漂亮的仪表板和全球分布等巨大优势。这个问题具体是关于如何将数据发送到 Quicksight(目前没有可用于 noSQL ...

Admin

DynamoDB 延迟是否与 RDS 延迟几乎相同?
amazon-dynamodb

DynamoDB 延迟是否与 RDS 延迟几乎相同?

我正在探索通过 Laravel Vapor 使用 AWS Lambda。避免使用 Redis 可以为我们节省约 56 美元/月(t2.small 约 24 美元,NAT 网关约 32 美元)。 我计划使用 DynamoDB 来代替 Redis,因为它便宜得多。与此帖子的想法基本相同https://twitter.com/JackEllis/status/1246500143425146880 我的问题是,使用 DynamoDB 作为 RDS 之上的缓存层是否有意义,或者延迟是否几乎相同,这意味着我最好只依赖 MySQL 的内部缓存? 就上下文而言,La...

Admin

AWS dynamoDB 每月账单
amazon-dynamodb

AWS dynamoDB 每月账单

我打算在 AWS 上设置 DynamoDB,其定价约为每月 0.3 美元/GB。如果我存储 500 GB 一小时,对其进行一些操作,然后在一小时后删除 200 GB。我是否需要为整个月使用的 500 GB 付费,还是为数据库上一小时的 500 GB 付费? ...

Admin

2019 年 DynamoDB 成本
amazon-dynamodb

2019 年 DynamoDB 成本

我目前正在尝试为类似社交媒体的应用程序(用户、关注、喜欢等)排列堆栈。我最初的计划是使用无服务器框架、AWS Lambda 以及最重要的 DynamoDB 来实现这一点。 在深入研究了 DynamoDB 中的数据建模后,我认为它基本上能够处理应用程序所需的数据模式(数据中的大量关系)。但我真的非常担心会产生的成本。 当用户与应用程序交互时,将会有大量的读/写操作需要大规模进行。 我计划将数据建模为一个具有 2GSI 的表。大约有 15 种访问模式。可以使用该query函数访问所有数据。scan常规操作将禁止使用该函数。由于较新的内容将产生更多交互,因此...

Admin

在与 DocumentDB 或 DynamoDB 相同的 VPC 中运行 AWS Lambda
amazon-dynamodb

在与 DocumentDB 或 DynamoDB 相同的 VPC 中运行 AWS Lambda

由于早先的架构决策,我们目前正在 VPC 中运行 AWS Lambda。 我们还使用 MongoDB Atlas 以及 VPC 与 Atlas 之间的对等连接设置。这显然会导致冷启动时间更长,因为需要设置 ENI。 我希望通过在同一个 VPC 内移动我们的数据库来减少这种情况,但如果可能的话,我想做一个健全性检查。 当前流程是 API 网关 -> 使用无服务器框架的 VPC 上的 AWS Lambda <- PEERING CONNECTION -> 用于数据存储的 MongoDB Atlas。 如果我们在相同的VPC 作为运行我...

Admin

如何在不失去本地连接存储优势的情况下分离存储和计算资源?
amazon-dynamodb

如何在不失去本地连接存储优势的情况下分离存储和计算资源?

诸如 DynamoDB 之类的服务(不是具体的,但它是我首先想到的)可对写入/读取容量(即计算)以及存储容量提供动态扩展。 这意味着您可以拥有一个 TB 级大小的 DynamoDB 表,但读取或写入的预置容量为 0。重要的是,您也只需支付存储费用,因为没有执行任何读取/写入操作。 如果 DynamoDB 节点使用本地连接存储(可能由于延迟原因他们需要这样做),那么他们如何处理这些节点的空闲 CPU? 提出这个问题的动机是因为我目前正在 AWS EC2 实例上运行数据存储,已经在具有最高 SSD 容量(i3 类)的实例类型上运行,其中存储容量需求大大超过...

Admin