我正在尝试从 Azure HDInsight Cluster VM 访问 AWS s3 存储桶。我生成了新密钥并添加到 .aws/credentials。“aws s3 ls”在 Azure VM 中运行良好。如果我执行 hadoop distcp 或在 spark-shell 中读取 s3 文件，我会收到 403 错误“您提供的 AWS 访问密钥 ID 在我们的记录中不存在。”。我确实尝试导出 AWS_SESSION_TOKEN、AWS_ACCESS_KEY_ID 和 AWS_SECRET_ACCESS_KEY。但没有成功。请帮我解决这个问题。 ...
我想要在给定时间段内上传到 S3 按钮的所有文件。例如，2017 年 11 月 5 日至 2018 年 11 月 7 日之间上传的所有内容。 请注意，由于存储桶的大小，下载整个存储桶是不可能的。 ...
我有大约 50 个文件夹，其中包含子文件夹，我想将文件夹和子文件夹上传到 S3 存储桶，同时保留子文件夹结构。 我读到我可以--include多次使用命令，但是有没有更好的方法来做到这一点？ 我想要上传的文件夹是在某个日期之后创建的，有没有办法将日期范围输入到命令中？ 谢谢 ...
我想更新一个 nodejs 应用程序，结果毁了我的 s3 服务器。我没有从服务 -> elastic beanstalk 正确更新，而是删除了 s3 上的 .zip 文件并将其替换为新文件。我重建了我的 beanstalk 环境，但什么也没发生。 ...
一个新的交易对手为我提供了AWS S3 访问密钥 ID 和一个密钥这样我就可以向他们发送文件。 我原本以为会跑 $ aws s3 configure 并在提示时输入这些值。 然而，当我跑步时，$aws s3 configure 我得到了这个 AWS Access Key ID [****************WXYZ] 当我期待着这一点的时候 期待 AWS Access Key ID [None]: 亚马逊自述 问题 当运行aws s3 configure新实例时Key ID，值是否应该已经包含某些内容？ 我是否采取了...
我正在尝试找到一种方法来为目录中的每个文件创建一个文件夹。然后我想将每个文件复制到其创建的文件夹中。这些文件目前托管在 AWS (S3) 上。 例如，如果我有三个文件，a.jpg、b.jpg 和 c.jpg。我想创建三个文件夹，a、b 和 c。然后将 a.jpg 复制到 a 文件夹中，将 b.jpg 复制到 b 文件夹中，将 c.jpg 复制到 c 文件夹中。我有很多文件，所以手动执行似乎不是一个好选择。 有人知道这是否可能吗？ ...
我有一个非常小的（静态）网站托管在 Amazon S3 上。昨天我收到了以下消息，其主题行如下： 配置为公开访问的 Amazon S3 存储桶的通知 该消息内容如下（截图）： 你好， 我们写信通知您，您的 AWS 账户 XXXXXXX 有一个或多个 S3 存储桶，允许互联网上的任何用户进行读取或写入访问。默认情况下，S3 存储桶仅允许账户所有者访问存储桶的内容；但是，客户可以配置 S3 存储桶以允许公开访问。 除非您有特殊原因（例如托管公共网站）需要进行此配置，否则我们建议您更新存储桶并限制公开访问。截至 2019...
我一直在研究如何为 AWS SFTP 设置自定义身份验证，这是一个非常棘手的问题。有很多关于如何使用自定义 idp 的参考资料，但没有具体的例子。 我们正在使用 Active Directory，并且目前已设置 AWS SSO，因此理论上可以与 SAML 联合。对于我的测试实例，我在目录服务中设置了 Microsoft AD，并启用了 SSO。 亚马逊的示例提供了一个主要基于 lambda 函数的云形成模板。lambda 函数非常简单，它根据 Amazon Secrets 验证硬编码到 lambda 中的密码。显然，这并不实用。 有人做过这个吗？你是怎...
我尝试在 Sonatype Nexus 上创建一个 blob 存储，如下所示： 然后，我收到此错误： 无法初始化 Blob 存储桶：s3jenkins-cache，原因：无法 执行 HTTP 请求：连接到 s3jenkins-cache.s3.ap-northeast-2.amazonaws.com:443 [s3jenkins-cache.s3.ap-northeast-2.amazonaws.com/52.219.56.35] 失败： 连接超时 访问密钥工作正常。 Nexus 在 AWS EC2 上运行。 访问密...
也许这是我自己对 AWS CLI 工作原理的误解，但我使用 AWS CLI 上传了已转换为 .raw 的 qcow2 VM 映像。移动 128GB 文件大约需要 6 个小时。我让它运行了一整夜。 第二天（今天早上），当我尝试访问该文件并将其作为快照导入时，我在 AWS 管理控制台上查看了 S3 存储桶，发现 .raw 文件已被拆分成上千个部分。我上传的 Image.raw 不是完整的图像。相反，我得到的是 2019-08-02-234RTIH2F9832F92 类型的文件名。 我正在尝试在 AWS 的管理 GUI/Web 门户（而不是 CLI）中再次...
我在 s3 存储桶上有多种内容格式的文本文件。 最简单的格式具有如下 dhwon 分隔内容： Field1|field2|field3|field4 我想解析上述分隔文件并将内容加载到具有相同结构（field1、2 等）的数据库表中。 是否存在可用于进行这种解析的行业标准工具？ Amazon DMS（数据库管理系统）能解决这个问题吗？因为 DMS 主页 (https://aws.amazon.com/dms/) 说： “借助 AWS Database Migration Service，您可以持续复制高可用性数据，并通过将数据流式传输到 Ama...
许多使用过 AWS S3 的人都知道，它不是一个文件系统，而是存储桶中的所有内容都是对象。使用 aws cli 将 Linux 服务器备份到 S3 时，它不会保留文件的权限和日期。因此，如果您需要从 AWS S3 备份还原到 Linux 服务器，它将不包含有关每个文件的 Linux 文件系统特定信息。与对另一台 Linux 服务器执行 rsync 备份不同。 另一种选择是在 Linux 上创建一个压缩的 tar 文件，然后将其上传到 AWS S3，但存在文件大小限制。这也不便于进行增量备份。 人们一直在谈论使用 AWS S3 进行备份以及它有多么棒，但我...
我正在使用以下存储桶策略： { “Version”：“2012-10-17”， “Id”：“Policy1566337631537”， “Statement”：[{ “Sid”：“Stmt156”， “Effect”：“Deny”， “Principal”：“", "操作": "s3:PutObject", "资源": "arn:aws:s3:::jmalacho-test-bucket23/*", "条件": { "StringNotEquals": { "s3:x-amz-server-side-encryption-aws-kms-key-id": ...
我需要从 s3 存储桶中获取昨天的所有文件，当我知道文件名时我知道如何在 CLI 中执行此操作： #aws s3 cp s3:{Path}/{FileName} {diretoryToCopyTo} 但是我该如何对特定日期的文件执行此操作？只需获取特定日期的文件名列表即可，无论使用哪种方法，都不需要 CLI。 问题在于：该存储桶中有几百万个文件，因此我也在寻找一种经济有效的方法。 ...
我是 CloudWatch 事件的新用户，我正在尝试创建一个事件规则，当 Sagemaker Ground Truth Labeling Job 完成时触发 lambda 函数。从阅读 aws 的这篇文章来看，这似乎是可能的： 使用 CloudWatch Events 对 Amazon SageMaker 作业状态变化做出反应 创建触发事件的 CloudWatch Events 规则 我按照教程创建了 cloudwatch 事件规则，并将事件模式设置为，Sagemaker:Sagemaker Training Job State Change然后创建...