amazon-s3

Duplicity 和 S3:“写入操作超时”
amazon-s3

Duplicity 和 S3:“写入操作超时”

我正在尝试在 Amazon S3 上使用 duplicity 设置自动备份,但我一直收到一个奇怪的错误,该错误不会显示在 Google 搜索中。 machina:~# duplicity --version duplicity 0.6.14 这是我正在使用的脚本: #!/bin/bash export AWS_ACCESS_KEY_ID=???? export AWS_SECRET_ACCESS_KEY=???? export PASSPHRASE=???? duplicity --encrypt-key=A36FFD9E --sign-key ...

Admin

ffmpeg 流图像流到 AWS S3
amazon-s3

ffmpeg 流图像流到 AWS S3

对于视频监控解决方案,我想将传入视频 (TS/UDP) 的缩略图推送到 S3 存储桶,然后这些缩略图会显示在网页上 目前以下 bash 循环正在运行: while true; do ffmpeg -i udp://:5010 -vf "select='eq(pict_type,PICT_TYPE_I)'" -frames:v 1 -vsync vfr -qscale:v 15 -an -s 320x180 -f image2pipe - | aws s3 cp - s3://bucketname/prefix/preview.jpg done 因此,它...

Admin

FFMpeg 如何从远程 s3 url 读取
amazon-s3

FFMpeg 如何从远程 s3 url 读取

我很好奇 FFMpeg 如何从远程 URL(例如,aws s3 预签名 URL)读取视频文件。 它是先分块下载文件,然后逐块进行处理吗? 或者它会下载一些字节或帧然后继续处理它吗? 或者它在内部传输文件内容并开始处理它? 因为我观察到,只要我触发命令,它就会开始处理,并且从第一秒开始就可以看到进度。它没有显示由于下载阶段自然产生的任何延迟。我甚至尝试过将其用于更大的 GB 视频文件。 示例命令: ffmpeg -i "http://commondatastorage.googleapis.com/gtv-videos-bucket/sample/BigB...

Admin

使用回退功能挂载或同步 S3 版本化存储桶 - 回到过去
amazon-s3

使用回退功能挂载或同步 S3 版本化存储桶 - 回到过去

假设我有一个 S3 版本存储桶(由 Ceph 支持),我想在特定时间从中恢复。mcli有一个--rewind特点这使得一些操作可以利用这些版本回到过去。不幸的是,这不适用于 Ceph。还有其他易于使用的解决方案可以在特定时间恢复对象版本吗?我知道有很多 S3 工具,但我没有在其他地方找到这样的倒带功能。理想情况下,它要么是在给定时间像s3fs/一样挂载 ar/o rclone mount,以便可以在其上使用 rsync,要么是同步操作,例如rclone sync带有倒带选项。如果绝对必要,我愿意编写一些脚本。 ...

Admin

如何将linode对象存储桶路由到域名?
amazon-s3

如何将linode对象存储桶路由到域名?

我有一个 linode 对象存储桶,里面有我的文件/文件夹。我购买了域名,并设置了一个 CNAME 指向 [subdomain].[domain].com.website-us-southeast-1.linodeobjects.com。当我尝试通过域名访问网站时,我必须包含 /index.html,否则页面会提取 xml 中的存储桶,而不是网站。如果我转到 [domain].com/index.html,一切都会加载正常,但我希望当用户输入 [subdomain].[domain].com 或 [domain].com 时,它会路由到 /index.htm...

Admin

使用访问密钥和密钥连接到 S3 Web 控制台
amazon-s3

使用访问密钥和密钥连接到 S3 Web 控制台

是否可以在 Amazon S3 控制台中进行身份验证(https://s3.console.aws.amazon.com) 使用访问密钥/密钥对?它看起来只接受用户凭证。如果没有,是否有使用这些密钥的 Web 访问方法? 谢谢! ...

Admin

AWS S3  MS Onedrive 与规则同步
amazon-s3

AWS S3 MS Onedrive 与规则同步

是否可以在特定的 AWS S3 存储桶和 OneDrive 文件夹之间进行自动同步?并指定规则,例如从同步中删除某些文件扩展名;仅同步特定的子目录(与 github 类比,它是一种 .gitignore 文件) 谢谢 ...

Admin

AWS Windows EC2 文件传输-需要保持会话打开
amazon-s3

AWS Windows EC2 文件传输-需要保持会话打开

我有一个相当大的文件需要从 S3 bucket 复制到 Windows EC2,但在会话结束前无法完成。我发现很多针对 Linux 的建议,但没有找到针对 Windows 的建议。 我所见过的一些东西建议使用屏幕并从 chocolatey(choco install screen)安装屏幕包,我试过了但它告诉我找不到该包。 是否有人对即使会话终止也能保持文件传输继续运行有什么建议? ...

Admin

aws sync 不会下载文件,而是创建一个空目录
amazon-s3

aws sync 不会下载文件,而是创建一个空目录

我想要下载的文件是: s3://ont-open-data/gm24385_q20_2021.10/analysis/20210805_1713_5C_PAH79257_0e41e938/guppy_5.0.15_sup/align_unfiltered/chr19/calls2ref.bam 这是一个开放的数据集。我遵循了这里的教程:https://labs.epi2me.io/tutorials/。我使用的命令是: aws s3 sync --no-sign-request s3://ont-open-data/gm24385_q20_2021.10/...

Admin

如何在 chrome 中自动将 s3 url 转换为 http?
amazon-s3

如何在 chrome 中自动将 s3 url 转换为 http?

假设我有一个这样的链接: s3://mybucket/mybucket?prefix=myprefix/file.json 然后我在 chrome 浏览器中打开它。我会收到一个错误。是否可以自动将 s3 url 从 s3://mybucket/mybucket?prefix=myprefix/file.json 到 https://s3.console.aws.amazon.com/s3/buckets/mybucket?prefix=myprefix/file.json 并重定向/打开 aws s3 web consul? ...

Admin

AWS S3 存储桶 CORS 错误
amazon-s3

AWS S3 存储桶 CORS 错误

我有一个名为 的 Amazon S3 存储桶cs-ia。 这是我的 CORS 配置: [ { "AllowedHeaders": [ "*" ], "AllowedMethods": [ "PUT", "POST", "GET", "HEAD" ], "AllowedOrigins": [ "*" ], ...

Admin

无法删除 duplicity s3/glacier 档案
amazon-s3

无法删除 duplicity s3/glacier 档案

为了将我的系统备份到 s3,我正在运行: duplicity 0.8.17 Python 3.9.2 boto3'1.24.36' 我的每日备份运行良好,正如所希望的那样,它们在一个月后从 s3 移动到了 glacier,duplicity 状态显示一切正常,每月有完整备份,每日有增量备份,可以追溯到 62 个月前,例如 Secondary chain 54 of 62: ------------------------- Chain start time: Sun Oct 24 02:05:01 2021 Chain end time: Tue Nov...

Admin

默认将 S3 存储桶中的新对象设为公开
amazon-s3

默认将 S3 存储桶中的新对象设为公开

我有一个 s3 bucket,其中的对象需要公开,现在每次我上传新文件时,我都必须单击它,然后单击“使用 acl 公开”。我想知道是否有办法将其设置为默认情况下任何上传到我的 bucket 的新文件都是公开的。我尝试授予 bucket 本身公开权限,但我仍然必须将单个对象也公开。 ...

Admin