s3cmd

使用 pip 在 MacOS High Sierra 上安装 s3cmd
s3cmd

使用 pip 在 MacOS High Sierra 上安装 s3cmd

我已经在 MacOS High Sierra 上安装s3cmd,pip并且已成功安装。 sudo pip install --user s3cmd The directory '/Users/crmpicco/Library/Caches/pip/http' or its parent directory is not owned by the current user and the cache has been disabled. Please check the permissions and owner of that directory. If ...

Admin

从 S3 存储桶复制特定文件
s3cmd

从 S3 存储桶复制特定文件

我在 s3 存储桶中有一些文件。 aws s3 ls s3://bucketname/ file-111-100x100.jpg file-112-1400x1400.jpg file-123-250x250.jpg file-231-1400x1400.jpg file-222-700x700.jpg file-333-100x100.jpg file-131-1400x1400.jpg file-321-250x250.jpg file-232-480x480.jpg file-113-1400x1400.jpg file-331-100x100.j...

Admin

S4cmd 仅适用于 Amazon S3。是否可以像 S3cmd 的工作方式一样将其配置为 DreamObjects 云存储?
s3cmd

S4cmd 仅适用于 Amazon S3。是否可以像 S3cmd 的工作方式一样将其配置为 DreamObjects 云存储?

我刚刚从S3命令到S4命令。它非常适合 EC2 到 Amazon S3 的数据传输。但是当我尝试梦想物件或者CenturyLink 对象存储在其位置时,它会显示以下错误: ClientError:调用 ListBuckets 操作时发生错误(InvalidAccessKeyId):您提供的 AWS 访问密钥 ID 在我们的记录中不存在。 我已正确配置.s3cfgDreamObjects,我知道这一点,因为当我输入时s3cmd ls它会列出存储桶。但是当我输入时s4cmd ls它会出现上述错误。 那么S4cmd目前不兼容其他对象存储服务吗? ...

Admin

无法在 centos 上安装 s3cmd
s3cmd

无法在 centos 上安装 s3cmd

我尝试使用以下命令在 centos-release-6-8 上的 centos 上安装 s3cmd cd etc/yum.repos.d wget http://s3tools.org/repo/RHEL_6/s3tools.repo yum install s3cmd 最后一个命令输出“非法指令(核心转储)” 我试过 sudo yum install s3cmd。它也不起作用 有什么帮助吗? ...

Admin

s3cmd 是否会将命令覆盖文件?
s3cmd

s3cmd 是否会将命令覆盖文件?

我正在尝试编写一个脚本,该脚本会自动将我的驱动器备份到 amazon s3。我已经下载了s3cmd,我想知道该put命令的作用是什么... 我觉得它每次都会上传文件,然后覆盖它们。它到底是不是这么做的? 我正在寻找类似的东西rsync -av --delete,以便只有发生变化时它才会做一些事情...... 我能做些什么? ...

Admin

如何在 Mac OS X Yosemite 上安装 s3cmd?
s3cmd

如何在 Mac OS X Yosemite 上安装 s3cmd?

我正在使用 Mac OS X Yosemite,并希望s3cmd从S3工具。以下是我目前所做工作的总结: 下载并解压.tar.gz。 将结果目录移动到/usr/local/src cd /usr/local/src/s3cmd-1.5.0 sudo python setup.py install s3cmd --configure,显示错误消息Please install the python dateutil module 安装 Homebrew brew install python(安装 pip) pip install python-dateut...

Admin

如何从命令行以比 s3cmd 更快的速度下载大型 S3 对象
s3cmd

如何从命令行以比 s3cmd 更快的速度下载大型 S3 对象

使用 s3cmd 命令,您可以像这样从 S3 下载文件: s3cmd get s3://my.private.bucket/some/location/hugefile.dat 但如果存储的文件非常大,则可能需要相当长的时间。是否有替代上述示例的命令行解决方案可以显著加快此过程? ...

Admin

s3cmd 同步挂在“正在检索远程文件列表...”
s3cmd

s3cmd 同步挂在“正在检索远程文件列表...”

作为备份解决方案的一部分,我正在使用 s3cmd 来传输大量文件。 我有四个不同的工作,目录大小不同,文件大小也不同。 其中三项作业运行良好。但最后一项作业却挂起,提示如下信息: Retrieving list of remote files for <...> 当我说它挂了,我的意思是它不再继续运行。在 100% 稳定的办公室网络连接上,它就这样冻结了整整一周。 现在,它尝试上传的目录很大。大约 306GB。这是迄今为止最大的作业。 我在 StackOverflow 上看到一篇帖子,其中有一个与此类似(但不完全相同)的问题,接受的...

Admin

s3cmd:尝试复制多个文件时出现 KeyError:‘dest_name’
s3cmd

s3cmd:尝试复制多个文件时出现 KeyError:‘dest_name’

我需要使用 Hive 处理 S3 存储桶中的一些文件。问题是,Hive 显然不喜欢将存储桶用作文件夹,因此我决定在另一个存储桶中创建一个文件夹,并通过 s3cmd 将文件复制到那里。 这是我的命令: s3cmd -v cp s3://main.bucket/\* s3://temp.bucket/input/ 然后 s3cmd 立即声明我有 X 个文件需要传输(通常约为 5k++ 的数量级),然后在复制一个文件后,出现以下错误: !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! An unexpected ...

Admin

在 OS X 上找不到 GPG 程序
s3cmd

在 OS X 上找不到 GPG 程序

尝试在我的 mac book air 上运行 s3cmd,收到以下消息。 成功。您的访问密钥和密钥工作正常 :-) 现在验证加密是否有效...错误:测试失败:未找到 GPG 程序 ...

Admin

s3cmd 无法从初始化脚本运行
s3cmd

s3cmd 无法从初始化脚本运行

我创建了一个初始化脚本,s3cmd当系统出现故障时,该脚本会将一些日志文件推送到 Amazon S3 存储桶。s3命令已安装并s3cmd --configure以用户身份运行root,配置正常 init手动执行初始化脚本时,它可以完成任务,但在关机期间执行时,它会失败。 原因可能是什么? 运行 init-script 时有什么不同init? 也许它无法读取/root/.s3cfg文件? 请指教。 ...

Admin

如何将回显结果保存到变量中?
s3cmd

如何将回显结果保存到变量中?

我从命令中获得了此输出s3cmd ls --list-md5。 2013-05-22 12:20 1965154 41eae9b40d23de2f02bf07635870f6d0 s3://company-backup/company/amazon/ip-11-11-111-11/backup_server245/app.20121117040001.gz 2013-05-22 12:20 11456836 541b1bf78682f48867cc99dbb53c4c3a s3://company-backup/compa...

Admin

Linux 服务器同步到 Amazon S3 存储桶
s3cmd

Linux 服务器同步到 Amazon S3 存储桶

我正在寻找一个稳定的解决方案来使用 替换经典服务器备份到另一台服务器rsync。我必须将整个文件系统(超过 1Tb)同步到 Amazon S3。 我在哪里? 解决方案 1:我使用 将 S3 存储桶映射到系统中的安装点s3fs。系统变得不稳定,流量真的很慢。这绝对不是一个解决方案。 解决方案 2:使用s3cmd sync命令。一切都进展顺利,速度很快(至少对于小于 2Gb 的文件夹而言)。当我尝试同步服务器上的所有文件系统(有一些排除)时,问题就出现了。该过程只是挂起了。 有什么提示吗? ...

Admin

s3cmd 带有 --delete-removed
s3cmd

s3cmd 带有 --delete-removed

我目前正在编写一个脚本,使用 s3cmd 同步 s3 存储桶中的文件。 我查看了文件,上面写着: s3cmd sync LOCAL_DIR s3://BUCKET[/PREFIX] or s3://BUCKET[/PREFIX] LOCAL_DIR 我还发现了一个不错的选择: --delete-removed Delete remote objects with no corresponding local file [sync] 我使用 --delete-removed 对 s3cmd 同步的第一个形式进行了测试: s3c...

Admin

如何使用 logrotate 和 Amazon S3 备份文件?
s3cmd

如何使用 logrotate 和 Amazon S3 备份文件?

我想创建两个方面的新标准: 我的应用程序生成的日志需要多长时间生成并轮换? 如何将日志传输到 Amazon S3 作为备份服务器? 我正在考虑使用 logrotate,以这种方式旋转和压缩我的日常文件: {filename}-{year}-{month}-{day}-{r-months}.gz 该r-months变量的意思是remain-months文件应该在 S3 中保留多少个月,超过该时间的文件应该被删除。 我的一个朋友给了我一个想法,我应该compress the logs daily(采用上面提出的新格式),然后这些文件应该被发送到我们在...

Admin