google-cloud-storage

在 Windows 上使用 gcloud storage rsync
google-cloud-storage

在 Windows 上使用 gcloud storage rsync

我正在尝试将 Google Cloud Storage 存储桶与 Windows 服务器上的文件夹同步。当我运行此命令时: gcloud storage rsync gs://my-bucket/normal C:\my-folder\normal 我收到以下有关无效字符的错误。它最终成功完成,但我想知道是否有办法抑制该错误。文件没有无效字符;它似乎是一个gcloud storage rsync伪像。 At gs://my-bucket/normal/*, worker process 8972 thread...

Admin

将较大的 gz 压缩文件拆分为较小的压缩文件 gz
google-cloud-storage

将较大的 gz 压缩文件拆分为较小的压缩文件 gz

我的要求是将 gz 文件从 gcs 加载到 BQ。我正在使用 python 和 Airflow,但它会抛出一个错误,如果单个压缩文件大小大于 5 GB,则我们无法加载它。我尝试过使用带有拆分功能的 bash 运算符,但我得到的文件没有实际文件中存在的数据。拆分文件有一些垃圾数据。我希望拆分文件也是 gz 格式。输入文件 - test.gz gsutil cp gs://test/test.gz - | split -b 1G -z - /tmp/split_file_ | gsutil cp /tmp/split_file_* gs://testing/...

Admin

rsync 与 gcloud storage rsync 是否更适合远程同步?
google-cloud-storage

rsync 与 gcloud storage rsync 是否更适合远程同步?

我需要从本地 Ubuntu 系统递归地将许多视频复制到我们的 gcloud 存储桶中,同时保留元数据,以便继续使用和验证。我正在设置一些设备来验证以下两个选项,但我希望有人能指出哪一个与我们的目标一致。 我收到了来自 Google 的积极回复。请查看: https://www.googlecloudcommunity.com/gc/Infrastructure-Compute-Storage/rsync-vs-gcloud-storage-rsync-syncing-question/mp/705680#M...

Admin

来自 gcloud storage cp -r 的 MacOS 错误
google-cloud-storage

来自 gcloud storage cp -r 的 MacOS 错误

当我做: /path/to/gcloud storage cp -r 'gs://group/file' 'directory' 我在 macOS 弹出窗口中收到一个错误: gcloud download mac os “gcloud-crc32c”无法打开,因为无法验证开发人员。”macOS 无法验证此应用程序是否不含恶意软件。 弹出窗口冻结了我的下载。我只能选择“移至垃圾”或“取消”。 我认为它抱怨的“gcloud-crc32c”是下载的临时文件。在我的例子中,这种情况只发生在下载过程的 2/3 左右(多个文件夹中的多个文件)。 我如何让 osX ...

Admin

我可以分享我的 Google Cloud 帐号吗
google-cloud-storage

我可以分享我的 Google Cloud 帐号吗

我创建了一个 Google Cloud 帐户,以便调查其功能。 为了获得试用帐户,我必须提供我的个人信用卡数据。现在,另一个人要求我访问我的 Google Cloud 帐户以便进行调查。 共享我的信用卡信息是否存在潜在危险?我不确定其他人是否可以看到我的信用卡详细信息。 ...

Admin

WinSCP 可以用来访问使用“Amazon S3”文件协议的 Google Cloud Storage 存储桶吗?
google-cloud-storage

WinSCP 可以用来访问使用“Amazon S3”文件协议的 Google Cloud Storage 存储桶吗?

可WinSCP用于访问Google Cloud Storage 存储桶使用亚马逊 S3使用文件协议HMAC 密钥? 我试过了但出现了以下错误: 凭证范围内的预期请求类型为“goog4_request”或“aws4_request”。收到“aws4_reqb0628218c0b4a66bf165a0406f92cb571a3ff0628a157fd70ebd72b0fd051d23”。 我能够使用以下类型来使用 S3 浏览器“S3 兼容存储”类型和 HMAC 密钥。但是 S3 浏览器的免费版本仅允许保存两个帐户,而我要访问的帐户更多,因此我依赖 WinSC...

Admin

笔记本电脑上的 Google Drive 文件夹显示已使用 13.3 GB,而 Google Drive Online 显示已使用 30GB
google-cloud-storage

笔记本电脑上的 Google Drive 文件夹显示已使用 13.3 GB,而 Google Drive Online 显示已使用 30GB

我确信这个问题有解决办法,但我似乎找不到答案 我有一个 Google Drive 帐户。当我查看笔记本电脑上 Google Drive 文件夹的属性时,它显示其大小为 13.3 GB(见下文) 然而,当我访问 Google Drive 在线时,它显示我已经使用了 30.6 GB。 这个差异相当大! 谁能告诉我 (a) 为什么会发生这种情况,以及 (b) 如何解决它。 ...

Admin

google 云存储:使用 gsutil du 查找子文件夹的大小?
google-cloud-storage

google 云存储:使用 gsutil du 查找子文件夹的大小?

我想在 Google Cloud Storage 中查找第一层子文件夹的大小。有一个功能gsutil du,与 非常相似du,但有一些区别。 我无法只显示第一个深度的子文件夹的大小。使用传统的 du,我可以使用(来自此堆): du -h --max-depth=1 du -sh -- * 相当于什么gsutil du?gsutil du -h gs://bucket_name/*打印所有子文件夹(许多深度)的信息,同时gsutil du -sh gs://bucket_name/*仅显示总计。 谢谢! ...

Admin

无法在 Google Cloud Storage Bucket 中设置可执行权限
google-cloud-storage

无法在 Google Cloud Storage Bucket 中设置可执行权限

我在我的 GCP 中使用 Google Cloud Storage Bucket(标准版本)和 Compute Engine 实例(Debian Stretch 9)(两者都属于同一个项目,并且拥有所有权限,因为我是该项目的所有者)。 我已经创建了一个存储桶,并成功验证了该存储桶并将其安装在我的 Linux 机器上。我可以从我的 Linux 机器以及 WebUI 读取 | 写入和删除文件。 现在的问题是,我无法从普通用户那里将文件设置为可执行形式,也无法在 chmod 之前使用 sudo。 Sudo 用户和普通用户 我也尝试过让其以 root 身份执行...

Admin

为 Google Container Registry 创建细粒度的访问控制
google-cloud-storage

为 Google Container Registry 创建细粒度的访问控制

我是 GCR 新手。我的用例是,我想授予push only对 Google Container Registry (gcr) 上我的项目的特定存储桶的访问权限。 我认为,如果我想授予多个用户此访问权限并为其创建特定角色,我必须创建一个服务帐户。 我确实设法创建了一个服务帐户,假设test-service-account,并且还为其创建了一个角色,假设test-role。 我为该角色提供了以下权限: 存储桶创建 存储桶获取 我也将此角色应用于test-service-account。但当我本地登录docker registry时,仍然使用 ca...

Admin

如何在使用 ssh 中的 cron 作业将文件名移动到云存储时为其添加时间戳
google-cloud-storage

如何在使用 ssh 中的 cron 作业将文件名移动到云存储时为其添加时间戳

我在 Google 计算引擎上构建了一个 ftp 服务器,该服务器以 csv 格式接收来自本地系统的数据。我想在收到这些数据后,使用来自 vm ssh 的 cron 作业将其移动到 Google 云存储。除此之外,我还想在将文件移动到存储桶时将时间戳添加到文件名中。 我尝试过的 cron 任务是 */2 * * * * gsutil mv *.txt gs://univer-bucket/$(date).txt 但这项工作没有成功,我不知道如何保留旧名称并只添加时间戳 提前致谢 :) ...

Admin

Kubernetes 和 gcloud:如何停止使用服务账户?
google-cloud-storage

Kubernetes 和 gcloud:如何停止使用服务账户?

我使用多种 Google Cloud 服务。我工作时使用的 Cloud Storage 存储桶中有些位于项目 A 中,可以通过我自己的帐户访问,有些位于项目 B 中,我只能通过服务帐户访问。我使用 gcloud auth activate-service-account --key-file mykey.json 在后续登录中我只是使用 gcloud config set account service_account 我还需要切换我的活动项目,为此我使用了命令 gcloud config set project project-B 服务帐户运行...

Admin

上传文件大小限制? - Google Cloud Storage
google-cloud-storage

上传文件大小限制? - Google Cloud Storage

尝试使用 Google Cloud Storage 的 12 个月免费试用帐户上传 .mp4 文件(40mB-20 分钟)时,上传在完成之前停止(~1%)。但是,它确实接受较短的 .mp4 文件(2mB-12 秒)。 12 个月免费试用期间上传文件大小是否有限制? 我目前位于亚洲地区,并选择了亚洲(亚洲多个地区)选项存储桶。 上传已停止 ...

Admin

从 GCP 计算实例复制到存储桶时出现 AccessDeniendException
google-cloud-storage

从 GCP 计算实例复制到存储桶时出现 AccessDeniendException

我想使用 将对象从 GCP Compute 实例复制到 Google Storage Bucket gsutil cp。两者都属于同一所有者(我)和同一项目。我想自动化整个机器,因此手动验证不是我想要的。 我已经激活了必要的权限在 Compute 实例上使用服务帐户(详情如下),但当我尝试将gsutil cp文件放入存储桶时,我收到一个AccessDeniedException。 错误消息抱怨缺少storage.object.create或权限,具体取决于我的存储桶目标路径是以文件夹( )还是文件( )storage.object.list结尾。gs://...

Admin

Google Drive 或 Google Cloud Storage
google-cloud-storage

Google Drive 或 Google Cloud Storage

我打算实施一个存储解决方案来备份 一些 Linux 平台(通过克隆) 几台 Mac 几部 iPhone 考虑到 恢复数据只是为了应对计算机故障(即通常不需要从存储中读取数据) 使用现有的 iPhone 应用程序自动备份(主要是图片) 无需大量数据空间(最大 1 TB) 关于 Google 服务的评价很好,但是在 Drive 和 Cloud Storage 之间,哪一个最能满足我的上述要求? ...

Admin