AWS ElasticBeanstalk docker-thin-pool 已满并导致文件系统以只读方式重新挂载？

Question 1

David Ellis 的建议.ebextensions对我有用。我无法对他的回答发表评论，但我想补充一点，您可以创建一个新的 EBS 卷，而不是使用快照。要安装 40GB EBS 卷，我使用了以下命令：

option_settings:
  - namespace: aws:autoscaling:launchconfiguration
    option_name: BlockDeviceMappings
    value: /dev/xvdcz=:40:true

也可以看看本文档，其中有一个将新的 100GB EBS 卷映射到的示例/dev/sdh。

true最后的意思是“终止时删除” 。

我使用上述代码创建了一个包含文件的新.ebextensions目录，然后将该目录与我的压缩文件一起压缩。请注意，Dockerrun 文件必须位于 zip 的顶层，而不是子目录内。ebs.configDockerrun.aws.json

要查找 Elastic Beanstalk 安装卷的位置，请lsblk在失败的实例上使用。对我来说也是如此/dev/xvdcz，所以也许这是标准。

Answer

David Ellis 的建议.ebextensions对我有用。我无法对他的回答发表评论，但我想补充一点，您可以创建一个新的 EBS 卷，而不是使用快照。要安装 40GB EBS 卷，我使用了以下命令：

option_settings:
  - namespace: aws:autoscaling:launchconfiguration
    option_name: BlockDeviceMappings
    value: /dev/xvdcz=:40:true

也可以看看本文档，其中有一个将新的 100GB EBS 卷映射到的示例/dev/sdh。

true最后的意思是“终止时删除” 。

我使用上述代码创建了一个包含文件的新.ebextensions目录，然后将该目录与我的压缩文件一起压缩。请注意，Dockerrun 文件必须位于 zip 的顶层，而不是子目录内。ebs.configDockerrun.aws.json

要查找 Elastic Beanstalk 安装卷的位置，请lsblk在失败的实例上使用。对我来说也是如此/dev/xvdcz，所以也许这是标准。

Question 2

我们也遇到了同样的问题。根本原因似乎是 Docker 没有使用选项安装其存储引擎（devicemapperElastic Beanstalk 中默认采用精简配置）discard，这反过来会填满块直到它崩溃。

我无法找到一个明确的解决方案，但这里有一个解决方法（见此评论) 我可以在受影响的实例上使用：

docker ps -qa | xargs docker inspect --format='{{ .State.Pid }}' | xargs -IZ fstrim /proc/Z/root/

Answer

我们也遇到了同样的问题。根本原因似乎是 Docker 没有使用选项安装其存储引擎（devicemapperElastic Beanstalk 中默认采用精简配置）discard，这反过来会填满块直到它崩溃。

我无法找到一个明确的解决方案，但这里有一个解决方法（见此评论) 我可以在受影响的实例上使用：

docker ps -qa | xargs docker inspect --format='{{ .State.Pid }}' | xargs -IZ fstrim /proc/Z/root/

Question 3

我按照 AWS 文档中提供的建议操作，现在一切都正常了。
但我必须结合两种解决方案：增加空间并添加 cronjob 以删除旧文件。
以下是我所做的。

首先，我将卷改为xvdcz使用 50GB 而不是 12GB。这就是我们在上看到的存储空间docker system info。就我而言，它总是满的，因为我每天都会上传大量文件。

.ebextensions/blockdevice-xvdcz.config

option_settings:
  aws:autoscaling:launchconfiguration:
    BlockDeviceMappings: /dev/xvdcz=:50:true

我添加了一个 cronjob 来清理不再使用的已删除文件。这是必需的，因为出于某种原因 Docker 仍保留它们。对我来说，一天一次就足够了。如果你的上传量比我多，你可以配置 cronjob 以根据需要运行多少次。

.ebextensions/cronjob.config

files:
    "/etc/cron.d/mycron":
        mode: "000644"
        owner: root
        group: root
        content: |
            0 23 * * * root /usr/local/bin/remove_old_files.sh

     "/usr/local/bin/remove_old_files.sh":
        mode: "000755"
        owner: root
        group: root
        content: |
            #!/bin/bash
            docker ps -q | xargs docker inspect --format='{{ .State.Pid }}' | xargs -IZ sudo fstrim /proc/Z/root/
            exit 0

 commands:
    remove_old_cron:
        command: "rm -f /etc/cron.d/*.bak"

来源：https://docs.aws.amazon.com/pt_br/elasticbeanstalk/latest/dg/create_deploy_docker.container.console.html#docker-volumes

Answer

我按照 AWS 文档中提供的建议操作，现在一切都正常了。
但我必须结合两种解决方案：增加空间并添加 cronjob 以删除旧文件。
以下是我所做的。

首先，我将卷改为xvdcz使用 50GB 而不是 12GB。这就是我们在上看到的存储空间docker system info。就我而言，它总是满的，因为我每天都会上传大量文件。

.ebextensions/blockdevice-xvdcz.config

option_settings:
  aws:autoscaling:launchconfiguration:
    BlockDeviceMappings: /dev/xvdcz=:50:true

我添加了一个 cronjob 来清理不再使用的已删除文件。这是必需的，因为出于某种原因 Docker 仍保留它们。对我来说，一天一次就足够了。如果你的上传量比我多，你可以配置 cronjob 以根据需要运行多少次。

.ebextensions/cronjob.config

files:
    "/etc/cron.d/mycron":
        mode: "000644"
        owner: root
        group: root
        content: |
            0 23 * * * root /usr/local/bin/remove_old_files.sh

     "/usr/local/bin/remove_old_files.sh":
        mode: "000755"
        owner: root
        group: root
        content: |
            #!/bin/bash
            docker ps -q | xargs docker inspect --format='{{ .State.Pid }}' | xargs -IZ sudo fstrim /proc/Z/root/
            exit 0

 commands:
    remove_old_cron:
        command: "rm -f /etc/cron.d/*.bak"

来源：https://docs.aws.amazon.com/pt_br/elasticbeanstalk/latest/dg/create_deploy_docker.container.console.html#docker-volumes

Question 4

我为这个问题苦苦思索了一天多的时间，终于弄明白了。

AWS 正在使用devicemapper后端并创建一个 12GB SSD 卷，它安装并用于 docker 镜像。您必须通过 elasticbeanstalk 扩展概念覆盖它将安装的卷并通过 CLI 进行部署（遗憾的是，没有办法通过其 GUI 执行此操作）。

在文件所在的目录中Dockerrun.aws.json，创建一个名为的目录，然后在其中.ebextensions创建一个以结尾的文件。我将我的文件命名为。然后将以下内容放入其中：.config01.correctebsvolume.config

option_settings: - namespace: aws:autoscaling:launchconfiguration option_name: BlockDeviceMappings value: /dev/xvdcz=snap-066cZZZZZZZZ:40:true:gp2

我直接 ssh 进入我的一个故障机器，发现它正在安装/dev/xvdcz。它可能对您来说可能有所不同。snap-066cZZZZZZZZ需要是有效的快照 ID。我创建了失败实例的 AMI 映像，并在过程中使用了它创建的快照。是40卷将有多少 GB，因此请替换您需要的内容。我不知道true或gp2做什么，但它们来自 AMI 映像块设备数据，所以我保留了它们。

魔法namespace来自option_name这里在文档中。

Answer