☰

如何在需要高内存使用率的 t2.micro 中安装 Python 库？

tag-icon • tag-icon amazon-ec2
如何在需要高内存使用率的 t2.micro 中安装 Python 库？

使用t2.micro/t3.micro和进行了测试Ubuntu 22.04.3 LTS。起初我以为是存储限制，但我将其增加到 30GB。

重现步骤：

  • 创建实例
  • 执行更新和apt升级apt-get
  • 使用以下命令安装 pipsudo apt install python3-pip
  • pip install sentence-transformers

当到达这一步时它崩溃了：

Downloading nvidia_cudnn_cu12-8.9.2.26-py3-none-manylinux1_x86_64.whl.metadata (1.6 kB)
Collecting nvidia-cublas-cu12==12.1.3.1 (from torch>=1.6.0->sentence-transformers)
  Downloading nvidia_cublas_cu12-12.1.3.1-py3-none-manylinux1_x86_64.whl (410.6 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╸ 410.6/410.6 MB 67.4 MB/s eta 0:00:01Killed

日志错误：

Out of memory: Killed process 1211 (python) total-vm:1024532kB, anon-rss:456116kB, file-rss:2772kB, shmem-rss:0kB, UID:1000 pgtables:1492kB oom_score_adj:0
[  226.612189] Out of memory: Killed process 2067 (python) total-vm:996224kB, anon-rss:450684kB, file-rss:2560kB, shmem-rss:0kB, UID:1000 pgtables:1516kB oom_score_adj:0

答案1

老实说……所有 t*.micro 实例都只有 1GB RAM。此外，你为什么要安装 nvidia 的东西？……这些不是 GPU 支持的实例。此外，pip 会在尝试提取和安装之前将包下载到 RAM 中。由于包大约有 730mb……而操作系统本身需要一点 RAM 才能启动……是的。你的 RAM 会用完。

相关内容