背景:
一段时间以来(自 11 月以来),我一直在努力在 AWS EC2 上安装 rstudio 服务器。这就像剥洋葱一样,总是会遇到另一个障碍。对于 Windows 用户来说,他们自己发布的 AWS 文档非常糟糕。我设法创建了 rstudio 实例,但遇到了问题,我相信这些问题很容易解决,但我没有运气解决它们,我尝试了很多方法。我只是试图将文件上传到 rstudio,阅读它并将其保存在某个地方。考虑先读入文件,我遇到了以下问题。
读取文件:
上传按钮不接受大文件。对于小文件,这个按钮可以正常工作,但任何需要服务器分析的文件都无法通过此按钮工作。我还尝试了四种不同的浏览器,看看这是否是浏览器问题,结果不是。不过小文件(例如 40kb)没有问题。
将文件放入 dropbox 然后与 rstudio 同步不起作用。同步对于小文件(例如 200kb)没有问题,但 GB 文件不会出现或损坏。
我尝试通过 Winscp 和 filezilla 通过 putty 进行连接。运行以下命令成功
sudo chown -R ubuntu /home/rstudio
sudo chmod -R 755 /home/rstudio
我可以上传到 rstudio。不幸的是,在那之后我再也无法访问这些实例。我可以通过 AWS 访问它们,但无法绕过 rstudio 登录屏幕。我尝试了很多次,重新启动并在许多不同的实例上尝试了此操作。我还聘请了一位自由职业者来帮助我,他运行了一些其他命令,我保留了一份副本,以便以相同的方式访问 rstudio。文件可以成功上传(虽然非常慢),但随后无法再通过浏览器访问实例,因此它实际上删除了我的实例(我可以启动实例,但无法启动 rstudio)。
我也尝试过在 putty 中使用如下代码
rsync -avz myHugeFile.csv [email protected]
:
但可能是我不知道如何在我的计算机上放置 myHugeFile.csv 的位置(虽然我尝试了很多方法),但都没有用。
我已成功将文件上传到 AWs EC2 根驱动器上的 tmp 文件夹,然后可以使用 putty 移动文件,但上传 10GB 文件需要 36 小时。我认为这不正常。文件到达时比原来小得多,而且已经损坏。
我在 rstudio 上使用来自 louis aslett 的 AMI,如果您在设置我的实例时在 amazon 平台上的社区 AMI 下输入 rstudio,就会获得该 AMI。
这不是实例大小的问题,因为大多数都有 244GB Ram 大型实例和 120GB 实例。
如果可以将大文件上传到 Dropbox 并使用 rstudio 服务器进行同步,那就太好了(目前只有小文件可以同步)。或者可以使用上传按钮。或者几乎任何解决方案都很棒。我已经创建了一个 S3 存储桶,因为这样可能更容易,我怀疑亚马逊可能会限制通过其他途径上传到 EC2 的能力。但我觉得这很疯狂。
如果您对使其中任何一个步骤发挥作用有任何想法,请告诉我。
答案1
好的,所以我意识到这里发生了什么。无论实例的大小如何,AWS 的默认主目录大小都小于 8-10GB。当尝试上传到主目录时,空间不足。经验丰富的 Linux 用户不会陷入这个陷阱,但希望遇到此问题的其他 Windows 用户都会看到这一点。如果您上传到实例上的其他驱动器,则可以解决此问题。由于 Louis Aslett Rstudio AMI 基于这个 8-10GB 空间,因此您必须将工作目录设置在主目录之外。从 Rstudio 服务器界面上看不直观。虽然这是一个高级论坛,这是一个新手错误,但我希望没有人删除这个问题,因为我花了几个月的时间,我想其他人也会这样做。如果有人有更好的方法来解决这个问题,请随时添加它 :)