我们正在从 SQL Workgroup 2005 升级到 SQL Standard 2012。我们有大量较小的数据库，这些数据库在合理的时间内通过直接的 Windows 文件复制进行了复制。我们有一个数据库包含 3 个文件，分别为 53 GB、93 GB 和 100 GB。通过操作系统复制这些文件需要很长时间。远不及千兆网络速度，实际上平均速度约为每秒 40mbits。 SQL 2005 系统位于 Windows Small Business Server 2003 上。SQL 2012 系统位于 Windows Standard Server 201...
我在 AlmaLinux 8 上使用 Apache 2.4。当我发布一个数百 GB 的文件时，如果有人开始下载它，Apache RAM 使用量（尤其是 VIRT）就会变得越来越大，开始交换，最终导致崩溃。为什么会发生这种情况，有什么方法可以防止这种情况发生？谢谢。 这是ps： ps -eF | grep httpd root 933 1 0 73036 7604 0 07:54 ? 00:00:03 /usr/sbin/httpd -DFOREGROUND apache 1372 933 ...
你好，我有一个主 MySQL 服务器，该服务器有 950 GB 的数据，而从属服务器由于某种原因已经停止，并且存在 80 GB 的数据差异。因此我开始设置新的从属服务器。 由于数据在变化，多个数据库的转储、复制和恢复将花费大量时间。所以我还有其他选择吗？ ...
我想用随机字节覆盖一个非常大的硬盘（18TB），然后检查智能数据是否存在重新分配的扇区或其他错误。 由于 badblocks 对一次运行中可处理的块数量有一些限制，我尝试了 archlinux wiki 上描述的“cryptsetup 方法”： https://wiki.archlinux.org/title/Badblocks#Finding_bad_sectors 我在整个驱动器上设置了一个加密的逻辑设备域，然后使用命令“shred”将零写入打开的域设备： cryptsetup open /dev/device eld --type plain --ci...
当我们尝试将 11 GB 的文件上传到存储桶时收到以下错误；此外，由于我们无法列出存储桶中可用的对象，文件系统将进入“???????”。 这需要再次umount返回mount才能查看存储桶中的对象。但是，上传仍然无法进行，并且占用了所有可用内存进行上传。 GCSFuse 进程几个小时都没有释放已使用的内存。我们如何解决这个问题？我们使用的是 GCSFuse 的 v0.33.2。 错误： Error 1 - Transport endpoint is not connected Error 2 - Software caused connection abor...
总的来说，我提供的文件非常小。想想图像和小视频。使用 Varnish 缓存这些文件轻而易举，不会给我带来任何问题。 我遇到的问题是，当我下载一个 6 GB 的文件时。在下载过程中，我看到 Varnish 使用的内存不断增加，直到崩溃。然后它重新启动，直到再次崩溃。 我想避免 Varnish 崩溃 因此每次下载都会暂停，而且速度非常慢。它应该只下载 6 GB 的文件。就这样。 我已经尝试过使用文件和 RAM 缓存存储，但没有什么不同。我可以通过设置瞬时内存来避免崩溃； DAEMON_OPTS="-s Transient=malloc,512m" 然而，这只...
我有一个相当大的数据集（约 160TB），需要不时地传送给客户端。此数据集由相当大的文件组成，通常每个文件在 2GB 到 20GB 之间。它们存在于在 RAID 集群上运行的 BeeGFS 文件系统上，总容量为 1.1TB。目前，当需要传送数据时，它按以下方式完成： 创建文件及其大小的主索引 统计文件大小，直到 4Tb，并从主索引中创建所述文件的子索引 将文件复制到 4Tb USB 驱动器 重复步骤 2 和 3，直到整个数据集被复制 给客户一盒 U 盘 我想做的只是将其 rsync 到已安装的文件系统，所以我想知道是否有可用的文件系统可以将存储空间分...
我正在http通过下载一个大文件wget，1.2TB。下载大约需要一周时间，目前已出现两次损坏（md5 校验失败，需要几天时间才能完成）。 有没有一种好的方法可以通过 http 逐个验证文件curl？或者将其分成单独的块，以便我可以识别特定的坏块并重新下载该部分？ 该文件是一个tar档案，因此我相信可以在解压过程中按顺序识别每个块的损坏。 ...
我们正在移动服务器，我需要将所有数据从服务器 A 传输到服务器 B。 我有一个大约 100Gb 的 tar.gz，其中包含所有服务器 A 文件。 我真的不想在我的计算机上本地下载文件，然后再将其上传到服务器 B。 我只能通过 ftp 访问服务器 A。这意味着不能通过 ssh。但是，我可以通过 ssh 访问服务器 B。 传输文件的最佳方法是什么？我考虑将 tar.gz 文件暂时移动到 public_html，然后使用 wget 下载。这样可行吗？否则，我可以通过服务器 B 上的 ssh 会话使用 ftp。 ...
我正在开发一个处理 IP 地址的 PHP 应用程序。我正在处理包含多达 40 亿行的 mysql 表。 我有一个脚本，目前需要从该表中提取 65536 个地址，当我尝试提取这 65K 行时，mysql<->php 接口无法通过 PHP 甚至 phpMyAdmin 给出响应。如果在命令行中使用，mysql 将在大约 0.2 秒内毫无问题地给出 65K 行。 包含 IP 地址的表有 3 个索引（ 1 个唯一索引，2 个主索引），这些索引应该有助于提高速度，但我无法让 mysql 将关联数组返回给 PHP 以继续处理数据。 服务器是一台专用的最新...
我有一个 NAS，它只支持 CIFS、AFS、SSH（没有 rsyncd 功能，没有 NFS）。 我必须备份非常大的文件（虚拟机映像），我通常在备份设备上设置一个 rsync 服务器，然后只rsync --inplace传输大文件的块级增量。这在 rsyncd 中运行良好。 使用 CIFS 时，似乎必须在复制之前读取所有目标文件和本地文件全部结束（整个过程，而不仅仅是增量）..使用 SSHFS 会更好吗？ 还有其他方法可以在不使用 rsyncd 的情况下仅移动块增量吗？ ...
我们的 1Tb tempdir 有时可能被 mysqld 完全占用，导致磁盘已满和查询错误。这可能是由于大量中型查询或几个非常大的查询造成的。 我们有一个 5Tb 的 raid 驱动器，我可以用它来扩展这个 tempdir。 这手动的表示该/etc/my.cnf --tmpdir选项可以设置为多条路径的列表，并且可以有效地分散负载。 如果我设置了，--tmpdir=/my1TbTemp/:/my5TbTemp/我想知道 mysqld 将如何管理这两个临时目录。如果 1Tb 磁盘几乎已满：mysqld 是否会顺利切换到 5Tb 驱动器？ 我已经在一台小...
我有一台服务器，里面有 40TB 的数据和 3500 万个文件。虽然服务器本身有 RAID 和所有相关功能，但我担心如果服务器遭到物理破坏（火灾、雷击等），会发生什么情况。 该系统设计为在单个驱动器上运行所有内容（大量遗留代码），因此分成小驱动器不是一个选择（重写代码所需的资源是令人望而却步的）。 我想知道有哪些经济高效的异地备份选项。将它们移动到托管解决方案是可行的，但由于其中很多是媒体数据，需要服务器场频繁处理，这可能会带来延迟和带宽问题。 编辑：我说的“单个驱动器”是指从用户的角度。数据本身可以分布...
我正在使用具有最新 BIOS 的 Supermicro X9SRE-3F 主板和 2x 4TB 驱动器，连接到板载 SATA 控制器。 如果我将 BIOS 设置为 RAID 并创建 RAID 1 阵列，该阵列在 BIOS 中显示为 3.6TB。但是，当我启动 Windows（在单独的 RAID 1 阵列上）时，4TB 驱动器在磁盘管理器中分别显示为 2x 1.62TB 驱动器。 我可以使用 Windows 2012 来设置软件 RAID 1，但是当我将 BIOS 设置回 2x 个单独驱动器时，它们在 Windows 中仍然显示为 2x 1.62TB 驱动...
我曾在 ITSecurity 上问过这个问题，但我觉得这个问题放在这里更好。 在最近的一次评估中，我发现向 tomcat 服务器发送大型 (>5 MB) 请求会导致服务器 CPU 使用率达到 100%。我想到的最简单的解决方法是在连接器上使用 maxPostSize。但是这没有帮助，因为我需要发送的请求不是“form-url-encoded”。我读了一番，发现 maxPostSize 仅适用于该标头。 那么，在将如此大的数据包传递给应用程序之前，有什么其他方法可以在服务器上阻止它呢？ 换句话说：如何防止攻击者通过发送多个大数据请求对 Tomcat...