high-volume

诊断 MySQL 实例的高网络输出(字节)
high-volume

诊断 MySQL 实例的高网络输出(字节)

我有一个只运行 MySQL 的 EC2 实例 (r3.xlarge)。在某些时间点,这台机器会持续发送大量信息(速率接近 400Mbps),持续约一小时或更长时间(在许多情况下),并发送给另一个运行 Magento (c3.2xlarge) 的 EC2 实例。 这次数据传输彻底摧毁了 Magento EC2 机器,导致我们的网站几乎陷入瘫痪。 我如何诊断这些数据是什么? 此外,按照 iptraf 的说法,该机器的输出速度只有大约 50 Mbps(我无法解释这种差异!) 编辑1: 这并不是服务器被黑客入侵/感染的情况,因为流量是流向网络服务器...

Admin

高容量低开销请求
high-volume

高容量低开销请求

我有一个应用程序将处理通过它接收的数据高容量、低开销的请求从不同的互联网硬件设备发送。这些数据将被持续接收,并且随着越来越多的设备添加到系统中,未来只会增加。一旦收到数据,经过一些小处理,它将被插入数据库(MySQL)。 我的问题是,我应该使用哪种服务器软件?节点.js在给定的硬件约束条件下,处理最大数量此类请求的最佳候选者是nginx更适合此类应用吗?此外,还有什么最佳实践处理此类请求?例如,我读到,如果我使用 node.js,我可能必须查看限制操作系统以确保在出现大量并发请求的情况下可以创建足够的文件...... 谢谢。 ...

Admin

用于 Linux 上 HTTP 服务的大型高性能对象或键/值存储
high-volume

用于 Linux 上 HTTP 服务的大型高性能对象或键/值存储

我有一项服务,使用纯 HTTP 以极高的速率向最终用户提供图像。图像大小在 4 到 64kbytes 之间,总共有 1.300.000.000 张。数据集大小约为 30TiB,更改(新对象、更新、删除)占请求的不到 1%。每秒的请求数从 240 到 9000 不等,并且几乎分散在各处,只有少数对象特别“热门”。 到目前为止,这些映像是 ext3 文件系统上的文件,分布在大量中型服务器上,并且只读。这带来了几个问题: 使用文件系统效率很低,因为元数据很大,inode/dentry 缓存在 linux 上易失性很强,而且一些守护进程倾向于使用 stat()...

Admin

大型照片共享服务。从哪里开始
high-volume

大型照片共享服务。从哪里开始

如果这篇文章太模糊,我很抱歉,但我甚至不知道该从哪些主题开始看。我需要一台能够共享大量数据且流量可能非常大的服务器,并且能够让用户快速上传照片。它还必须有一个大型数据库。我想我会使用 MySQL 来跟踪哪些文件属于哪些用户。 我现在在考虑什么选择?我想要一些安全的东西。我应该买什么书来读?我最多是个新手程序员,我对系统编程的了解非常有限。我需要一个相当简单但仍然强大和安全的系统。如果这个系统流行起来,它可能会变得非常非常大。 如果有更好的地方可以回答这个问题,请告诉我。 ...

Admin

php 如何知道在哪个 memcached 节点中查找数据?
high-volume

php 如何知道在哪个 memcached 节点中查找数据?

我是 Memcached 集群领域的新手 如果我有一个使用 memcache 的 php web 应用程序 - 它如何执行哈希运算并决定检查哪个节点以获取特定值以避免必须检查它们全部。 奖励:如何轻松添加节点以避免重建所有哈希值。 ...

Admin

Apache - 负载/带宽非常高,请求模式异常
high-volume

Apache - 负载/带宽非常高,请求模式异常

我是一名 Web 开发人员,有一台服务器,用作某种开发机器。因此,我使用 Apache 的经验是,我可以随意摆弄并完成基本工作/使用 Google 搜索来获得我需要的答案。 周末,我们的服务器负载非常大,大约是平均带宽使用量的 1000 倍。我的 Apache 访问日志中有几行类似于下面的内容。 81.12.34.56 - - [30/Oct/2011:01:08:15 +0200] "GET /wp-content/uploads/2011/10/a.jpg HTTP/1.0" 200 1671717 "-" "-" 81.12.34.56 - - [...

Admin

流量大,响应慢:瓶颈在哪里?
high-volume

流量大,响应慢:瓶颈在哪里?

我有一个网站,每天的流量相对较高,大约有 250,000 次页面浏览量。PHP 代码通常在 0.02 秒内执行,但实际响应时间在高峰时段可能会增加到几秒钟(有时超过 10 秒)。Apache 运行多达 700-800 个进程,但内存使用量仍然很低(甚至不到 8 GB 的一半),服务器负载通常也很低。 我已经将图片和资产文件移至 Amazon S3,这有很大帮助。同样重要的是,网站几乎不断上传新图片(因为人们发布新照片)。 根据这些线索,我认为这可能是磁盘或网络问题,但我该如何以及用什么工具来诊断这个问题? ...

Admin

DNS 负载平衡与增量 DNS
high-volume

DNS 负载平衡与增量 DNS

我不太了解 DNS 管理等,但是我知道应用程序编程的最佳实践。 目前我公司有6台服务器,分别为: s1.域名.com s2.domain.com s3.domain.com s4.domain.com s5.domain.com s6.domain.com 没关系。 但是,系统管理员要求我们在应用程序中处理这些随机端点,这意味着我们需要从这个列表中随机选择一个服务器。 在我看来这很糟糕,因为每当我们需要添加服务器时,我们都需要编辑我们的应用程序(即使它只是一个配置文件),但我认为应用程序不应该知道这些事情,类似实体不应该知道持久服务器。 我的...

Admin

需要为多个日志源提供分布式高性能持久日志解决方案
high-volume

需要为多个日志源提供分布式高性能持久日志解决方案

寻找高性能分布式可扩展解决方案来存储大量日志消息。我们有多个并发日志源(=服务器)。 有趣的是性能至关重要如果日志系统性能更好,我们甚至愿意丢失一小部分(比如说最多 2%)的日常消息。 我们希望使用在线算法每天处理日志消息,因此我们不需要任何花哨的关系数据库。我们只想按顺序运行数据并计算一些汇总和趋势。 这就是我们所需要的: 至少 98% 的消息必须被保存。丢失几条消息不是问题。 一旦存储了消息,就必须可靠地存储它(持久性,又称为 ACID 中的 D - 因此基本上需要复制) 多种来源。 消息必须按顺序存储,但不需要精确排序(我们期望任何两个相隔几...

Admin

最大化 Nginx 请求数/秒的技巧?
high-volume

最大化 Nginx 请求数/秒的技巧?

我正在构建一个分析包,项目要求我需要支持每天 10 亿次点击。没错,“十亿”。换句话说,每秒持续点击量不低于 12,000 次,最好有一定的爆发空间。我知道我需要多台服务器来实现这一点,但我试图在“投入更多硬件”之前让每个节点发挥出最大性能。 现在,我已经完成了命中跟踪部分,并进行了很好的优化。我基本上只是将请求直接保存到 Redis 中(以便稍后使用 Hadoop 进行处理)。该应用程序是 Python/Django,网关为 gunicorn。 我的 2GB Ubuntu 10.04 Rackspace 服务器(不是生产机器)每秒可以提供大约 1200...

Admin

服务器配置/500Req/Second 的重要参数
high-volume

服务器配置/500Req/Second 的重要参数

我正在为一个流量很大的网站配置一台服务器作为 nginx 服务器。它预计会同时接收来自大量 IP 地址的流量。它预计每秒可获得 500 个请求,连接它的 IP 至少有 2000 万个。 我在之前的服务器中发现的一个问题与 iptables / ipconntrack 有关。我不知道这种行为,很高兴知道我应该调整 ubuntu / debian (32/64) 位机器的哪些参数才能从服务器获得最大性能。我可以在服务器上放入大量 RAM,但关键任务是响应时间。我们理想情况下不希望任何连接挂起 / 超时 / 等待,并希望总体响应时间尽可能短。 ...

Admin

最适合高流量网站的 .net 网站托管商
high-volume

最适合高流量网站的 .net 网站托管商

嗨,我们想开发一个想法,如果正确实施,我们期望它可以发展成高流量的网站。您推荐哪些好的 .net 网站托管公司?如果高质量的服务需要成本,没问题,请提出您的想法。 提前致谢 ...

Admin

适用于大量外发电子邮件的服务器和应用程序架构
high-volume

适用于大量外发电子邮件的服务器和应用程序架构

我们需要开发一个应用程序来发送大量电子邮件(新闻通讯)我们估计每月有 1500 万封电子邮件(每秒 6-10 封电子邮件)。 您能为我推荐适合此应用程序的架构吗?我们是否应该有多个 MTA 代理并以循环方式使用它们?我们应该考虑哪些因素,以免被视为垃圾邮件发送者(我们要发送的实际上不是垃圾邮件)。 感谢您的帮助。 埃泽奎尔 ...

Admin