我所在的公司生产的软件每天接收数 GB 的数据，输出（较少的）GB 的数据。我们拥有管理数据流的重要基础设施，我说的重要是指非常糟糕。当我们的软件需要一种新类型的数据时，我们会开发一个脚本来从 HTTP 或 FTP 源中提取数据，将其放到服务器上，然后就可以使用了。我们大多数服务器经常被投诉过度/利用不足，但我们没有很好的方法来管理检索/写出数据所花费的资源平衡。
是否存在专门用于管理外部数据传输（检索）以及在我们的网络内部从服务器到服务器传递数据的软件包？
我正在寻找能够提供的东西；
- 简化下载脚本设计的通用基础。
- 一个日志记录/监控框架，用于了解正在发生的事情、可能尚未检索到的内容等。（如果监控方面可以集成到 NAGIOS 中，则可以获得加分。）
- 用于查看下载任务状态等的单一位置（即仪表板）
- 该实现旨在跨多台服务器运行，最终相当于多个服务器下载从属。
- 简单（相对而言）。我们再次尝试摆脱噩梦般的基础设施。
答案1
OASIS 组织发布了一种用于定义“业务流程”的标准语言，称为 BPEL（业务流程执行语言）。几年来，我们一直使用昂贵的商业版本，原因正是您列出的：可维护性、可伸缩性、可扩展性、可验证性。幸运的是，许多项目都承担了这些任务。一些开源版本位于freshmeat.net。我们普通人称之为“工作流软件”。一个引起我注意的软件包是乐队因为它既是 LGPL，又带有商业支持选项。鉴于这是一个关键的业务流程，您可能需要一些支持程度，或者至少将任何变化回馈给社区。
幸运的是，许多人已经开辟了这条道路。只需以组织中政治正确的方式遵循即可。我建议进行私人原型和演示，以让高级管理层接受更大规模、与业务相关的测试。尽早让老板接受，您也许能够改变这一核心业务实践。