“磁盘流式传输”是什么意思?

“磁盘流式传输”是什么意思?

我正在学习由 Hadoop 提供的高级分析和机器学习课程www.statistics.com,并阅读了课程材料。我偶然发现了以下陈述(重点是我加的):

…因为MapReduce 被设计为以批处理为导向、磁盘外流的方式运行,这在执行需要迭代处理(包括许多机器学习算法)的数据分析或需要响应反馈的交互式数据挖掘时带来了许多限制。

我用 Google 搜索了术语“磁盘流式传输”,但对第一页的结果并不满意。

有人可以解释一下编程模型(例如 MapReduce)“设计为以...磁盘流式传输方式运行”的含义以及为什么这个事实值得注意(考虑到上述背景)吗?

答案1

“磁盘流”是指在循环内执行多个读取或写入操作时文件保持打开状态的过程。磁盘流用于通过减少函数与操作系统交互以打开和关闭文件的次数来节省内存。

更多参考资料,请阅读本文“http://zone.ni.com/reference/en-XX/help/371361L-01/lvconcepts/basics_disk_streaming/“。

相关内容