![这种使用 Excel 2007 数据透视表进行 BI 的方式可以扩展吗?](https://linux22.com/image/1222090/%E8%BF%99%E7%A7%8D%E4%BD%BF%E7%94%A8%20Excel%202007%20%E6%95%B0%E6%8D%AE%E9%80%8F%E8%A7%86%E8%A1%A8%E8%BF%9B%E8%A1%8C%20BI%20%E7%9A%84%E6%96%B9%E5%BC%8F%E5%8F%AF%E4%BB%A5%E6%89%A9%E5%B1%95%E5%90%97%EF%BC%9F.png)
背景:
我们需要整合全国的销售数据进行分析
我们的互联网连接/IT 专业知识/IT 投资不够强,因此无法提供完整的 BI 解决方案
我尝试了几种 SaaS BI 解决方案(GoodData、ZohoReports),虽然它们都很好,但似乎不能完全满足我们的需求
我们预计每两个月会有大约 200 万条记录
我目前的方法
我们 (10) 个站点目前从所有分支机构收集数据,并将它们合并到 1 个 Excel 文件中,其中包含数据透视表和嵌入源数据
在总部,我将要求 10 个站点定期发回这些 Excel 文件
我们会将这些 Excel 导入到我们的 MSSQL 服务器
将会有一个主 Excel 文件,其中也将具有相同的数据透视表(与来自站点 Excel 文件的那些一样),并且数据源是 MSSQL 服务器
更多细节
为了进行测试,我目前在笔记本电脑上使用 MSSQL 2008 Express
到目前为止,我导入了过去 2 个月的交易,MSSQL 中的 1 个表中有 200 多万行数据(我们只使用 1 个表,与我们常见的数据透视表结构相对应)。数据库大小约为 600 MB
在主 Excel 文件中,如果不包含源数据,则只有 < 10MB。包含源数据将使大小增加到 60 MB(所以我想 Office 2007 会自动压缩数据?)
我尝试使用 Pivot(拖放字段),到目前为止性能还不错(我的笔记本电脑规格:C2D T7200、3GB RAM、Windows XP)
所以我的问题是:
如果我们查看全年交易(MSSQL 2008 Express 中大约有 1500 万行,大小为 3.6 GB),那么 SQL Express 中 1 个表中的 1500 万行是否存在问题?
那时数据透视表是否存在性能问题?它还能嵌入源数据吗?(我用谷歌搜索但没有找到 Excel 2007 可以嵌入的最大源数据大小)
关于如何更好地做到这一点,还有其他建议吗?鉴于我们买不起完整的 BI 解决方案,您能推荐任何轻量级/预算/SaaS BI 吗?
谢谢
答案1
SQLServer Express 2008 有 4Gb 的限制(包括日志文件),因此看起来您最初会非常接近该限制,并且很快就会超过该限制。如果只是单个表,也许您会考虑 SQLite(或者可能是 mySQL)。
根据我使用数据透视表(以及一般的 Excel)的经验,它运行良好,但到了一定程度,性能就会显著下降。
总的来说,我认为您的方法是我会选择的方法。我不会尝试透视整个表格,而是尝试通过视图预先汇总数据库中的数据,即使我必须有两个单独的工作表,其中包含两个不同的汇总数据视图(例如,一个汇总到每日或每小时,另一个汇总到另一个关键维度的某个级别——可能是按订单或登录或其他方式)。这应该会将更多的工作量保留在数据库中,并使电子表格更轻便。
祝你好运!