求读取超大XML数据思路、方案以及各种有助于解决问题的...

TigerJiang · 发表于 2016-3-11 19:14:12

木魚发表于 2016-3-11 19:12
我只能说入库的时候用SqlBulkCopy，性能不差的机器应该是可以完成入库要求的。数据库索引会影响写入速度。
...

数据写入肯定用它了，其实最大的瓶颈来自于对XML读取，解析。我如果用Load对象，直接内存溢出。

TigerJiang · 发表于 2016-3-11 19:17:11

木魚发表于 2016-3-11 19:12
我只能说入库的时候用SqlBulkCopy，性能不差的机器应该是可以完成入库要求的。数据库索引会影响写入速度。
...

如果用Load读取XML感觉内存是数量级递增。页面直接假死，接着系统就假死什么都做不了了。一直等待，完整读取超过半个小时。

木魚 · 发表于 2016-3-11 19:17:25

用只读的xml游标。另外不要用x86模式。

TigerJiang · 发表于 2016-3-11 20:22:35

我有一个很粗的想法，这个想法来自于快播播放器。

lambertwu · 发表于 2016-3-11 20:51:52

数据采集格式是什么，可否给个模拟数据看看？

帐号		自动登录	找回密码
密码			入住

[技术求助] 求读取超大XML数据思路、方案以及各种有助于解决问题的...