这篇文章主要介绍了关于php如何读取大excel文件数据的方法,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下
场景和痛点
说明
今天因为一个老同学找我,说自己公司的物流业务都是现在用excel处理,按月因为数据量大,一个excel差不多有百万数据,文件有接近100M,打开和搜索就相当的慢联想到场景:要导入数据,可能excel数据量很大,这里利用常用的一些方法比如phpexcel会常有时间和内存限制问题下面我们就利用一个利用流处理的类库SpreadsheetReader来做大excel的读取
编写过程
说明
关键具体在代码里注释
代码
Sheets();
if (!$sheets) {
die("没有工作表");
}
//改变当前处理的工作表
$Reader->ChangeSheet(0);
//打印当前所在工作表的当前所在行数据
var_dump($Reader->current());
//因为reader类集成了Iter所以可以用迭代方式处理
//这里提醒 如果文件超大,这边的处理速度会过慢,不过不会引发内存性能问题
//$i = 0;
//foreach ($Reader as $Row)
//{
// if ($i>=3) {
// break;
// }
//
// echo $i . PHP_EOL;
// print_r($Row);
//
// $i++;
//}
$endTime = microtime(true);
$memoryUse = memory_get_usage();
echo "内存占用:" . convert($memoryUse) . "; 用时:" . ($endTime - $startTime) . PHP_EOL;结果
测试说明
上面读取的example1.xlsx文件有100M左右,读写过慢,测试只开了读取当前默认工作表的当前所在行数据
因数据敏感,已做屏蔽
日志记录内存使用率
147.77 kb array (size=50) 0 => string 'xxxxxxxxxxxxxx' (length=25) 1 => string 'xxxxxxxxxxxxxx' (length=15) 2 => string 'xxxxxxxxxxxxxx' (length=18) 3 => string 'xxxxxxxxxxxxxx' (length=12) 4 => string 'xxxxxxxxxxxxxx' (length=12) 5 => string 'xxxxxxxxxxxxxx' (length=12) 6 => string 'xxxxxxxxxxxxxx' (length=24) 7 => string 'xxxxxxxxxxxxxx' (length=12) 8 => string 'xxxxxxxxxxxxxx' (length=27) 9 => string 'xxxxxxxxxxxxxx' (length=12) 10 => string 'xxxxxxxxxxxxxx' (length=15) 11 => string 'xxxxxxxxxxxxxx' (length=28) 12 => string 'xxxxxxxxxxxxxx' (length=9) 13 => string 'xxxxxxxxxxxxxx' (length=12) 14 => string 'xxxxxxxxxxxxxx' (length=9) 15 => string 'xxxxxxxxxxxxxx' (length=6) 16 => string 'xxxxxxxxxxxxxx' (length=9) 17 => string 'xxxxxxxxxxxxxx' (length=3) 18 => string 'xxxxxxxxxxxxxx' (length=6) 19 => string 'xxxxxxxxxxxxxx' (length=3) 20 => string 'xxxxxxxxxxxxxx' (length=15) 21 => string 'xxxxxxxxxxxxxx' (length=15) 22 => string 'xxxxxxxxxxxxxx' (length=19) 23 => string 'xxxxxxxxxxxxxx' (length=13) 24 => string 'xxxxxxxxxxxxxx' (length=19) 25 => string 'xxxxxxxxxxxxxx' (length=12) 26 => string 'xxxxxxxxxxxxxx' (length=12) 27 => string 'xxxxxxxxxxxxxx' (length=12) 28 => string 'xxxxxxxxxxxxxx' (length=6) 29 => string 'xxxxxxxxxxxxxx' (length=12) 30 => string 'xxxxxxxxxxxxxx' (length=6) 31 => string 'xxxxxxxxxxxxxx' (length=15) 32 => string 'xxxxxxxxxxxxxx' (length=24) 33 => string 'xxxxxxxxxxxxxx' (length=18) 34 => string 'xxxxxxxxxxxxxx' (length=18) 35 => string 'xxxxxxxxxxxxxx' (length=24) 36 => string 'xxxxxxxxxxxxxx' (length=12) 37 => string 'xxxxxxxxxxxxxx' (length=18) 38 => string 'xxxxxxxxxxxxxx' (length=21) 39 => string 'xxxxxxxxxxxxxx' (length=9) 40 => string 'xxxxxxxxxxxxxx' (length=9) 41 => string 'xxxxxxxxxxxxxx' (length=18) 42 => string 'xxxxxxxxxxxxxx' (length=21) 43 => string 'xxxxxxxxxxxxxx' (length=15) 44 => string 'xxxxxxxxxxxxxx' (length=12) 45 => string 'xxxxxxxxxxxxxx' (length=6) 46 => string 'xxxxxxxxxxxxxx' (length=12) 47 => string 'xxxxxxxxxxxxxx' (length=22) 48 => string 'xxxxxxxxxxxxxx' (length=22) 49 => string '' (length=0) 内存占用:207.55 kb; 用时:9.5835480690002
以上就是本文的全部内容,希望对大家的学习有所帮助,更多相关内容请关注PHP中文网!
相关推荐:
采用 php+mysql 数据库方式运行的强大网上商店系统,执行效率高速度快,支持多语言,模板和代码分离,轻松创建属于自己的个性化用户界面 v3.5更新: 1).进一步静态化了活动商品. 2).提供了一些重要UFT-8转换文件 3).修复了除了网银在线支付其它支付显示错误的问题. 4).修改了LOGO广告管理,增加LOGO链接后主页LOGO路径错误的问题 5).修改了公告无法发布的问题,可能是打压










