讲师中心 微信公众号
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机游戏
最近更新
首页 > 后端开发 > php教程 > 正文

一分钟多进程百万数据导出到csv并上传到oss

藏色散人
发布： 2023-04-20 15:30:51
转载
1824人浏览过

本篇文章给大家带来了关于php的相关知识，其中主要跟大家介绍怎么做到一分钟多进程百万数据导出到csv并上传到oss，感兴趣的朋友下面一起来看一下吧，希望对大家有帮助。

需求

  1. 产品要导出某个团队某些用户的步行日志到csv文件里，并且要在一个文件内，而且速度要快不能太耗时间。

问题

  1. 日志往往意味着数据量大。
  2. 要导在一个文件内，数据量虽然大也能解决，无非就是分页查询并写入csv。
  3. 速度快时间短，也能解决无非就是多进程导出多个文件，没有什么难的，但是需求是一个文件！

解决思路

  1. 先查询出要导出的数据总量
  2. 投入到批次队列里面启动多个消费者查询并写入到多个csv里面。
  3. 投递队列时记录每个队列写入的csv具体路径和文件名称。
  4. 利用批次队列的特性在执行完毕时，把上一步记录的多个csv按照顺序合并到一个csv里面
  5. 合并完成之后，删除合并前的多个csv,保留合并的csv并上传到oss

结果

经过测试50多万数据，批次队列里面每个队列分配5万条数据去处理，走完一个流程耗时不到一分钟，这种方式有多快取决于服务器能启动多少个消费者多少个进程，我测试时用的是自动策略，最高是同时8个消费者在执行。

4d1faaacf31f732ea38b25fedd0feb3.png

芝麻乐开源众筹cms系统
芝麻乐开源众筹cms系统

芝麻乐开源众筹系统采用php+mysql开发，基于MVC开发，适用于各类互联网金融公司使用，程序具备模板分离技术，您可以根据您的需要进行应用扩展来达到更加强大功能。前端使用pintuer、jquery、layer等....系统易于使用和扩展简单的安装和升级向导多重业务逻辑判断，预防出现bug后台图表数据方式，一目了然后台包含但不限于以下功能：用户认证角色管理节点管理管理员管理上传配置支付配置短信平

芝麻乐开源众筹cms系统 1
查看详情 芝麻乐开源众筹cms系统

推荐学习：《laravel视频教程》

以上就是一分钟多进程百万数据导出到csv并上传到oss的详细内容，更多请关注php中文网其它相关文章！

相关标签：
php php laravel

大家都在看：

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。

下载
来源：learnku网
收藏 点赞
上一篇：解析​PHP获取标题的拼音首字母（附代码示例） 下一篇：详解Linux中怎么查找PHP的安装包位置
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
作者最新文章
最新问题
php数组怎么转换成字符串_PHP实现数组到字符串的转换 PHP数组转字符串有五种常用方法：一、implode()用分隔符连接值；二、json_encode()生成JSON格式；三、serialize()生成PHP专用序列化字符串；四、var_export()输出可执行PHP代码；五、foreach手动拼接定制格式。
2025-12-20 23:59:11
535
php怎么输出一个数组aab_php输出数组aab索引定位与echo拼接法【技巧】 需根据数组类型选择对应方法：索引数组用下标拼接（如echo$aab[0].$aab[1].$aab[2]），关联数组用键名拼接（如echo$aab[‘first’].$aab[‘second’].$aab[‘third’]），动态长度则用for循环遍历拼接。
2025-12-20 23:59:02
158
php源码怎么加mv_php源码加mv播放与兼容设置【技巧】 答案：通过在PHP中嵌入HTML5视频标签并配置服务器MIME类型，可实现MV播放功能；需调整PHP内存与执行时间限制以支持大文件处理；结合响应式布局与多格式编码确保跨设备兼容播放。
2025-12-20 23:58:02
674
php往数组中添加数据步骤_php数组元素追加方法详解【教程】 PHP中向数组追加元素有五种方法：一、array_push()在末尾添加多个元素；二、[]语法高效添加单个元素；三、array_merge()合并数组并重排索引；四、+运算符合并关联数组且保留左侧键；五、array_unshift()在开头插入元素。
2025-12-20 23:57:07
348
循环数组发送到php页面_数组数据传递页面方法【教程】 可通过五种方法将循环生成的数组发送至PHP处理：一、POST表单提交（name="arr[]"）；二、JSON+AJAX异步传输；三、URL参数拼接（需urlencode）；四、隐藏iframe动态表单提交；五、Session中转存储。
2025-12-20 23:57:07
567
php怎么输出二维关联数组_php二维关联数组输出循环嵌套echo法【技巧】 PHP中输出二维关联数组需用循环或内置函数：一、foreach嵌套循环；二、for结合array_keys；三、print_r配pre标签；四、var_dump递归限制深度；五、implode与array_map组合生成字符串。
2025-12-20 23:55:33
315
php数组通过自定义数量_php控制数组大小方法教程【指南】 PHP中动态控制数组元素数量可用array_slice截取前N个、array_splice直接修改原数组、array_pad补全或截断至固定长度、循环unset手动删除、array_filter按条件筛选。
2025-12-20 23:55:02
193
php怎么循环往数组里面存值_PHP循环向数组添加数值操作 需借助循环结构配合数组操作函数：一、for循环配合索引赋值；二、foreach循环配合引用修改；三、while循环配合array_push()。
2025-12-20 23:54:08
132
php怎么判断是否是二维数组_PHP判断是否为二维数组方法 PHP判断二维数组有四种方法：一、用array_keys和is_array检查是否存在子数组；二、用count($arr,COUNT_RECURSIVE)与count($arr)差值判断嵌套；三、遍历统计数组元素个数；四、结合array_is_list与is_array严格验证结构。
2025-12-20 23:54:08
996
php数组元素平均值怎么算_php数组元素平均值计算与统计技巧 计算PHP数组平均值有五种方式：一、array_sum()与count()组合；二、foreach遍历校验累加；三、array_filter()预处理数值；四、递归提取多维数组数值；五、array_reduce()函数式累加计数。
2025-12-20 23:53:35
405
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部