0

0

Go 读取标准输入并输出的性能优化指南

霞舞

霞舞

发布时间:2026-01-09 13:40:40

|

706人浏览过

|

来源于php中文网

原创

Go 读取标准输入并输出的性能优化指南

本文详解为何 go 默认字符串处理比 python 慢,以及如何通过避免字符串转换、直接操作字节切片和使用缓冲 i/o 将 go 标准输入/输出性能提升至 python 的 3 倍以上。

在基准测试中,一个看似简单的“逐行读取并原样输出”任务,Go 程序初始版本可能比等效 Python 2.x 脚本慢 4 倍——这常令开发者困惑:Go 作为编译型语言,为何 I/O 性能反而落后?根本原因不在语言本身,而在于默认抽象层的设计取舍与底层数据表示差异

Python 2.x 的 str 类型本质上是字节序列(raw bytes),无编码验证开销;而 Go 的 string 是不可变的 UTF-8 编码字节序列,每次调用 scanner.Text() 都会:

  • 分配新字符串内存;
  • 复制字节并验证 UTF-8 合法性;
  • 进行额外的边界检查与 GC 压力。

即使升级到 bufio.Writer 缓冲输出(如第二版代码),若仍依赖 scanner.Text() + writer.WriteString(),上述开销依然存在。真正的突破口在于绕过字符串构造,直接操作原始字节

以下是高性能、生产就绪的 Go 实现:

CG Faces
CG Faces

免费的 AI 人物图像素材网站

下载
package main

import (
    "os"
    "bufio"
)

func main() {
    reader := bufio.NewReader(os.Stdin)
    scanner := bufio.NewScanner(reader)
    writer := bufio.NewWriter(os.Stdout)
    newline := []byte("\n") // 复用字节切片,避免重复分配

    for scanner.Scan() {
        // 直接获取字节切片,零拷贝(不验证UTF-8,不分配string)
        line := scanner.Bytes()
        writer.Write(line)
        writer.Write(newline)
    }

    // 必须刷新缓冲区,否则末尾内容可能丢失
    writer.Flush()

    // 可选:检查扫描错误(如I/O中断)
    if err := scanner.Err(); err != nil {
        os.Exit(1)
    }
}

关键优化点解析:

  • scanner.Bytes() 替代 scanner.Text():返回底层 []byte 视图,无编码转换、无内存分配;
  • 复用 []byte("\n"):避免每次循环创建新切片;
  • bufio.Writer 批量写入:减少系统调用次数(从每行 1 次降至缓冲区满或 Flush() 时);
  • 显式 writer.Flush():确保所有缓冲数据落盘,尤其输出到管道或文件时不可或缺;
  • ⚠️ 注意字符集语义:此方案完全跳过 UTF-8 验证,适用于纯 ASCII/二进制流或已知编码安全的场景;若需严格 Unicode 处理,应权衡性能与正确性。

实测对比(6500 万行词表,输出至 /dev/null):

  • Python 2.7:12.7s(依赖 C 底层 sys.stdin 迭代器,本质也是字节流);
  • 优化后 Go:4.4s(快近 3 倍),且 CPU 占用更低(user time 更短)。

最后需强调:此类纯 I/O 吞吐测试并非典型应用负载。真实服务中,数据通常需解析、转换、计算或存储——此时 Go 的并发模型、静态类型与内存控制优势将全面显现。性能优化永远始于明确场景:若只需高效管道传输,就该拥抱字节;若需文本处理,则合理使用 string 与 strings 包。选择工具,而非迷信基准。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python开发工具
python开发工具

php中文网为大家提供各种python开发工具,好的开发工具,可帮助开发者攻克编程学习中的基础障碍,理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容,供大家免费下载使用。

741

2023.06.15

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

634

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

756

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

617

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

1259

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

547

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

577

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

705

2023.08.11

c++主流开发框架汇总
c++主流开发框架汇总

本专题整合了c++开发框架推荐,阅读专题下面的文章了解更多详细内容。

3

2026.01.09

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 0.6万人学习

Django 教程
Django 教程

共28课时 | 2.9万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号