我有一个大文件（无法完全放入内存），其中包含各种大小的字符串。我想将这些字符串重写到另一个文件中，但每个字符串都大写。在 go 中实现这一目标的最快方法是什么？
这是我能想到的最有效的方法。关于如何使其更快的任何想法？
package main
import (
"bufio"
"log"
"os"
"strings"
)
func main() {
inputFile, err := os.Open("input.txt")
if err != nil {
log.Fatal(err)
}
defer inputFile.Close()
outputFile, err := os.Create("output.txt")
if err != nil {
log.Fatal(err)
}
defer outputFile.Close()
scanner := bufio.NewScanner(inputFile)
writer := bufio.NewWriter(outputFile)
for scanner.Scan() {
line := scanner.Text()
capitalized := strings.ToUpper(line)
_, err := writer.WriteString(capitalized + "\\n")
if err != nil {
log.Fatal(err)
}
}
err = writer.Flush()
if err != nil {
log.Fatal(err)
}
}正确答案
一个起点是运行 go 测试包 基准测试。
对于基准数据，我使用 275,502 个单词（大部分为小写）、3,077,701 字节的 linux 字典文件：/usr/share/dict/brazilian。鉴于您对文件的模糊描述，这是我能做的最好的事情。为了避免基准磁盘 i/o，我对 io.reader 使用 bytes.reader，对 io.writer 使用 ioutil.discard。
代码的结果：
$ go test upper_so_test.go -run=! -benchmem -bench=. benchmarkso-12 48 22765120 ns/op 8143216 b/op 550993 allocs/op
blunderific 代码的结果：
采用 php+mysql 数据库方式运行的强大网上商店系统，执行效率高速度快，支持多语言，模板和代码分离，轻松创建属于自己的个性化用户界面 v3.5更新： 1).进一步静态化了活动商品. 2).提供了一些重要UFT-8转换文件 3).修复了除了网银在线支付其它支付显示错误的问题. 4).修改了LOGO广告管理,增加LOGO链接后主页LOGO路径错误的问题 5).修改了公告无法发布的问题,可能是打压
benchmarkb-12 94 13061407 ns/op 3782866 b/op 275505 allocs/op
作为概念验证 (poc)，我使用字典文件编写了使用最少 cpu 和内存的代码。到目前为止，我的 poc 代码的结果：
benchmarktu-12 182 6457334 ns/op 8240 b/op 3 allocs/op
将我的 poc 代码作为程序运行，使用 ssd 文件存储来读取和写入字典文件，需要几毫秒的时间：
$ time ./upper real 0m0.031s user 0m0.014s sys 0m0.009s
即使没有文件的一小部分样本，也无法提出性能改进的具体建议。然而，使用字典文件，我的 poc 基准测试结果与您的基准测试结果（6,457,334 ns/op vs. 22,765,120、8,240 b/op vs. 8,143,216、3 allocs/op vs. 550,993）确实表明您对 cpu 的过度使用内存会损害性能。
upper_so_test.go：
package main
import (
"bufio"
"bytes"
"io"
"io/ioutil"
"os"
"strings"
"testing"
)
func SOToUpper(r io.Reader, w io.Writer) error {
scanner := bufio.NewScanner(r)
writer := bufio.NewWriter(w)
for scanner.Scan() {
line := scanner.Text()
capitalized := strings.ToUpper(line)
_, err := writer.WriteString(capitalized + "\n")
if err != nil {
return err
}
}
err := writer.Flush()
if err != nil {
return err
}
return nil
}
var benchData = func () []byte {
data, err := os.ReadFile(`/usr/share/dict/brazilian`)
if err != nil {
panic(err)
}
return data
}()
func BenchmarkSO(b *testing.B) {
for i := 0; i < b.N; i++ {
r := bytes.NewReader(benchData)
w := ioutil.Discard
err := SOToUpper(r, w)
if err != nil {
b.Error(err)
}
}
} 
