答案：使用Go语言编写程序，通过bufio逐行读取大文件，结合正则提取单词并用map统计频率，最后按频次降序输出前20个单词。
要编写一个 Go 程序来高效计算大型文本文件中单词的出现频率，可以使用 bufio.Scanner 逐行读取文件，避免将整个文件加载到内存中。同时，使用正则表达式提取单词，并通过 map 统计频率。
完整代码示例
以下是一个完整的 Golang 程序，用于统计大型文本文件中单词的频率：
package main
import (
"bufio"
"fmt"
"io"
"os"
"regexp"
"strings"
)
// wordPattern 定义单词匹配的正则表达式（只保留字母和数字）
var wordPattern = regexp.MustCompile(`[a-zA-Z0-9]+`)
// countWords 读取文件并返回单词频率映射
func countWords(filename string) (map[string]int, error) {
file, err := os.Open(filename)
if err != nil {
return nil, err
}
defer file.Close()
wordCount := make(map[string]int)
scanner := bufio.NewScanner(file)
scanner.Buffer(nil, 64*1024*1024) // 设置大缓冲区以支持大行
for scanner.Scan() {
line := scanner.Text()
words := wordPattern.FindAllString(line, -1)
for _, word := range words {
word = strings.ToLower(word)
wordCount[word]++
}
}
if err := scanner.Err(); err != nil && err != io.EOF {
return nil, err
}
return wordCount, nil
}
func main() {
if len(os.Args) != 2 {
fmt.Println("用法: go run wordfreq.go <文件名>")
os.Exit(1)
}
filename := os.Args[1]
wordCount, err := countWords(filename)
if err != nil {
fmt.Printf("读取文件失败: %v\n", err)
os.Exit(1)
}
// 打印最常见的前20个单词
type kv struct {
Key string
Value int
}
var ss []kv
for k, v := range wordCount {
ss = append(ss, kv{k, v})
}
// 按频率降序排序
for i := 0; i < len(ss); i++ {
for j := i + 1; j < len(ss); j++ {
if ss[i].Value < ss[j].Value {
ss[i], ss[j] = ss[j], ss[i]
}
}
}
fmt.Println("出现频率最高的前20个单词：")
for i := 0; i < len(ss) && i < 20; i++ {
fmt.Printf("%s: %d\n", ss[i].Key, ss[i].Value)
}
}
程序特点说明
内存效率：使用 bufio.Scanner 逐行读取，适合处理 GB 级文本文件。
立即学习“go语言免费学习笔记（深入）”；
单词提取：正则表达式 [a-zA-Z0-9]+ 提取字母数字组合，忽略标点符号。
大小写不敏感：所有单词转为小写，确保 "The" 和 "the" 被视为同一个词。
错误处理：检查文件打开和读取过程中的错误，避免程序崩溃。
使用方法
将代码保存为 wordfreq.go，然后运行：
go run wordfreq.go largefile.txt
确保文件路径正确。程序会输出频率最高的前 20 个单词。
可选优化建议
若需更高性能，可考虑使用 goroutine 分块处理文件（需注意并发 map 写入），或使用 sort.Slice 替代手动排序。
基本上就这些。这个程序简洁、高效，适用于大多数大文本词频统计场景。
