验证、消毒和安全地处理用户生成的内容是一个复杂且庞大的课题。本文仅关注其中一个方面：利用魔术字节嗅探用户上传内容的类型，并拒绝与验证规则不符的文件。
本文重点介绍：
- 如何在不缓冲整个文件到内存的情况下嗅探内容类型
- 如何编写简洁易用且可复用的代码
使用 http.DetectContentType
标准库中的 http.DetectContentType 函数正是我们需要的。文档描述如下：
根据 https://www.php.cn/link/f89c3e51ae1979d52092d5e64fe06f5f 描述的算法确定给定数据的 MIME 类型。最多考虑前 512 字节的数据。DetectContentType 始终返回有效的 MIME 类型：如果无法确定更具体的 MIME 类型，则返回 "application/octet-stream"。
让我们看看如何在实践中使用它。考虑一个典型的文件上传处理程序，它将文件直接复制到 S3：
<code class="go">func handleUpload(w http.ResponseWriter, r *http.Request) {
// 验证请求头
// ...
// 将请求体直接复制到 S3
uploader := s3manager.NewUploader(sess)
_, err := uploader.Upload(&s3manager.UploadInput{
Bucket: aws.String("my-bucket"),
Key: aws.String("filename.jpg"),
Body: r.Body,
})
if err != nil {
w.WriteHeader(500)
}
}</code>
如果我们手动使用 http.DetectContentType 只允许上传图像，代码如下。记住，我们不想缓冲整个文件到内存：
<code class="go"> // 读取请求体的前一部分
var first512 [512]byte
n, err := io.ReadFull(r.Body, first512[:])
if err != nil && !errors.Is(err, io.ErrUnexpectedEOF) && !errors.Is(err, io.EOF) {
w.WriteHeader(500)
return
}
// 检测并验证内容类型
contentType := http.DetectContentType(first512[:n])
if !strings.HasPrefix(contentType, "image/") {
w.WriteHeader(400)
return
}
// 重新组合请求体
reqBody := io.MultiReader(bytes.NewReader(first512[:n]), r.Body)</code>
这种方法有几个缺点：
- 代码冗长，易出错
- 错误处理分散，难以维护
- 需要在每个上传处理程序中重复此模式
让我们将此逻辑封装到一个可复用的组件中，该组件为我们处理复杂性。
我们需要什么？
让我们看看目标。我们想要一个自定义的读取器包装器——NewContentTypeReader，它会在读取正文时自动检测内容类型并调用用户提供的回调函数。回调函数将执行所有必要的验证，并可以选择返回错误。我们的 HTTP 处理程序如下所示：
<code class="go">var errNotImage = errors.New("not an image")
func handleUpload(w http.ResponseWriter, r *http.Request) {
// 验证请求头
// ...
// 自定义读取器，用于检测和验证内容类型
reqBody := NewContentTypeReader(r.Body, func(contentType string) error {
if !strings.HasPrefix(contentType, "image/") {
return errNotImage
}
return nil
})
// 将请求体直接复制到 S3
uploader := s3manager.NewUploader(sess)
_, err := uploader.Upload(&s3manager.UploadInput{
Bucket: aws.String("my-bucket"),
Key: aws.String("filename.jpg"),
Body: reqBody,
})
if errors.Is(err, errNotImage) {
// 捕获自定义读取器的错误
w.WriteHeader(400)
return
}
if err != nil {
w.WriteHeader(500)
}
}</code>
如果请求体看起来不像图像，则任何尝试从 reqBody 读取的尝试都将失败。
实现读取器包装器
现在我们已经了解了如何使用包装器，让我们看看如何实现它。我们可以使用 io.MultiReader 使用与上述相同的方法，尽管在无法读取前 512 个字节的情况下，某些非致命错误（例如 I/O 超时）可能会导致并发症。相反，我们的包装器只代理所有读取调用，但也累积内部缓冲区，直到有足够的数据来调用 http.DetectContentType 函数。
<code class="go">type ctReader struct {
buf []byte
reader io.Reader
handler func(contentType string) error
}
// NewContentTypeReader 返回一个读取器，它嗅探内容类型并将其传递给处理程序。
func NewContentTypeReader(r io.Reader, handler func(contentType string) error) io.Reader {
return &ctReader{
reader: r,
handler: handler,
}
}
func (r *ctReader) Read(p []byte) (n int, err error) {
n, err = r.reader.Read(p)
if r.handler != nil {
// 累积缓冲区
r.buf = append(r.buf, p[:min(512, n)]...)
// 缓冲区足够大或达到 EOF
if len(r.buf) >= 512 || errors.Is(err, io.EOF) {
contentType := http.DetectContentType(r.buf)
if err2 := r.handler(contentType); err2 != nil {
err = err2 // 替换原始错误
}
// 确保我们不再调用处理程序
r.handler = nil
r.buf = nil
}
}
return
}
func min(a, b int) int {
if a < b {
return a
}
return b
}</code>
结论
我们已经构建了一个可复用的文件上传内容类型检测解决方案：
- 即时验证文件，无需完全缓冲到内存
- 集成 Go 的
io.Reader接口和标准库 - 可与 Amazon S3 等云存储服务自然协作
魔术字节检测对于大多数常见的文件类型是可靠的，但记住它只是一层防御。对于生产系统，应将其与其他安全措施结合使用，例如文件大小限制、恶意软件扫描和正确的访问控制。
原文发表于 destel.dev
