为什么在内存中下载比从AWS S3在文件系统中下载慢？ 在下载文件时，我们通常会选择从AWS S3存储桶中下载到本地文件系统。然而，有时候我们会发现，使用内存中的下载方式比直接从S3下载到文件系统要慢。这是因为在内存中下载涉及到一些额外的步骤和资源消耗。首先，内存中的下载需要将文件内容读取到内存中，然后再将其写入到文件系统中。这个过程中涉及到了额外的内存操作和IO操作，相比直接从S3下载到文件系统，会导致下载速度变慢。另外，内存中的下载还可能受到内存限制的影响，当下载的文件较大时，可能会导致内存不足的问题，进而影响下载速度。因此，在选择下载方式时，需要根据具体情况权衡利弊，选择最适合的方式来进行下载操作。
问题内容
我正在使用aws gosdk从某个存储桶下载。下面是下载的两种实现
- 下载到文件
func (a *awsclient) downloadtofile(ctx context.context, objectkey string) (string, error) {
params := &awss3.getobjectinput{
bucket: aws.string(a.bucket),
key: aws.string(objectkey),
}
downloadpath := "some/valid/path"
f, err := os.create(downloadpath)
defer f.close()
_, err = a.downloader.download(ctx, f, params)
return downloadpath, err
}
- 下载到内存
func (a *AwsClient) DownloadToMemory(ctx context.Context, objectKey string) (string, error) {
params := &awsS3.GetObjectInput{
Bucket: aws.String(a.bucket),
Key: aws.String(objectKey),
}
buffer := manager.NewWriteAtBuffer([]byte{})
_, err = a.downloader.Download(ctx, buffer, params)
return buffer.Bytes(), err
}
对于 100 mb 的文件，下载到内存中需要 30 秒，下载到文件系统中只需要 8 秒。我的期望是内存下载应该快得多。我的系统（apple m1、ventura、8gb ram）有足够的可用 ram，所以这不是问题。有人可以帮助我理解这种行为吗？
解决方法
将大的 S3 对象下载到动态缓冲区中效率非常低。该缓冲区被重新分配多次以处理 100M 数据和多个下载线程。内存重新分配需要大量 CPU 时间。
关于Objective
下载
本文档主要讲述的是关于Objective-C手动内存管理的规则；在ios开发中Objective-C 增加了一些新的东西，包括属性和垃圾回收。那么，我们在学习Objective-C之前，最好应该先了解，从前是什么样的，为什么Objective-C 要增加这些支持。有需要的朋友可以下载看看
尝试在开始时分配 100M，而不是使用空字节片。
如果对象大小未知，您可以使用 S3.HeadObject 实时获取对象长度。
