本教程详细介绍了如何在aws ec2分布式环境中，利用s3fs-fuse工具将amazon s3存储桶挂载为本地文件系统，从而实现在不同ec2实例间共享文件并轻松显示远程文件列表。文章将涵盖s3fs的安装、配置iam权限或aws访问密钥，以及挂载s3桶的具体步骤，最终允许php等脚本通过本地文件路径访问和操作s3中的文件。
在AWS EC2的分布式架构中，当应用部署在不同的实例上，而又需要访问另一实例上的特定目录文件时，直接通过HTTP路径访问通常无法满足文件系统操作的需求，例如使用PHP的scandir()函数。这种场景下，文件访问需要一种更接近本地文件系统的方式。S3FS-FUSE提供了一个优雅的解决方案，它允许我们将Amazon S3存储桶挂载为EC2实例上的本地文件系统，从而实现跨实例的文件共享与访问。
S3FS-FUSE简介与工作原理
S3FS-FUSE是一个基于FUSE（Filesystem in Userspace）的工具，它允许用户将Amazon S3存储桶作为标准文件系统挂载到Linux、macOS等操作系统上。一旦S3桶被挂载，它就表现得像一个本地目录，使得应用程序可以直接使用标准的文件系统API（如ls、cp、scandir等）来访问和操作S3中的对象，而无需直接调用AWS S3 SDK。
其核心优势在于：
- 统一访问接口：将远程S3存储抽象为本地文件系统，简化了文件操作逻辑。
- 跨实例共享：多个EC2实例可以同时挂载同一个S3桶，实现文件数据的实时共享。
- 高可用与持久性：文件存储在S3中，具备S3本身的高可用性、持久性和可扩展性。
环境准备
在开始安装和配置S3FS之前，需要确保以下环境已准备就绪：
- Amazon S3存储桶：创建一个S3存储桶，用于存放需要共享的文件。例如，可以创建一个名为 your-shared-bucket 的存储桶。
-
AWS IAM权限配置：
-
推荐方式：IAM角色：为EC2实例配置一个IAM角色，该角色需具备对目标S3桶的读写权限。这是最安全且推荐的方式，因为AWS凭证不会直接存储在实例上。
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:ListBucket", "s3:GetBucketLocation", "s3:GetObject", "s3:PutObject", "s3:DeleteObject", "s3:AbortMultipartUpload", "s3:ListMultipartUploadParts", "s3:ListBucketMultipartUploads" ], "Resource": [ "arn:aws:s3:::your-shared-bucket", "arn:aws:s3:::your-shared-bucket/*" ] } ] }将此策略附加到EC2实例的IAM角色上。
- 备用方式：AWS访问密钥：如果无法使用IAM角色，则需要生成一对AWS访问密钥（Access Key ID和Secret Access Key），并确保这些密钥所属的用户或角色具有对S3桶的相应权限。请注意，直接在实例上存储密钥存在安全风险，应谨慎使用。
-
推荐方式：IAM角色：为EC2实例配置一个IAM角色，该角色需具备对目标S3桶的读写权限。这是最安全且推荐的方式，因为AWS凭证不会直接存储在实例上。
S3FS-FUSE安装
S3FS-FUSE的安装通常通过从GitHub仓库克隆源代码并编译进行。以下是在Ubuntu EC2实例上的安装步骤：
-
更新系统并安装依赖：
sudo apt update sudo apt install -y automake autotools-dev fuse g++ git libcurl4-gnutls-dev libfuse-dev libssl-dev libxml2-dev make pkg-config
-
克隆S3FS-FUSE仓库并编译安装：
git clone https://github.com/s3fs-fuse/s3fs-fuse.git cd s3fs-fuse ./autogen.sh ./configure --prefix=/usr/local make sudo make install
这些步骤应在需要挂载S3桶的所有EC2实例上执行。
挂载S3存储桶
安装S3FS后，即可将S3存储桶挂载到EC2实例上的指定目录。首先，在每个EC2实例上创建一个作为挂载点的目录，例如 /mnt/s3fs/pathlocal：
sudo mkdir -p /mnt/s3fs/pathlocal
接下来，根据您的权限配置选择合适的挂载命令。
使用IAM角色挂载（推荐）
如果EC2实例已附加具有S3读写权限的IAM角色，可以使用以下命令挂载：
sudo /usr/local/bin/s3fs -o allow_other -o iam_role='your-iam-role-name' your-shared-bucket /mnt/s3fs/pathlocal
请将 your-iam-role-name 替换为实际的IAM角色名称，your-shared-bucket 替换为您的S3桶名称。
使用AWS访问密钥挂载
如果使用AWS访问密钥，需要将密钥信息写入一个文件，并设置正确的权限。例如，在 ~/.passwd-s3fs 文件中：
echo "YOUR_ACCESS_KEY_ID:YOUR_SECRET_ACCESS_KEY" > ~/.passwd-s3fs chmod 600 ~/.passwd-s3fs
然后使用以下命令挂载：
sudo /usr/local/bin/s3fs -o allow_other -o passwd_file=~/.passwd-s3fs your-shared-bucket /mnt/s3fs/pathlocal
请将 YOUR_ACCESS_KEY_ID 和 YOUR_SECRET_ACCESS_KEY 替换为您的实际密钥。
参数解释：
- -o allow_other：允许非root用户访问挂载的S3文件系统。这对于Web服务器（如Apache或Nginx的用户）访问S3文件至关重要。
- your-shared-bucket：您要挂载的S3存储桶的名称。
- /mnt/s3fs/pathlocal：本地文件系统中的挂载点目录。
这些挂载操作同样需要在需要访问共享文件的所有EC2实例上执行。
配置开机自动挂载
为了确保EC2实例重启后S3桶能够自动挂载，可以将挂载命令添加到 /etc/rc.local 文件中。
-
编辑 /etc/rc.local 文件：
sudo nano /etc/rc.local
-
在 exit 0 行之前添加挂载命令： 例如，使用IAM角色：
#!/bin/sh -e # # rc.local # # This script is executed at the end of each multiuser runlevel. # Make sure that the script will "exit 0" on success or any other # value on error. # # In order to enable or disable this script just change the execution # bits. # # By default this script does nothing. /usr/local/bin/s3fs -o allow_other -o iam_role='your-iam-role-name' your-shared-bucket /mnt/s3fs/pathlocal exit 0
保存并退出。
请注意，在某些较新的Linux发行版中，/etc/rc.local 可能默认不启用或不存在。如果遇到问题，可以考虑使用 systemd 服务来管理S3FS的自动挂载。
在EC2实例上访问文件
一旦S3桶成功挂载，/mnt/s3fs/pathlocal 目录将包含S3桶中的所有文件。现在，您的PHP脚本或其他应用程序就可以像访问本地文件一样访问这些文件了。
例如，原始问题中提到的PHP脚本，现在可以直接作用于挂载点：
<?php
$path = "/mnt/s3fs/pathlocal/"; // 指向S3FS挂载点
$files = scandir($path);
$nothidden = [];
foreach($files as $file) {
if ($file[0] != '.') { // 排除隐藏文件
$nothidden[] = $file;
}
}
// 示例：打印所有非隐藏文件
foreach($nothidden as $file) {
echo $file . "<br>";
}
?>通过这种方式，原本无法直接处理HTTP路径的 scandir() 函数，现在能够无缝地列出S3桶中的文件，解决了分布式EC2环境下文件列表显示的问题。
注意事项与最佳实践
- 安全性：始终优先使用IAM角色进行权限管理。如果必须使用访问密钥，请确保密钥文件权限设置严格（chmod 600），并考虑使用AWS Secrets Manager进行密钥管理。
- 性能：S3FS通过网络访问S3，其性能受限于网络带宽和S3的API响应时间。对于频繁、小文件的读写操作，可能会有性能瓶颈。可以考虑在应用层进行缓存优化。
- 数据一致性：S3FS对S3的最终一致性模型提供支持，但在某些极端情况下，对文件系统的操作可能不会立即反映在S3FS中。
- 错误处理：在生产环境中，应考虑S3FS挂载失败、网络中断等情况，并在应用程序中加入相应的错误处理逻辑。
- 监控：监控S3FS的运行状态以及S3桶的访问日志，以便及时发现和解决问题。
总结
S3FS-FUSE为AWS EC2分布式环境下的文件共享提供了一个强大且灵活的解决方案。通过将Amazon S3存储桶挂载为本地文件系统，我们能够克服传统远程文件访问的局限性，使得应用程序可以利用标准文件系统API无缝地操作存储在S3中的文件。正确配置IAM权限、安装S3FS并设置开机自动挂载，将大大简化跨实例文件管理的复杂性，提升系统的可用性和可维护性。
