本文旨在指导开发者如何利用 AWS DynamoDB 的全局二级索引 (GSI) 功能，高效地扫描表中存在特定列值的记录。通过创建 GSI 并查询索引，可以避免全表扫描，显著提升查询性能，尤其是在处理大数据集时。
了解全局二级索引 (GSI)
在 DynamoDB 中，如果你需要根据非主键属性进行查询，通常会使用 Scan 操作。然而，Scan 操作会扫描整个表，效率较低，并且会消耗大量的读取容量单位 (RCU)。当表的数据量很大时，Scan 操作的性能问题会更加突出。
全局二级索引 (GSI) 是解决这个问题的有效方法。GSI 允许你定义一个或多个索引，这些索引基于表中的一个或多个属性，并且可以独立于表的主键进行查询。重要的是，GSI 只包含定义了索引属性的记录。
创建 GSI
假设你有一个名为 tableName 的 DynamoDB 表，其中包含一个名为 items 的属性，但并非所有记录都包含此属性。你的目标是检索所有包含 items 属性的记录。
要实现这个目标，你需要创建一个 GSI，并将 items 属性作为索引键。以下是创建 GSI 的步骤：
选择索引键: 选择 items 属性作为 GSI 的索引键。
定义投影属性: 你可以选择将哪些属性投影到 GSI 中。可以选择只投影索引键，也可以投影所有属性。如果只需要 items 属性，可以选择只投影该属性，以减少存储成本。
-
创建 GSI: 使用 AWS 管理控制台、AWS CLI 或 AWS SDK 创建 GSI。以下是使用 AWS CLI 创建 GSI 的示例：
aws dynamodb update-table \ --table-name tableName \ --attribute-definitions AttributeName=items,AttributeType=S \ --global-secondary-index-updates "[ { \"Create\": { \"IndexName\": \"items-index\", \"KeySchema\": [ { \"AttributeName\": \"items\", \"KeyType\": \"HASH\" } ], \"Projection\": { \"ProjectionType\": \"ALL\" }, \"ProvisionedThroughput\": { \"ReadCapacityUnits\": 5, \"WriteCapacityUnits\": 5 } } } ]"注意: AttributeType 需要根据 items 属性的实际数据类型进行调整。ProvisionedThroughput 需要根据你的需求进行调整。
查询 GSI
创建 GSI 后，你可以使用 Query 操作来查询 GSI，以检索包含 items 属性的记录。以下是使用 AWS SDK for PHP 查询 GSI 的示例：
'your-region',
'version' => 'latest'
]);
$params = [
'TableName' => 'tableName',
'IndexName' => 'items-index', // GSI 的名称
'KeyConditionExpression' => 'items = :items',
'ExpressionAttributeValues' => [
':items' => ['S' => 'someValue'] // 替换为 items 的实际值，如果需要根据 items 的值进行过滤
]
];
try {
$result = $client->query($params);
foreach ($result['Items'] as $item) {
print_r($item);
}
} catch (Aws\Exception\AwsException $e) {
// 输出错误信息
echo $e->getMessage();
echo "\n";
}
?>说明:
- IndexName: 指定要查询的 GSI 的名称。
- KeyConditionExpression: 指定查询条件。在这个例子中，我们查询 items 属性等于 :items 的记录。如果只需要判断 items 属性是否存在，可以省略此参数，并使用 Scan 操作。
- ExpressionAttributeValues: 定义表达式中使用的占位符的值。
使用 Scan 操作和 FilterExpression (不推荐)
虽然使用 GSI 是最佳实践，但如果由于某些原因无法创建 GSI，你仍然可以使用 Scan 操作和 FilterExpression 来过滤结果。但是，请注意，这种方法效率较低，并且会消耗大量的 RCU。
以下是使用 Scan 操作和 FilterExpression 的示例：
'your-region',
'version' => 'latest'
]);
$params = [
'TableName' => 'tableName',
'FilterExpression' => 'attribute_exists(items)'
];
try {
$result = $client->scan($params);
foreach ($result['Items'] as $item) {
print_r($item);
}
} catch (Aws\Exception\AwsException $e) {
// 输出错误信息
echo $e->getMessage();
echo "\n";
}
?>或者
'your-region',
'version' => 'latest'
]);
$params = [
'TableName' => 'tableName',
'FilterExpression' => 'items <> :null',
'ExpressionAttributeValues' => [
':null' => ['NULL' => true]
]
];
try {
$result = $client->scan($params);
foreach ($result['Items'] as $item) {
print_r($item);
}
} catch (Aws\Exception\AwsException $e) {
// 输出错误信息
echo $e->getMessage();
echo "\n";
}
?>注意:
- attribute_exists(items) 函数用于检查 items 属性是否存在。
- 第二种方法使用 items :null，需要将 :null 定义为 ['NULL' => true]。
- 强烈建议使用 GSI，而不是 Scan 操作和 FilterExpression，尤其是在处理大数据集时。
总结
通过使用全局二级索引 (GSI)，你可以显著提高 DynamoDB 中查询特定属性存在的记录的效率。GSI 允许你根据非主键属性进行查询，避免全表扫描，从而节省 RCU 并提高性能。 如果无法创建 GSI，可以使用 Scan 操作和 FilterExpression，但请注意其性能限制。在选择方法时，请权衡性能和成本，并根据你的具体需求做出最佳选择。
