本文旨在解决google cloud datastore中gql投影查询多属性失败的问题，特别是当尝试选择多个非主键属性时遇到的索引缺失错误，以及尝试投影`__key__`时出现的限制。文章将详细阐述投影查询的工作原理、索引在其中的关键作用，并提供创建复合索引的`index.yaml`配置示例，同时解释如何正确获取实体键，从而帮助开发者有效利用datastore的投影查询功能。
理解 Google Cloud Datastore 投影查询
在Google Cloud Datastore中，当我们需要从实体中检索特定属性而非整个实体时，可以使用投影查询（Projection Queries）。这种查询方式能够显著减少数据传输量，从而降低成本并提高应用程序性能。例如，如果一个comment实体包含Subject、Comment、Author、Timestamp等多个属性，但我们只需要Subject和Comment，就可以使用投影查询。
然而，在使用GQL（Datastore Query Language）进行投影查询时，开发者可能会遇到一些意料之外的限制和错误。常见的查询模式包括：
- SELECT * FROM comment：检索所有属性。
- SELECT __key__ FROM comment：检索实体键。
- SELECT Subject FROM comment：检索单个属性。
这些查询通常能够正常执行。但当尝试同时投影多个非主键属性时，例如 SELECT Subject, Comment FROM comment，或者尝试将__key__与其它属性一起投影时，可能会遇到错误。
投影查询的核心限制：索引要求
Google Cloud Datastore 对投影查询有一个关键限制：只有已被索引的属性才能被投影。这意味着，如果你尝试投影一个或多个属性组合，而Datastore中没有为这些属性或其组合创建相应的索引，查询就会失败。
当尝试执行 SELECT Subject, Comment FROM comment 这样的查询时，如果Datastore中没有为comment Kind 的Subject和Comment属性组合创建复合索引，Datastore 将会报错，并通常会建议创建一个索引。错误信息可能类似：
Error: The suggested index for this query is:
- kind: comment
properties:
- name: Comment
- name: Subject这个错误信息非常明确地指出了问题所在：当前查询所需的复合索引不存在。
解决方案：创建复合索引
为了解决这个问题，需要手动在项目的index.yaml文件中定义所需的复合索引。index.yaml文件通常位于项目的根目录下，用于配置Datastore的自定义索引。
以下是为comment Kind 的Subject和Comment属性创建复合索引的示例配置：
# index.yaml 示例 indexes: - kind: comment properties: - name: Comment - name: Subject # 默认排序为 ASC，如果需要 DESC，可以明确指定 # - name: Subject # direction: desc
索引创建步骤：
- 在项目的根目录下找到或创建 index.yaml 文件。
- 将上述配置添加到 index.yaml 文件中。
- 使用 Google Cloud SDK 工具部署索引。例如，对于App Engine应用，可以使用 gcloud app deploy 命令来部署应用和相关的索引配置。Datastore 会在后台根据 index.yaml 文件创建或更新索引。索引的创建可能需要一些时间，具体取决于数据量。
一旦该复合索引部署并生效，SELECT Subject, Comment FROM comment 这样的投影查询就能正常执行了。
__key__ 属性的特殊处理
另一个常见的投影查询错误是尝试将__key__属性与其他属性一起投影，例如 SELECT __key__, Subject, Comment FROM comment。Datastore 会返回类似以下错误：
Error: projections are not supported for the property: __key__
这是因为__key__并非一个常规的实体属性，它代表了实体在Datastore中的唯一标识。Datastore 不支持在投影查询中直接包含__key__。
解决方案：独立获取实体键
要获取实体的键，应使用Datastore客户端库提供的专门方法，而不是通过GQL投影查询。例如，在使用Go语言的Datastore客户端库时，可以通过GetAll方法同时获取实体数据和对应的键列表：
package main
import (
"context"
"fmt"
"log"
"cloud.google.com/go/datastore"
)
type Comment struct {
Subject string
Comment string
// 其他属性...
}
func main() {
ctx := context.Background()
projectID := "your-gcp-project-id" // 替换为你的项目ID
client, err := datastore.NewClient(ctx, projectID)
if err != nil {
log.Fatalf("Failed to create client: %v", err)
}
defer client.Close()
// 假设你有一个查询对象 q，例如：
q := datastore.NewQuery("comment")
// 如果需要投影，可以在这里添加 Select 方法
// q = q.Select("Subject", "Comment")
var comments []Comment
// GetAll 方法会返回键列表和实体数据
keys, err := client.GetAll(ctx, q, &comments)
if err != nil {
log.Fatalf("Failed to get all comments: %v", err)
}
for i, c := range comments {
fmt.Printf("Key: %s, Subject: %s, Comment: %s\n", keys[i].String(), c.Subject, c.Comment)
}
}在上述示例中，client.GetAll(ctx, q, &comments) 方法会同时返回一个[]datastore.Key切片（包含查询结果中每个实体的键）和一个[]Comment切片（包含查询到的实体数据）。这样就能够独立且正确地获取到实体的键和所需的属性。
总结与注意事项
- 索引是投影查询的基础：在使用Google Cloud Datastore的投影查询时，务必牢记，只有已索引的属性才能被投影。对于涉及多个属性的投影查询，通常需要创建复合索引。
- index.yaml的重要性：对于复杂的查询（包括多属性投影、多属性过滤和排序等），index.yaml文件是定义自定义索引的关键。
- 部署索引：在修改index.yaml后，需要通过Google Cloud SDK部署索引，使其在Datastore中生效。索引的创建是一个异步过程，可能需要时间。
- __key__的获取方式：__key__不能直接在GQL投影查询中作为投影属性。应通过Datastore客户端库提供的特定方法（如GetAll）来获取实体键。
- 优化与成本：投影查询可以有效减少读取的数据量，从而降低Datastore的运营成本并提高查询性能。然而，过多的自定义索引也会增加存储成本和写入操作的开销，因此需要权衡。
- 查阅官方文档：对于更深入的理解和最新信息，始终建议查阅Google Cloud Datastore的官方文档，特别是关于索引和投影查询的部分。
