在处理复杂的文档模型时，mongodb经常会遇到包含多层嵌套数组的场景。例如，一个文档可能包含一个sections数组，每个section对象又包含一个sectionobj数组，而每个sectionobj中又有一个smartflowidlist数组。当我们需要查询那些在任意层级的smartflowidlist中包含至少一个元素的文档时，常规的$elemmatch或点运算符可能难以直接满足需求，尤其是在不确定具体索引的情况下。
理解问题场景
假设我们有如下结构的MongoDB文档：
{
"sections": [
{
"desc": "no flow ID",
"sectionObj": [
{
"smartFlowIdList": []
}
]
},
{
"desc": "has flow ID",
"sectionObj": [
{
"smartFlowIdList": [
"smartFlowId1",
"smartFlowId2"
]
}
]
}
]
}我们的目标是查询所有文档，判断其中是否存在任意一个sections元素下的sectionObj元素中的smartFlowIdList数组包含至少一个元素（即非空）。对于上述示例文档，由于第二个section中的smartFlowIdList包含了两个元素，因此该文档应该被匹配。
解决方案：利用聚合管道进行深度查询
MongoDB的聚合管道（Aggregation Pipeline）是处理复杂查询和数据转换的强大工具。对于这种多层嵌套数组的查询，我们可以利用$map、$reduce、$size和$sum等操作符，结合$expr和$match阶段来高效地实现。
核心思路是：
- 遍历最外层的sections数组。
- 对于每个section，再遍历其内部的sectionObj数组。
- 对于每个sectionObj，获取其smartFlowIdList数组的长度。
- 将所有smartFlowIdList的长度累加起来，得到一个总数。
- 最后，判断这个总数是否大于0。如果大于0，则说明至少有一个smartFlowIdList是非空的。
下面是实现此逻辑的聚合管道代码：
db.collection.aggregate([
{
$match: {
$expr: {
$gt: [
{
$sum: {
$map: {
input: "$sections",
as: "external",
in: {
$sum: [
{
$reduce: {
input: "$$external.sectionObj",
initialValue: 0,
in: { $sum: ["$$value", { $size: "$$this.smartFlowIdList" }] }
}
}
]
}
}
}
},
0
]
}
}
}
])代码解析
- $match 阶段: 这是聚合管道的第一个阶段，用于过滤文档。在这里，我们使用$expr来执行复杂的条件判断。
- $expr 操作符: 允许在$match阶段中使用聚合表达式。这使得我们可以在查询条件中执行数据转换和计算。
- $gt 操作符: 比较操作符，用于判断其第一个参数是否大于第二个参数。在这里，我们判断计算出的总和是否大于0。
- $sum (外部): 用于对$map操作的结果进行求和。$map为sections数组的每个元素生成一个值，这些值（每个section内部所有smartFlowIdList的总长度）需要被再次求和。
-
$map 操作符:
- input: "$sections": 指定要迭代的数组字段，即文档中的sections数组。
- as: "external": 为sections数组中的每个元素设置一个别名，以便在in表达式中引用。
- in: { ... }: 定义对每个sections元素执行的操作。这里，它包含另一个$sum和$reduce操作。
- $sum (内部): 这是一个冗余的$sum，在当前场景下，$reduce的结果直接作为$map的in表达式值即可，无需再套一层$sum。但在某些复杂场景下，如果in表达式需要计算多个值的和，它就会派上用场。
-
$reduce 操作符:
- input: "$$external.sectionObj": 指定要迭代的数组字段，即当前section元素下的sectionObj数组。$$external引用了$map中定义的别名。
- initialValue: 0: 设置累加器的初始值为0。
- in: { $sum: ["$$value", { $size: "$$this.smartFlowIdList" }] }: 这是$reduce的核心逻辑。
- $$value: 引用累加器的当前值。
- $$this: 引用sectionObj数组中的当前元素。
- $size: "$$this.smartFlowIdList": 获取当前sectionObj元素下smartFlowIdList数组的长度。
- $sum: ["$$value", ...]：将当前smartFlowIdList的长度加到累加器$$value上。
通过这样的管道，我们逐层深入，计算出文档中所有smartFlowIdList数组的元素总和。如果这个总和大于0，则表示至少有一个smartFlowIdList是非空的，该文档就会被$match阶段选中。
进一步思考与注意事项
- 性能考量: 对于包含大量文档或非常大的嵌套数组的集合，这种深度遍历和计算可能会消耗较多的计算资源。如果查询频率很高，应考虑是否能通过调整数据模型来简化查询，例如在父文档中维护一个表示子数组是否非空的布尔字段，并在子数组更新时同步更新该字段。
- 索引: 聚合管道中的$expr操作通常无法有效利用常规索引，因为它需要在运行时计算表达式。
- 检查特定值: 如果需求是检查smartFlowIdList中是否包含一个特定的flowId（例如"smartFlowId1"），则需要对$reduce的in表达式进行修改，或者引入$unwind和$filter等操作符。例如，可以在$reduce内部使用$filter来过滤出包含特定值的列表，然后检查其$size。
- $unwind 的替代: 在某些情况下，可以使用$unwind来“展平”数组，但对于多层嵌套数组，$unwind会导致文档数量急剧增加，从而影响性能。$map和$reduce在不展平文档的情况下进行计算，通常更适用于此类计数或聚合场景。
总结
MongoDB的聚合管道为处理复杂的嵌套数组查询提供了强大的灵活性。通过巧妙地组合$map、$reduce、$size和$expr等操作符，我们能够有效地判断深度嵌套数组中是否存在非空列表，从而满足多样化的业务需求。在设计此类查询时，务必权衡其性能开销，并在必要时考虑数据模型的优化。
