
1. 问题背景与传统方法的局限性
在数据处理场景中,我们经常会遇到需要同步或合并来自不同数据源的 json 数据。例如,给定两个 jsonarray:http 和 websocketjsonarray,它们都包含一系列 jsonobject。我们的目标是,如果 websocketjsonarray 中的某个对象与 http 数组中的某个对象在 userid 和 scripcode 字段上完全匹配,则将 websocketjsonarray 中该对象的特定字段(如 bfqty)的值更新到 http 数组中对应的对象上。
传统的实现方式通常涉及嵌套循环:遍历 websocketjsonArray,在内部循环遍历 http 数组,然后使用 if 条件判断 userid 和 scripcode 是否匹配。一旦匹配成功,就手动从源对象获取值并更新目标对象。这种方法虽然直观,但存在以下局限性:
- 效率低下:对于大型 JSON 数组,嵌套循环的时间复杂度为 O(N*M),其中 N 和 M 分别是两个数组的长度,这会导致性能瓶颈。
- 代码冗余:手动的数据查找、比较和更新逻辑会使代码变得冗长且难以维护。
- 易出错:在复杂的条件判断和数据类型转换中,容易引入逻辑错误。
2. 引入 Josson 库:高效的 JSON 数据操作利器
为了解决上述问题,我们可以利用 Josson 和 Jossons 库。Josson 是一个强大的 Java JSON 处理器,它提供了一种类似 SQL 的查询语言来操作 JSON 数据,包括数据选择、过滤、转换和连接等。Jossons 则是 Josson 的一个扩展,支持多数据集操作,非常适合我们当前的需求。
2.1 添加 Josson 依赖
在使用 Josson 之前,需要将其添加到项目的 pom.xml(Maven)或 build.gradle(Gradle)文件中。
Maven:
立即学习“Java免费学习笔记(深入)”;
com.github.octomix.josson josson 1.4.1
Gradle:
implementation 'com.github.octomix.josson:josson:1.4.1' // 请使用最新版本
2.2 数据准备与数据集注册
首先,我们需要将原始的 JSON 字符串解析成 Josson 对象,并通过 Jossons 注册为命名数据集。这使得我们可以在查询中通过名称引用它们。
Metafox 是一个企业内容管理系统,使用一个特别的模板系统,你可通过一些特定的设计和代码来轻松创建 Web 网站,内容存储在 SQL 关系数据库,通过 Web 进行管理,简单、快速而且高效。 Metafox 0.9.1 发布,该版本改用一种更棒的 URL 风格,实现了 RSS 源(可包含远端网站内容到 Metafox 段中),重定向老的访问密钥到新的密钥,增加 RotateAntispam 技
import com.fasterxml.jackson.databind.JsonNode;
import com.octomix.josson.Josson;
import com.octomix.josson.Jossons;
public class JsonArrayUpdater {
public static void main(String[] args) {
try {
// 原始 HTTP 数据
String httpJsonString = "[{\"userid\":\"CNRM04\",\"groupname\":\"Rohit\",\"segment\":\"CosPROFIN\",\"accountcode\":\"OWN\",\"symbol\":\"NIFTY\",\"exchange\":\"NSEFO\",\"expirydate\":\"03NOV2022\",\"scripcode\":\"38021\",\"securitytype\":\"OPT\",\"strikeprice\":17700,\"opttype\":\"PE\",\"bfqty\":-1500,\"bfrate\":122.35,\"bfamt\":18352.5,\"buyqty\":0,\"sellqty\":0,\"netqty\":0,\"cfqty\":-150,\"cfamt\":18352.5,\"ltp\":0,\"grossmtm\":0,\"brokerageamt\":0,\"netmtm\":0,\"currency\":\"INR\",\"usdrate\":1,\"clientsharing\":0,\"broksharing\":0,\"comsharing\":100,\"multiplier\":1},{\"userid\":\"CNRM04\",\"groupname\":\"Rohit\",\"segment\":\"CosPROFIN\",\"accountcode\":\"OWN\",\"symbol\":\"NIFTY\",\"exchange\":\"NSEFO\",\"expirydate\":\"03NOV2022\",\"scripcode\":\"38026\",\"securitytype\":\"OPT\",\"strikeprice\":17800,\"opttype\":\"PE\",\"bfqty\":0,\"bfrate\":0,\"bfamt\":0,\"buyqty\":10800,\"sellqty\":15000,\"netqty\":-4200,\"cfqty\":-4200,\"cfamt\":590729.9999999998,\"ltp\":0,\"grossmtm\":0,\"brokerageamt\":3400.2888479999992,\"netmtm\":0,\"currency\":\"INR\",\"usdrate\":1,\"clientsharing\":0,\"broksharing\":0,\"comsharing\":100,\"multiplier\":11},{\"userid\":\"CNC01\",\"groupname\":\"abhishek\",\"segment\":\"Cosmic\",\"accountcode\":\"APP\",\"symbol\":\"NIFTY\",\"exchange\":\"NSEFO\",\"expirydate\":\"03NOV2022\",\"scripcode\":\"40034\",\"securitytype\":\"OPT\",\"strikeprice\":1200,\"opttype\":\"PE\",\"bfqty\":12,\"bfrate\":2,\"bfamt\":0,\"buyqty\":100,\"sellqty\":121,\"netqty\":200,\"cfqty\":11,\"cfamt\":78,\"ltp\":9,\"grossmtm\":0,\"brokerageamt\":12222,\"netmtm\":45,\"currency\":\"INR\",\"usdrate\":2,\"clientsharing\":0,\"broksharing\":0,\"comsharing\":0,\"multiplier\":99}]";
// WebSocket 更新数据
String websocketJsonString = "[{\"userid\":\"CNRM04\",\"groupname\":\"Rohit\",\"segment\":\"CosPROFIN\",\"accountcode\":\"OWN\",\"symbol\":\"NIFTY\",\"exchange\":\"NSEFO\",\"expirydate\":\"03NOV2022\",\"scripcode\":\"38021\",\"securitytype\":\"OPT\",\"strikeprice\":17700,\"opttype\":\"PE\",\"bfqty\":20,\"bfrate\":122.35,\"bfamt\":18352.5,\"buyqty\":0,\"sellqty\":0,\"netqty\":0,\"cfqty\":-150,\"cfamt\":18352.5,\"ltp\":0,\"grossmtm\":0,\"brokerageamt\":0,\"netmtm\":0,\"currency\":\"INR\",\"usdrate\":1,\"clientsharing\":0,\"broksharing\":0,\"comsharing\":100,\"multiplier\":1},{\"userid\":\"CNRM04\",\"groupname\":\"Rohit\",\"segment\":\"CosPROFIN\",\"accountcode\":\"OWN\",\"symbol\":\"NIFTY\",\"exchange\":\"NSEFO\",\"expirydate\":\"03NOV2022\",\"scripcode\":\"38026\",\"securitytype\":\"OPT\",\"strikeprice\":17800,\"opttype\":\"PE\",\"bfqty\":30,\"bfrate\":0,\"bfamt\":0,\"buyqty\":10800,\"sellqty\":15000,\"netqty\":-4200,\"cfqty\":-4200,\"cfamt\":590729.9999999998,\"ltp\":0,\"grossmtm\":0,\"brokerageamt\":3400.2888479999992,\"netmtm\":0,\"currency\":\"INR\",\"usdrate\":1,\"clientsharing\":0,\"broksharing\":0,\"comsharing\":100,\"multiplier\":1}]]";
Jossons jossons = new Jossons();
jossons.putDataset("http", Josson.fromJsonString(httpJsonString));
jossons.putDataset("websocket", Josson.fromJsonString(websocketJsonString));
System.out.println("原始 http 数据:\n" + jossons.getDataset("http").toPrettyString());
System.out.println("原始 websocket 数据:\n" + jossons.getDataset("websocket").toPrettyString());
// ... 后续执行查询
} catch (Exception e) {
e.printStackTrace();
}
}
}2.3 执行数据合并与更新(左连接操作)
Josson 提供了强大的查询语法来实现数据连接和更新。在本例中,我们将使用左连接(
核心查询语句是: http{userid,scripcode} map(userid,scripcode,bfqty){userid,scripcode}
让我们分解这个查询:
- http{userid,scripcode}: 指定左侧数据集为 http,并且定义用于匹配的键是 userid 和 scripcode。
- websocket->map(userid,scripcode,bfqty){userid,scripcode}:
- websocket: 指定右侧数据集为 websocket。
- ->map(userid,scripcode,bfqty): 这是一个映射(map)操作,它从 websocket 数据集中为每个对象选择 userid, scripcode, bfqty 这三个字段。这意味着只有这些字段会被考虑用于更新。
- {userid,scripcode}: 指定右侧数据集用于匹配的键也是 userid 和 scripcode。
当查询执行时,Josson 会根据 userid 和 scripcode 将 http 中的对象与 websocket 中映射后的对象进行匹配。如果找到匹配,websocket 中 map 操作选取的字段(即 bfqty)的值将覆盖 http 中对应对象的 bfqty 值。
完整代码示例:
import com.fasterxml.jackson.databind.JsonNode;
import com.octomix.josson.Josson;
import com.octomix.josson.Jossons;
import org.json.JSONArray; // 引入 org.json.JSONArray 以匹配原始问题中的数据结构
public class JsonArrayUpdateExample {
// 假设这是您的Activity或主类
public static void main(String[] args) {
try {
// 原始 HTTP 数据,使用 org.json.JSONArray 兼容原始问题
JSONArray http = new JSONArray("[{\"userid\":\"CNRM04\",\"groupname\":\"Rohit\",\"segment\":\"CosPROFIN\",\"accountcode\":\"OWN\",\"symbol\":\"NIFTY\",\"exchange\":\"NSEFO\",\"expirydate\":\"03NOV2022\",\"scripcode\":\"38021\",\"securitytype\":\"OPT\",\"strikeprice\":17700,\"opttype\":\"PE\",\"bfqty\":-1500,\"bfrate\":122.35,\"bfamt\":18352.5,\"buyqty\":0,\"sellqty\":0,\"netqty\":0,\"cfqty\":-150,\"cfamt\":18352.5,\"ltp\":0,\"grossmtm\":0,\"brokerageamt\":0,\"netmtm\":0,\"currency\":\"INR\",\"usdrate\":1,\"clientsharing\":0,\"broksharing\":0,\"comsharing\":100,\"multiplier\":1},{\"userid\":\"CNRM04\",\"groupname\":\"Rohit\",\"segment\":\"CosPROFIN\",\"accountcode\":\"OWN\",\"symbol\":\"NIFTY\",\"exchange\":\"NSEFO\",\"expirydate\":\"03NOV2022\",\"scripcode\":\"38026\",\"securitytype\":\"OPT\",\"strikeprice\":17800,\"opttype\":\"PE\",\"bfqty\":0,\"bfrate\":0,\"bfamt\":0,\"buyqty\":10800,\"sellqty\":15000,\"netqty\":-4200,\"cfqty\":-4200,\"cfamt\":590729.9999999998,\"ltp\":0,\"grossmtm\":0,\"brokerageamt\":3400.2888479999992,\"netmtm\":0,\"currency\":\"INR\",\"usdrate\":1,\"clientsharing\":0,\"broksharing\":0,\"comsharing\":100,\"multiplier\":11},{\"userid\":\"CNC01\",\"groupname\":\"abhishek\",\"segment\":\"Cosmic\",\"accountcode\":\"APP\",\"symbol\":\"NIFTY\",\"exchange\":\"NSEFO\",\"expirydate\":\"03NOV2022\",\"scripcode\":\"40034\",\"securitytype\":\"OPT\",\"strikeprice\":1200,\"opttype\":\"PE\",\"bfqty\":12,\"bfrate\":2,\"bfamt\":0,\"buyqty\":100,\"sellqty\":121,\"netqty\":200,\"cfqty\":11,\"cfamt\":78,\"ltp\":9,\"grossmtm\":0,\"brokerageamt\":12222,\"netmtm\":45,\"currency\":\"INR\",\"usdrate\":2,\"clientsharing\":0,\"broksharing\":0,\"comsharing\":0,\"multiplier\":99}]");
// WebSocket 更新数据,使用 org.json.JSONArray 兼容原始问题
JSONArray websocketjsonArray = new JSONArray("[{\"userid\":\"CNRM04\",\"groupname\":\"Rohit\",\"segment\":\"CosPROFIN\",\"accountcode\":\"OWN\",\"symbol\":\"NIFTY\",\"exchange\":\"NSEFO\",\"expirydate\":\"03NOV2022\",\"scripcode\":\"38021\",\"securitytype\":\"OPT\",\"strikeprice\":17700,\"opttype\":\"PE\",\"bfqty\":20,\"bfrate\":122.35,\"bfamt\":18352.5,\"buyqty\":0,\"sellqty\":0,\"netqty\":0,\"cfqty\":-150,\"cfamt\":18352.5,\"ltp\":0,\"grossmtm\":0,\"brokerageamt\":0,\"netmtm\":0,\"currency\":\"INR\",\"usdrate\":1,\"clientsharing\":0,\"broksharing\":0,\"comsharing\":100,\"multiplier\":1},{\"userid\":\"CNRM04\",\"groupname\":\"Rohit\",\"segment\":\"CosPROFIN\",\"accountcode\":\"OWN\",\"symbol\":\"NIFTY\",\"exchange\":\"NSEFO\",\"expirydate\":\"03NOV2022\",\"scripcode\":\"38026\",\"securitytype\":\"OPT\",\"strikeprice\":17800,\"opttype\":\"PE\",\"bfqty\":30,\"bfrate\":0,\"bfamt\":0,\"buyqty\":10800,\"sellqty\":15000,\"netqty\":-4200,\"cfqty\":-4200,\"cfamt\":590729.9999999998,\"ltp\":0,\"grossmtm\":0,\"brokerageamt\":3400.2888479999992,\"netmtm\":0,\"currency\":\"INR\",\"usdrate\":1,\"clientsharing\":0,\"broksharing\":0,\"comsharing\":100,\"multiplier\":1}]]");
// 初始化 Jossons 实例
Jossons jossons = new Jossons();
// 将 JSONArray 转换为 Josson 对象并注册为数据集
// 注意:Josson.fromJsonString 接受 JSON 字符串,而不是 org.json.JSONArray 对象
jossons.putDataset("http", Josson.fromJsonString(http.toString()));
jossons.putDataset("websocket", Josson.fromJsonString(websocketjsonArray.toString()));
System.out.println("--- 原始数据 ---");
System.out.println("http:\n" + jossons.getDataset("http").toPrettyString());
System.out.println("websocket:\n" + jossons.getDataset("websocket").toPrettyString());
// 执行左连接更新操作
JsonNode updatedHttpNode = jossons.evaluateQuery(
"http{userid,scripcode} <=< websocket->map(userid,scripcode,bfqty){userid,scripcode}");
System.out.println("\n--- 更新后的数据 ---");
System.out.println(updatedHttpNode.toPrettyString());
} catch (Exception e) {
e.printStackTrace();
}
}
}2.4 预期输出
运行上述代码,您将看到 http 数组中 bfqty 字段的值根据 websocket 数组中的匹配项进行了更新:
[ {
"userid" : "CNRM04",
"groupname" : "Rohit",
"segment" : "CosPROFIN",
"accountcode" : "OWN",
"symbol" : "NIFTY",
"exchange" : "NSEFO",
"expirydate" : "03NOV2022",
"scripcode" : "38021",
"securitytype" : "OPT",
"strikeprice" : 17700,
"opttype" : "PE",
"bfqty" : 20,
"bfrate" : 122.35,
"bfamt" : 18352.5,
"buyqty" : 0,
"sellqty" : 0,
"netqty" : 0,
"cfqty" : -150,
"cfamt" : 18352.5,
"ltp" : 0,
"grossmtm" : 0,
"brokerageamt" : 0,
"netmtm" : 0,
"currency" : "INR",
"usdrate" : 1,
"clientsharing" : 0,
"broksharing" : 0,
"comsharing" : 100,
"multiplier" : 1
}, {
"userid" : "CNRM04",
"groupname" : "Rohit",
"segment" : "CosPROFIN",
"accountcode" : "OWN",
"symbol" : "NIFTY",
"exchange" : "NSEFO",
"expirydate" : "03NOV2022",
"scripcode" : "38026",
"securitytype" : "OPT",
"strikeprice" : 17800,
"opttype" : "PE",
"bfqty" : 30,
"bfrate" : 0,
"bfamt" : 0,
"buyqty" : 10800,
"sellqty" : 15000,
"netqty" : -4200,
"cfqty" : -4200,
"cfamt" : 590729.9999999998,
"ltp" : 0,
"grossmtm" : 0,
"brokerageamt" : 3400.2888479999992,
"netmtm" : 0,
"currency" : "









