解析JSON格式文本并处理数据
作者:mobiledu2502884963 | 来源:互联网 | 2024-12-26 16:06
本文介绍如何使用阿里云的fastjson库解析包含时间戳、IP地址和参数等信息的JSON格式文本,并进行数据处理和保存。
在处理日志文件时,我们经常遇到包含复杂嵌套结构的JSON格式文本。这些文本通常包括时间戳、IP地址、设备信息和其他参数。为了有效地解析和处理这类数据,我们可以使用阿里云提供的fastjson库。
### 示例JSON文本
以下是一个典型的日志条目示例:
```json
2017-02-15T18:00:00.001Z-{
"visitTime": "1487152800001",
"ip": "xx.xxx.xxx.xxx",
"params": "{\"encode\":\"utf-8\",\"xxx\":\"0.0\",\"xxxx\":\"6869679\",\"resType\":\"json\",\"ak\":\"xxxxxxxxxxxxxxxxxxxxxxx\",\"xxx\":\"98\",\"uri\":\"/xx/xxx\",\"out_coord_type\":\"xxx\",\"coord_type\":\"xxxx\",\"domain\":null,\"location\":\"xxxx,xxxxx\",\"enc\":\"utf-8\",\"pois\":\"1\"}",
"device": "xxxxxx",
"sid": "xxxx"
}
```
### 代码实现
下面的代码展示了如何使用fastjson库解析上述JSON格式的日志文件,并提取关键信息进行处理和保存。
```java
package com.entity;
import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;
import java.math.BigDecimal;
import java.text.DecimalFormat;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
public class ReadAndWrite {
public static void main(String[] args) {
excute("F:\\xxxx.log");
}
public static void excute(String path) {
File file = new File(path);
BufferedReader reader = null;
try {
reader = new BufferedReader(new FileReader(file));
String tempString;
while ((tempString = reader.readLine()) != null) {
JSONObject parseObject = JSON.parseObject(tempString);
String params = parseObject.getString("params");
JSONObject parseObject2 = JSON.parseObject(params);
// 获取车辆ID
String carID;
if (parseObject2.get("vhcid") == null) {
String ip = parseObject.getString("ip");
String carID1 = MD5Utils.md5(ip).substring(0, 5);
int parseInt = Integer.parseInt(carID1, 16) + 10000000;
carID = String.valueOf(parseInt);
} else {
carID = parseObject2.getString("vhcid");
}
// 获取定位时间
long visitTime = Long.parseLong(parseObject.getString("visitTime")) / 1000;
String UTC = String.valueOf(visitTime);
// 获取经纬度
String du;
if (parseObject2.containsKey("location")) {
String location = parseObject2.getString("location");
String[] split = location.split(",");
BigDecimal bd = new BigDecimal(split[0]).multiply(BigDecimal.TEN.pow(5));
BigDecimal bd1 = new BigDecimal(split[1]).multiply(BigDecimal.TEN.pow(5));
DecimalFormat dcmFmt = new DecimalFormat("0.0");
du = dcmFmt.format(bd).substring(0, dcmFmt.format(bd).length() - 2) + "," + dcmFmt.format(bd1).substring(0, dcmFmt.format(bd1).length() - 2);
} else if (parseObject2.containsKey("coords")) {
String coords = parseObject2.getString("coords");
String[] split = coords.split(",");
BigDecimal bd = new BigDecimal(split[0]).multiply(BigDecimal.TEN.pow(5));
BigDecimal bd1 = new BigDecimal(split[1]).multiply(BigDecimal.TEN.pow(5));
DecimalFormat dcmFmt = new DecimalFormat("0.0");
du = dcmFmt.format(bd).substring(0, dcmFmt.format(bd).length() - 2) + "," + dcmFmt.format(bd1).substring(0, dcmFmt.format(bd1).length() - 2);
} else {
du = "00000000,00000000";
}
// 获取速度
String speed = parseObject2.containsKey("speed") ? String.valueOf((int) Double.parseDouble(parseObject2.getString("speed"))) : "0";
// 获取方向
String head = parseObject2.containsKey("direction") ? String.valueOf((int) Double.parseDouble(parseObject2.getString("direction"))) : (parseObject2.containsKey("dir") ? String.valueOf((int) Double.parseDouble(parseObject2.getString("dir"))) : "0");
// 设置状态和接收时间
String status = "1";
String time = UTC;
// 拼接字符串并写入文件
if (!du.equals("00000000,00000000")) {
StringBuilder sb = new StringBuilder();
sb.append(carID).append(",").append(UTC).append(",").append(du).append(",").append(speed).append(",").append(head).append(",").append(status).append(",").append(time);
String message = sb.toString();
try (BufferedWriter bw = new BufferedWriter(new FileWriter("F:\\mspVisitLog20170223.txt", true))) {
bw.write(message + "\r\n");
}
}
}
} catch (IOException e) {
e.printStackTrace();
} finally {
if (reader != null) {
try {
reader.close();
} catch (IOException e1) {
e1.printStackTrace();
}
}
}
}
}
```
此代码片段实现了对日志文件中每一行JSON数据的解析,提取了必要的字段(如时间戳、IP地址、经纬度等),并对这些数据进行了进一步处理,最终将处理后的结果写入新的文件中。
推荐阅读
-
本题探讨如何通过最大流算法解决农场排水系统的设计问题。题目要求计算从水源点到汇合点的最大水流速率,使用经典的EK(Edmonds-Karp)和Dinic算法进行求解。 ...
[详细]
蜡笔小新 2024-12-25 17:47:23
-
本文详细介绍了Java中org.w3c.dom.Text类的splitText()方法,通过多个代码示例展示了其实际应用。该方法用于将文本节点在指定位置拆分为两个节点,并保持在文档树中。 ...
[详细]
蜡笔小新 2024-12-26 18:31:42
-
-
本文介绍了解决局域网内SSH连接到服务器时出现长时间等待问题的方法。通过调整配置和优化网络设置,可以显著缩短SSH连接的时间。 ...
[详细]
蜡笔小新 2024-12-25 11:31:48
-
本题探讨了在一个有向图中,如何根据特定规则将城市划分为若干个区域,使得每个区域内的城市之间能够相互到达,并且划分的区域数量最少。题目提供了时间限制和内存限制,要求在给定的城市和道路信息下,计算出最少需要划分的区域数量。 ...
[详细]
蜡笔小新 2024-12-23 18:42:12
-
本文探讨了如何在Classic ASP中实现与PHP的hash_hmac('SHA256', $message, pack('H*', $secret))函数等效的哈希生成方法。通过分析不同实现方式及其产生的差异,提供了一种使用Microsoft .NET Framework的解决方案。 ...
[详细]
蜡笔小新 2024-12-21 10:38:09
-
本文介绍如何使用 NSTimer 实现倒计时功能,详细讲解了初始化方法、参数配置以及具体实现步骤。通过示例代码展示如何创建和管理定时器,确保在指定时间间隔内执行特定任务。 ...
[详细]
蜡笔小新 2024-12-26 19:08:19
-
蜡笔小新 2024-12-26 13:29:32
-
本文介绍如何使用Python进行文本处理,包括分词和生成词云图。通过整合多个文本文件、去除停用词并生成词云图,展示文本数据的可视化分析方法。 ...
[详细]
蜡笔小新 2024-12-26 08:37:18
-
反向投影技术主要用于在大型输入图像中定位特定的小型模板图像。通过直方图对比,它能够识别出最匹配的区域或点,从而确定模板图像在输入图像中的位置。 ...
[详细]
蜡笔小新 2024-12-23 12:24:22
-
本文介绍了如何在 Node.js 中使用 `setDefaultEncoding` 方法为可写流设置默认编码,并提供了详细的语法说明和示例代码。 ...
[详细]
蜡笔小新 2024-12-22 10:44:58
-
在处理Java项目中的JAR包冲突时,我们遇到了JaxWsDynamicClientFactory被弃用的问题,并成功将其迁移到org.codehaus.xfire.client。本文详细介绍了这一过程及解决方案。 ...
[详细]
蜡笔小新 2024-12-25 18:48:34
-
使用GDI的一些AIP函数我们可以轻易的绘制出简 ...
[详细]
蜡笔小新 2024-12-25 18:23:37
-
本文探讨了如何在 PHP 的 Eloquent ORM 中实现数据表之间的关联查询,并通过具体示例详细解释了如何将关联数据嵌入到查询结果中。这不仅提高了数据查询的效率,还简化了代码逻辑。 ...
[详细]
蜡笔小新 2024-12-25 18:14:14
-
一、【组网和实验环境】按如上的接口ip先作配置,再作ipsec的相关配置,配置文本见文章最后本文实验采用的交换机是H3C模拟器,下载地址如 ...
[详细]
蜡笔小新 2024-12-22 20:24:15
-
探讨ChatGPT在法律和版权方面的潜在风险及影响,分析其作为内容创造工具的合法性和合规性。 ...
[详细]
蜡笔小新 2024-12-21 10:13:36
-
mobiledu2502884963
这个家伙很懒,什么也没留下!