热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

解析JSON格式文本并处理数据

本文介绍如何使用阿里云的fastjson库解析包含时间戳、IP地址和参数等信息的JSON格式文本,并进行数据处理和保存。
在处理日志文件时,我们经常遇到包含复杂嵌套结构的JSON格式文本。这些文本通常包括时间戳、IP地址、设备信息和其他参数。为了有效地解析和处理这类数据,我们可以使用阿里云提供的fastjson库。

### 示例JSON文本
以下是一个典型的日志条目示例:
```json
2017-02-15T18:00:00.001Z-{
"visitTime": "1487152800001",
"ip": "xx.xxx.xxx.xxx",
"params": "{\"encode\":\"utf-8\",\"xxx\":\"0.0\",\"xxxx\":\"6869679\",\"resType\":\"json\",\"ak\":\"xxxxxxxxxxxxxxxxxxxxxxx\",\"xxx\":\"98\",\"uri\":\"/xx/xxx\",\"out_coord_type\":\"xxx\",\"coord_type\":\"xxxx\",\"domain\":null,\"location\":\"xxxx,xxxxx\",\"enc\":\"utf-8\",\"pois\":\"1\"}",
"device": "xxxxxx",
"sid": "xxxx"
}
```

### 代码实现
下面的代码展示了如何使用fastjson库解析上述JSON格式的日志文件,并提取关键信息进行处理和保存。

```java
package com.entity;

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;
import java.math.BigDecimal;
import java.text.DecimalFormat;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;

public class ReadAndWrite {
public static void main(String[] args) {
excute("F:\\xxxx.log");
}

public static void excute(String path) {
File file = new File(path);
BufferedReader reader = null;
try {
reader = new BufferedReader(new FileReader(file));
String tempString;
while ((tempString = reader.readLine()) != null) {
JSONObject parseObject = JSON.parseObject(tempString);
String params = parseObject.getString("params");
JSONObject parseObject2 = JSON.parseObject(params);

// 获取车辆ID
String carID;
if (parseObject2.get("vhcid") == null) {
String ip = parseObject.getString("ip");
String carID1 = MD5Utils.md5(ip).substring(0, 5);
int parseInt = Integer.parseInt(carID1, 16) + 10000000;
carID = String.valueOf(parseInt);
} else {
carID = parseObject2.getString("vhcid");
}

// 获取定位时间
long visitTime = Long.parseLong(parseObject.getString("visitTime")) / 1000;
String UTC = String.valueOf(visitTime);

// 获取经纬度
String du;
if (parseObject2.containsKey("location")) {
String location = parseObject2.getString("location");
String[] split = location.split(",");
BigDecimal bd = new BigDecimal(split[0]).multiply(BigDecimal.TEN.pow(5));
BigDecimal bd1 = new BigDecimal(split[1]).multiply(BigDecimal.TEN.pow(5));
DecimalFormat dcmFmt = new DecimalFormat("0.0");
du = dcmFmt.format(bd).substring(0, dcmFmt.format(bd).length() - 2) + "," + dcmFmt.format(bd1).substring(0, dcmFmt.format(bd1).length() - 2);
} else if (parseObject2.containsKey("coords")) {
String coords = parseObject2.getString("coords");
String[] split = coords.split(",");
BigDecimal bd = new BigDecimal(split[0]).multiply(BigDecimal.TEN.pow(5));
BigDecimal bd1 = new BigDecimal(split[1]).multiply(BigDecimal.TEN.pow(5));
DecimalFormat dcmFmt = new DecimalFormat("0.0");
du = dcmFmt.format(bd).substring(0, dcmFmt.format(bd).length() - 2) + "," + dcmFmt.format(bd1).substring(0, dcmFmt.format(bd1).length() - 2);
} else {
du = "00000000,00000000";
}

// 获取速度
String speed = parseObject2.containsKey("speed") ? String.valueOf((int) Double.parseDouble(parseObject2.getString("speed"))) : "0";

// 获取方向
String head = parseObject2.containsKey("direction") ? String.valueOf((int) Double.parseDouble(parseObject2.getString("direction"))) : (parseObject2.containsKey("dir") ? String.valueOf((int) Double.parseDouble(parseObject2.getString("dir"))) : "0");

// 设置状态和接收时间
String status = "1";
String time = UTC;

// 拼接字符串并写入文件
if (!du.equals("00000000,00000000")) {
StringBuilder sb = new StringBuilder();
sb.append(carID).append(",").append(UTC).append(",").append(du).append(",").append(speed).append(",").append(head).append(",").append(status).append(",").append(time);
String message = sb.toString();
try (BufferedWriter bw = new BufferedWriter(new FileWriter("F:\\mspVisitLog20170223.txt", true))) {
bw.write(message + "\r\n");
}
}
}
} catch (IOException e) {
e.printStackTrace();
} finally {
if (reader != null) {
try {
reader.close();
} catch (IOException e1) {
e1.printStackTrace();
}
}
}
}
}
```

此代码片段实现了对日志文件中每一行JSON数据的解析,提取了必要的字段(如时间戳、IP地址、经纬度等),并对这些数据进行了进一步处理,最终将处理后的结果写入新的文件中。
推荐阅读
  • 本题探讨如何通过最大流算法解决农场排水系统的设计问题。题目要求计算从水源点到汇合点的最大水流速率,使用经典的EK(Edmonds-Karp)和Dinic算法进行求解。 ... [详细]
  • 本文详细介绍了Java中org.w3c.dom.Text类的splitText()方法,通过多个代码示例展示了其实际应用。该方法用于将文本节点在指定位置拆分为两个节点,并保持在文档树中。 ... [详细]
  • 优化局域网SSH连接延迟问题的解决方案
    本文介绍了解决局域网内SSH连接到服务器时出现长时间等待问题的方法。通过调整配置和优化网络设置,可以显著缩短SSH连接的时间。 ... [详细]
  • 本题探讨了在一个有向图中,如何根据特定规则将城市划分为若干个区域,使得每个区域内的城市之间能够相互到达,并且划分的区域数量最少。题目提供了时间限制和内存限制,要求在给定的城市和道路信息下,计算出最少需要划分的区域数量。 ... [详细]
  • 本文探讨了如何在Classic ASP中实现与PHP的hash_hmac('SHA256', $message, pack('H*', $secret))函数等效的哈希生成方法。通过分析不同实现方式及其产生的差异,提供了一种使用Microsoft .NET Framework的解决方案。 ... [详细]
  • 本文介绍如何使用 NSTimer 实现倒计时功能,详细讲解了初始化方法、参数配置以及具体实现步骤。通过示例代码展示如何创建和管理定时器,确保在指定时间间隔内执行特定任务。 ... [详细]
  • andr ... [详细]
  • 本文介绍如何使用Python进行文本处理,包括分词和生成词云图。通过整合多个文本文件、去除停用词并生成词云图,展示文本数据的可视化分析方法。 ... [详细]
  • 反向投影技术主要用于在大型输入图像中定位特定的小型模板图像。通过直方图对比,它能够识别出最匹配的区域或点,从而确定模板图像在输入图像中的位置。 ... [详细]
  • 本文介绍了如何在 Node.js 中使用 `setDefaultEncoding` 方法为可写流设置默认编码,并提供了详细的语法说明和示例代码。 ... [详细]
  • 解决JAX-WS动态客户端工厂弃用问题并迁移到XFire
    在处理Java项目中的JAR包冲突时,我们遇到了JaxWsDynamicClientFactory被弃用的问题,并成功将其迁移到org.codehaus.xfire.client。本文详细介绍了这一过程及解决方案。 ... [详细]
  • 使用GDI的一些AIP函数我们可以轻易的绘制出简 ... [详细]
  • 本文探讨了如何在 PHP 的 Eloquent ORM 中实现数据表之间的关联查询,并通过具体示例详细解释了如何将关联数据嵌入到查询结果中。这不仅提高了数据查询的效率,还简化了代码逻辑。 ... [详细]
  • 采用IKE方式建立IPsec安全隧道
    一、【组网和实验环境】按如上的接口ip先作配置,再作ipsec的相关配置,配置文本见文章最后本文实验采用的交换机是H3C模拟器,下载地址如 ... [详细]
  • 探讨ChatGPT在法律和版权方面的潜在风险及影响,分析其作为内容创造工具的合法性和合规性。 ... [详细]
author-avatar
mobiledu2502884963
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有