热门标签 | HotTags
当前位置:  开发笔记 > 运维 > 正文

linux–Uniqing是一个基于字段子集的分隔文件

我有如下数据:1493992429103289,207.55,207.51493992429103559,207.55,207.51493992429104353,207.55,2

我有如下数据:

1493992429103289,207.55,207.5
1493992429103559,207.55,207.5
1493992429104353,207.55,207.5
1493992429104491,207.6,207.55
1493992429110551,207.55,207.5

由于最后两列的性质,它们的值在一整天都在变化,它们的值会定期重复.通过对我所需输出(下面)中概述的方式进行分组,我可以在每次值发生变化时查看(第一列中的enoch时间).有没有办法实现下面显示的所需输出:

1493992429103289,207.55,207.5
1493992429104491,207.6,207.55
1493992429110551,207.55,207.5

所以我通过后两列整合数据.然而,整合并不是完全独特的(可以看出207.55,207.5重复)

我试过了:

uniq -f 1

但是,输出仅提供第一行,而不会通过列表继续

下面的awk解决方案不允许先前发生的事件再次输出,因此给出输出(在awk代码下面):

awk '!x[$2 $3]++'
1493992429103289,207.55,207.5
1493992429104491,207.6,207.55

我不希望通过后两列对数据进行排序.但是,由于第一个是纪元时间,因此可以按第一列进行排序.

解决方法:

你不能用uniq设置分隔符,它必须是空格.在tr的帮助下你可以

tr ',' ' ' 1493992429103289,207.55,207.5
1493992429104491,207.6,207.55
1493992429110551,207.55,207.5


推荐阅读
  • 本文探讨了如何使用ls -lsh命令排除总大小输出,仅显示文件大小的方法,并提供了几种实现这一目标的解决方案。 ... [详细]
  • grep、sed、awk一、grep的用法1、grep简介grep是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来。grep包 ... [详细]
  • 本文详细探讨了Linux系统中insmod与modprobe两种模块加载命令的主要区别及其具体应用场景,特别是在处理模块依赖关系和避免重复加载方面的作用。 ... [详细]
  • 本文详细介绍了在Linux操作系统中安装和配置虚拟机的方法,包括选择合适的虚拟机软件、安装过程及基本配置步骤。 ... [详细]
  • 本文介绍如何在Ubuntu环境下为OpenWrt系统构建并安装首个'Hello World'应用程序的IPK包。文章不仅涵盖了基本的环境搭建,还详细说明了代码编写、Makefile配置及最终的IPK包生成与安装过程。 ... [详细]
  • 本文探讨了在Unix/Linux环境下,如何有效地管理和运行长期或无限期运行的Python进程。文章不仅提供了关于进程崩溃后的处理方法,还讨论了使用Cron和Inetd等工具来优化进程管理的策略。 ... [详细]
  • 本文介绍了在Linux系统中常用的文本操作命令,包括文件查看、搜索和重定向等基本操作。通过这些命令,用户可以高效地管理文件内容。 ... [详细]
  • 本文探讨了a.out和ELF文件格式中魔数的历史背景及其在现代操作系统中的应用。参考资料包括《程序员的自我修养》第3.4章节以及多个在线资源。 ... [详细]
  • 探索Ubuntu One:Canonical推出的高效云服务
    Ubuntu One是由Ubuntu的操作系统提供商Canonical推出的一款综合性网络服务,旨在帮助用户存储、同步及分享文件。该服务不仅支持多种操作系统,还提供了丰富的功能以满足不同用户的需求。 ... [详细]
  • 头文件duye_epoll.h************************************************************************** ... [详细]
  • Linux中使用Shell脚本获取网络配置信息
    本文提供了一组Shell命令,用于在Linux系统中提取IP地址、子网掩码、MAC地址及默认网关等关键网络配置信息。 ... [详细]
  • Awk是一款功能强大的文本分析与处理工具,尤其在数据解析和报告生成方面表现突出。它通过读取由换行符分隔的记录,并按照指定的字段分隔符来划分和处理这些记录,从而实现复杂的数据操作。 ... [详细]
  • 如何从BAM文件绘制ATAC-seq插入片段长度分布图?
    在ATAC-seq数据处理中,插入片段长度的分布图是一个重要的质量控制指标,它能反映出核小体的周期性排列。本文将详细介绍如何从BAM文件中提取并绘制这些数据。 ... [详细]
  • 本文介绍了如何在不同操作系统上安装Git,以及一些基本和高级的Git操作,包括项目初始化、文件状态检查、版本控制、分支管理、标签处理、版本回退等,并简要提及了开源许可协议的选择。 ... [详细]
  • 本文详细介绍如何在华为鲲鹏平台上构建和使用适配ARM架构的Redis Docker镜像,解决常见错误并提供优化建议。 ... [详细]
author-avatar
濛宝贝儿
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有