热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

执行速度慢的问题:用shell处理上MB的文件

文章标题:执行速度慢的问题:用shell处理上MB的文件。Linux是中国IT实验室的一个技术频道。包含桌面应用,Linux系统管理,内核研究,嵌入式系统和开源等一些基本分类

  代码:

  #!/bin/bash

  while IFS=',' read things_before date_string things_after;do

  #remove double quote

  date_string=$(echo $date_string | sed 's/\"//g')

  #parse eache field

  year=${date_string:0:4}

  mOnth=${date_string:4:2}

  day=${date_string:6:2}

  hour=${date_string:8:2}

  minute=${date_string:10:2}

  secOnd=${date_string:12:2}

  millisecOnd=${date_string:14}

  millisecOnd=$(printf "%06d" $millisecond)

  echo -n $things_before

  echo -n ',"'

  echo -n "$year-$month-$day $hour:$minute:$second.$millisecond"

  echo -n '",'

  echo $things_after

  done这段代码在处理一百多K的文件还行,但是一上兆级的话,处理起来非常非常慢。各位给看看是否可以优化,哪里不太合理啊?谢谢了


推荐阅读
  • 解决Linux history命令不记录执行时间的方法
    本文探讨了如何通过配置环境变量来使Linux系统中的history命令记录每条命令的执行时间,包括具体的配置步骤和效果展示。 ... [详细]
  • 随着技术社区的发展,越来越多的技术爱好者选择通过撰写博客来分享自己的学习经验和项目进展。本文将介绍一个具体案例,即将一套原本运行于Windows平台的代码成功移植到Linux(Redhat)环境下的过程与挑战。 ... [详细]
  • Python编码入门指南
    本文探讨了使用Python进行网络设备连通性测试的简便性,特别是针对IP地址范围为192.168.0.101至192.168.0.200的设备。通过比较Python与Shell、Java等语言,展示了Python在执行此类任务时的优势。 ... [详细]
  • 本文档详细介绍了在 Kubernetes 集群中部署 ETCD 数据库的过程,包括实验环境的准备、ETCD 证书的生成及配置、以及集群的启动与健康检查等关键步骤。 ... [详细]
  • 本文探讨了如何使用ls -lsh命令排除总大小输出,仅显示文件大小的方法,并提供了几种实现这一目标的解决方案。 ... [详细]
  • Linux系统中,文件权限不仅限于常见的777、666等数值表示,还包括特殊的权限位如setuid、setgid和sticky bit,这些权限位能够赋予文件或目录额外的功能,增强系统的灵活性和安全性。 ... [详细]
  • 本文详细介绍了如何在Linux系统中安装和配置GitLab Runner,包括添加YUM源、安装GitLab Runner以及注册Runner的具体步骤。 ... [详细]
  • 本文介绍如何在Ubuntu操作系统中为DELL Latitude系列笔记本配置触摸板的自定义快捷键。此方法不仅适用于DELL品牌,其他品牌的笔记本也可能适用。通过编写简单的脚本,用户可以实现触摸板的快速开关。 ... [详细]
  • 在尝试从一个包含多个文件路径的文本文件中筛选出.c、.cpp和.h文件时,遇到了bash环境下的语法错误。本文将探讨如何修正这一问题并成功执行命令。 ... [详细]
  • 了解如何快速搭建属于自己的个人博客,无需编程基础,适合Mac和Windows用户。通过本文,您将学会使用GitHub Pages和Hexo构建一个完全自主的在线空间。 ... [详细]
  • 本文基于《Linux命令行与Shell脚本编程大全》第三版的第十一章内容,探讨了如何构建基本的Shell脚本,包括命令组合、脚本创建、消息显示、变量使用、输入输出重定向、管道、数学运算及脚本退出等方面的知识。 ... [详细]
  • 个人用户可借鉴的企业级三大安全准则
    在数字时代,个人数据安全变得尤为重要。本文将探讨三个来自企业实践的安全原则,这些原则不仅适用于企业,也能帮助个人用户提升自身的信息安全防护水平。 ... [详细]
  • 本文详细探讨了在使用Python、uWSGI和nginx配置时遇到的权限问题,并提供了具体的解决方案。 ... [详细]
  • 深入理解Shell中的特殊流程控制语句
    本文将详细介绍Shell脚本中的特殊流程控制语句,包括exit、break和continue语句的使用方法及其应用场景,帮助读者更好地掌握这些控制结构,提高脚本编程的灵活性。 ... [详细]
  • 本文详细介绍了如何在Python环境中配置与Oracle数据库的连接,包括必要的软件安装和环境变量设置等步骤,旨在为初学者提供清晰的操作指南。 ... [详细]
author-avatar
mggwvga_84049035
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有