linux新建文件夹_MLamp;DEV[6]|算法工程师Linux必知必会

【ML&DEV】

这是大家没有看过的船新栏目&＃xff01;ML表示机器学习&＃xff0c;DEV表示开发&＃xff0c;本专栏旨在为大家分享作为算法工程师的工作&＃xff0c;机器学习生态下的有关模型方法和技术&＃xff0c;从数据生产到模型部署维护监控全流程&＃xff0c;预备知识、理论、技术、经验等都会涉及&＃xff0c;近期内容以入门线路为主&＃xff0c;敬请期待&＃xff01;

往期回顾&＃xff1a;

• ML&DEV[1] | 机器学习数学基础入门线路

• ML&DEV[2] | 机器学习开发技能入门线路

• ML&DEV[3] | 机器学习入门线路

• ML&DEV[4] | 机器学习进阶线路

• ML&DEV[5] | 系统理解特征工程

算法工程师居然要会Linux&＃xff1f;

之前其实我也提到过算法工程师&＃xff0c;除了算法&＃xff0c;必须还有工程&＃xff0c;你的模型要给用户用&＃xff0c;要在线上跑&＃xff0c;那必须要打包发布&＃xff0c;放在服务器上&＃xff0c;而现在大多服务器用的都是Linux系统&＃xff0c;暂且不说是否需要深入了解Linux内部的内容&＃xff0c;就是简单常用的命令&＃xff0c;终究是需要了解的&＃xff0c;与Windows相对应的&＃xff0c;查看文件、新建文件夹、打开文件夹、删除文件等&＃xff0c;你都是要知道的&＃xff0c;近期进行了一轮简单的复习&＃xff0c;另外最近校招季&＃xff0c;很多求之说明都要求“会linux”&＃xff0c;其实我下面要谈的内容&＃xff0c;如果你都掌握&＃xff0c;那其实就能称为“会简单的linux”了。

当然的&＃xff0c;这里不包括所有&＃xff0c;只是部分&＃xff0c;也是最常用的部分&＃xff0c;按照28法则&＃xff0c;20%的内容其实已经能够覆盖80%的场景了&＃xff0c;剩下的&＃xff0c;其实可以自行查阅&＃xff0c;甚至可以开始自己编写一些shell脚本(可以理解为批量的linux命令执行)。

菜鸟教程提供的Linux命令大全&＃xff1a;https://www.runoob.com/linux/linux-command-manual.html

想要练习却苦于没有资源的&＃xff0c;两个方案&＃xff0c;mac的最简单了&＃xff0c;直接内置了相似的terminal&＃xff0c;而windows则可以安装虚拟机配置ubantu(linux的一个版本)&＃xff0c;同样在terminal中操作。

当然哈&＃xff0c;不会的同学看一遍估计也记不了&＃xff0c;且里面很多细节我都没有(文档之类的我觉得搬运过来真的没有太大意义额鹅鹅鹅&＃xff0c;大家相信我就多去查查文档&＃xff0c;会更好更详细)&＃xff0c;建议大家多尝试&＃xff0c;加上上面的命令大全多尝试&＃xff0c;这样才能真正熟练。

另外推荐两个有关linux的材料&＃xff0c;我自己本身也在看的&＃xff1a;

• 《Shell从入门到精通》&＃xff0c;清华大学出版社。

• 《鸟哥的Linux私房菜基础学习篇》&＃xff0c;人民邮电出版社。

文件和目录管理

文件和目录管理是操作系统里最基本的技能&＃xff0c;对windows、macOS、linux都是&＃xff0c;大概就是查看文件、增加删除文件之类的操作。

ls

ls用于查看核定目录下的内容(未指定则是当前目录&＃xff0c;当前目录是指你现在所能看到的那个目录&＃xff0c;路径可以用 pwd查看)&＃xff0c;但这个只能是简单看有什么文件和文件夹&＃xff0c;非常简单&＃xff1a;

$ ls

NLP_using sunday

delete_xcode.sh tc_server

learnNote

如果要看更多的详情&＃xff0c;可以尝试用同样常用的 ls-lah

ls -lah

total 64

drwxr-xr-x 17 chashao staff 544B 9 21 00:26 .

drwx------&＃43; 18 chashao staff 576B 9 13 12:49 ..

-rw-r--r--&＃64; 1 chashao staff 24K 7 16 20:00 .DS_Store

drwxr-xr-x 10 chashao staff 320B 11 17 2018 NLP_using

-rw-r--r-- 1 chashao staff 368B 4 14 17:16 delete_xcode.sh

drwxr-xr-x 12 chashao staff 384B 11 27 2018 learnNote

drwxr-xr-x 4 chashao staff 128B 11 30 2018 sunday

drwxr-xr-x 4 chashao staff 128B 4 13 11:32 tc_server

这里的 -lah实际上是一个配置项&＃xff0c;你还要展示什么内容可以配置&＃xff0c;具体还有很多配置项可以自己去尝试。

cd

cd非常简单&＃xff0c;就是转换当前目录&＃xff0c;首先当然可以配置绝对路径&＃xff0c;也可以用相对路径&＃xff0c; cd../就是到上一层目录&＃xff0c; cd../hello就是到上一层文件夹下的一个hello的文件夹中&＃xff0c;此处注意&＃xff0c;如果你写的路径不存在或者你最后用的是一个文件夹&＃xff0c;那会报错。

mkdir

mkdir新建文件夹&＃xff0c;空格以后跟文件夹名。

pwd

pwd刚才有提到过&＃xff0c;获取当前绝对路径。

rm

rm是指remove&＃xff0c;删除&＃xff0c;可以用 rm-r删除文件夹&＃xff0c;并且递归删除&＃xff0c;删除操作一律谨慎使用。

mv

mv是指move&＃xff0c;移动&＃xff0c;可以理解为windows的剪切粘贴&＃xff0c;后面有两个必要参数(当然两个必要参数前还需要有一个可选参数&＃xff0c;例如 -i和 -f)&＃xff0c;一个是你要移动的文件&＃xff0c;另一个是移动到的新的位置(如果是文件夹那就会放文件夹里面)。

find

find顾名思义就是查找的意思&＃xff0c;专业说法是指定目录找文件。具体公式是这样的(没有吧备选项放出)&＃xff1a;

find path -option

path是你要查找的路径&＃xff0c;-option是选项&＃xff0c;例如 -name就是根据名称来找。

touch

touch用的稍微少&＃xff0c;用于修改文件或者目录的时间属性&＃xff0c;包括存取时间和修改时间。

文件查看与编辑

看文件名肯定不够的&＃xff0c;肯定是要对文件进行修改。

wc

计算文档字数之类的值。

$ wc -c helloworld.txt # 字数

11 helloworld.txt

$wc -l helloworld.txt # 行数

1 helloworld.txt

head和tail

查看文件的前若干行或者后若干行(没有配置的话会有默认行数)&＃xff0c;可以用作数据探索。

cat和tac

这两个命令都是遍历一个文件的内容&＃xff0c;打印在linux界面&＃xff0c; cat是正向遍历&＃xff0c;后者是反向遍历。

nl

nl和cat类似的遍历&＃xff0c;但是会给打印的内容加上行号。

more和less

more和 less都是和cat遍历类似的遍历命令&＃xff0c;但是区别在于 more可以按照页展示&＃xff0c;空格下一页&＃xff0c;另外还有检索功能&＃xff1b;less会比more更为强大&＃xff0c;也有搜索等功能&＃xff0c;特别之处在于对上翻页和前向搜索更方便。

grep

grep是遍历文件中带有特定字段的内容&＃xff0c;例如我要找带有“深圳”的数据&＃xff0c;这可以帮我们过滤信息&＃xff0c;我在读取日志的时候很喜欢用&＃xff0c;日志的内容非常繁杂&＃xff0c;我根据日志中打的标签&＃xff0c;可以快速选择我需要关注的日志信息。

sed

平时用的不是很多&＃xff0c;但是用起来非常强大&＃xff0c;可以依照脚本指令编辑一个、多个文件。来举个栗子&＃xff0c;具体用法可以在文档里面查吧。

sed -e 4a\newline testfile #使用sed 在第四行后添加新字符串

表示在名为 testfile的第四行后添加一行&＃xff0c;内容是newline。

awk

功能很多很复杂&＃xff0c;但是感觉贼强。举个例子说明一下&＃xff0c;具体的使用还是建议大家自己过一遍。

下面是一个叫做 log.txt文档的内容

2 this is a test

3 Are you like awk

This&＃39;s a test

10 There are orange,apple,mongo

下面这个命令就表示提取这个文档里面第一列和第四列的内容(空格划分)。

awk &＃39;{print $1,$4}&＃39; log.txt

是不是觉得有点像sql的感觉&＃xff1f;反正就觉得很厉害哈哈哈。

stat

查看文件的一些细节情况&＃xff0c;大小、创建时间、权限之类的。

系统管理

top和ps

都是查看所有进程的状态&＃xff0c;包括其占用情况。但是 top是实时的监控&＃xff0c;打开界面的&＃xff0c; ps则是一个瞬时的&＃xff0c;例如我就是看看我的程序pid&＃xff0c;然后用来kill掉的。

vmstat

用于查看虚拟内存状态。这个命令我发现在有的系统里是失效的。

free

显示内存占用状态。这个命令我发现在有的系统里是失效的。

chown和chmod

chown是用户与用户组设置&＃xff0c; chmod是设置读、写、运行的权限。(作为小弟的我似乎没有什么机会用到&＃xff0c;自己平时操作就不需要分配&＃xff0c;团队里我是末尾也是用不到哈哈哈&＃xff0c;等用得到的那天再说)

nohup

在命令之前带这个玩意&＃xff0c;能让命令在后台一直运行(类似windows的最小化)。

disown

令已经在运行的进程&＃xff0c;不再受到用户退出限制。

远程连接

有关远程连接&＃xff0c;我觉得这个是linux很强大的技能&＃xff0c;在windows下&＃xff0c;其实没有很好的连接&＃xff0c;除非你有QQ微信网盘之类的&＃xff0c;但是linux之间的远程连接方法其实还不少。

ssh

这是一种制定的建立在应用层基础上的安全网络协议&＃xff0c;甚至可以和windows产生联系&＃xff0c;所以就很厉害吧。坑有点深&＃xff0c;具体方法。有点复杂&＃xff0c;给一个链接大家自行体会一下&＃xff1a;https://blog.csdn.net/li528405176/article/details/82810342&＃xff0c;记住他是用户直接连接两个终端的。

scp和rsync

两个同步两个终端文件的操作&＃xff0c;说人话就是传文件。首先说两者的区别&＃xff0c;引用博客的一段话其实很清楚&＃xff1a;

sync和scp在文件夹均不存在时&＃xff0c;执行时间相差不大&＃xff0c;但是文件夹存在的情况下差异很大。原因是scp是复制&＃xff1a;若mas2文件不存在则新建&＃xff0c;若存在则覆盖&＃xff0c;若mas2上有而Dashboard主机没有&＃xff0c;则不改变。可以理解为scp为“复制”。而rsync则在文件在存在于两主机时&＃xff0c;比较两文件是够相同&＃xff0c;相同的话&＃xff0c;就什么都不做&＃xff0c;若存在差异就直接更新。———————————————— 版权声明&＃xff1a;本文为CSDN博主「lixwcqs」的原创文章&＃xff0c;遵循 CC 4.0 BY-SA 版权协议&＃xff0c;转载请附上原文出处链接及本声明。原文链接&＃xff1a;https://blog.csdn.net/lixwjava/article/details/50421431

从本地到远程&＃xff0c;有下面4种形式&＃xff1a;

scp local_file remote_username&＃64;remote_ip:remote_folder

scp local_file remote_username&＃64;remote_ip:remote_file

scp local_file remote_ip:remote_folder

scp local_file remote_ip:remote_file

从远程到本地&＃xff0c;2中&＃xff1a;

scp -r local_folder remote_username&＃64;remote_ip:remote_folder

scp -r local_folder remote_ip:remote_folder

其他

首先是标准输入和标准输出。

另外还有几个很重要的且不能不提的东西&＃xff0c;放在这里。大家根据我给的一些资源整理阅读学习。

首先是标准输入和标准输出&＃xff1a;

https://blog.csdn.net/wang10051225/article/details/82157089

还有一个需要提到的是管道。

https://www.jianshu.com/p/9c0c2b57cb73

vim是linux下最具代表性的文档编辑器。这个需要记住的细节非常多&＃xff0c;尝试自己用这个玩意做一段时间开发&＃xff0c;自然会熟悉。

https://www.runoob.com/linux/linux-vim.html

git是代码管理的基本命令&＃xff0c;有个非常傻瓜的教程&＃xff0c;大家可以看看&＃xff1a;

https://www.bootcss.com/p/git-guide/

crontab是一个linux的定时任务工具&＃xff0c;给定时间&＃xff0c;他会定时去执行任务&＃xff0c;具体的使用可以参照这个&＃xff1a;

https://www.runoob.com/linux/linux-comm-crontab.html

补充

上面内容只是很简单的一块吧&＃xff0c;有了上面的内容&＃xff0c;你就可以进行简单的linux操作了&＃xff0c;但是还会有很长的一条路要走&＃xff0c;例如写shell脚本(例如条件、循环语句、变量之类的)、和多语言协同合作(例如大家熟悉的python等)&＃xff0c;这个就需要多实践和练习。