热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

[置顶]最近和未来要做的事

前言自己在大学的时候就想把学的一些东西整合在一个项目里,对自己也好对别人也好,能用的直接复制过去用,一是对知识点的总结,二是为了不重复造轮子。但是苦于自己懒,慢慢的就忘掉了,前段时

前言

  自己在大学的时候就想把学的一些东西整合在一个项目里,对自己也好对别人也好,能用的直接复制过去用,一是对知识点的总结,二是为了不重复造轮子。但是苦于自己懒,慢慢的就忘掉了,前段时间不知道什么原因,突然想起了这件事,就在平时的业余时间整理了一下放在了Github上,如下
  

├── pom.xml
├── quick-batch
├── quick-crawler
├── quick-ElasticSearch
├── quick-idea
├── quick-img2txt
├── quick-modules
├── quick-multi-data
├── quick-mybatis
├── quick-package-assembly
├── quick-package-assembly-multi-env
├── quick-rabbitmq
├── quick-spark
├── quick-swagger
├── quick-thread
├── quick-tika
├── README.md
└── spring-boot-quick.iml

这里不仅有项目里用到的工具,还有自己平时学习的代码,也有一些娱乐的代码如,img2txt,总之,未来我会持续更新这个“项目”,希望大家拍砖和提出好的建议,我的原则是“交流,互助,提升”~。
以下是我的相关博客,有兴趣的可以去浏览浏览

  • GitHub https://github.com/vector4wang
  • CSDN http://blog.csdn.net/qqhjqs?viewmode=contents
  • 简书 http://www.jianshu.com/u/223a1314e818
  • BLOG http://vector4wang.tk

下面是各个的简介

介绍

quick-idea

  • 自己用idea的配置
  • ignore的模板

quick-crawler 平时的爬虫

  • 领英爬虫
  • 百度搜索领英种子url爬虫和”随机应变”(见博文)的处理方式

quick-swagger

  • web接口的规范化示例
  • 添加了当传递参数为对象时,如何使用swagger注解
  • 添加了当参数在路径上的配置

quick-thread

java线程池Executor的示例

quick-modules

springboot 模块化开发示例

quick-mybatis-druid

springboot整合mybatis和阿里云的druid监控功能

quick-spark

springboot整合spark示例

quick-package-assembly

maven打包示例包含jar的启动与停止脚本(简单粗暴,慎重考虑再使用)

quick-package-assembly-multi-env

程序 依赖包 分开化的多环境部署

quick-tika

apache的文本抽取开源框架,整合到springboot中

quick-ElasticSearch

关于es搜索的相关内容
现在在学习Elasticsearch+Logstash+Kibana(自己的笔记本太不给力了,跑个虚拟机,直接卡的动不了了) 后续会有相关博文、和代码示例~

quick-img2txt 图片与文字转换的程序示例

  • 文字转换成图片
  • 图片转换为txt,可作为一些程序启动的注释,如佛祖注释,spring启动注释,等等,可以根据你输入的图片制作(背景一定要为白色),如

前方预警!!!!

转换前
转换后
- 验证码识别 使用easyocr(项目地址)提供的api接口,可以识别验证码,这简直是小虫子的福利,就问你怕不怕!

quick-batch

spring下的批量处理大数据模块,这里是从mysql里读取然后再写入mysql中,可以借鉴下,来源https://github.com/geekyjaat/spring-batch

quick-rabbit

rabbit模块


(后面会持续更新)

温馨提示

  如果您自己想在本地跑一跑,可以将其checkout到本地,直接mvn clean install -U 就ok了,如果您只想运行某个模块,直接复制配置文件和代码就ok了,如果有对爬虫有相关业务上的需求或其他疑问请发邮件到vector4wang@qq.com

欢迎star和fork


推荐阅读
  • ElasticSerach初探第一篇认识ES+环境搭建+简单MySQL数据同步+SpringBoot整合ES
    一、认识ElasticSearch是一个基于Lucene的开源搜索引擎,通过简单的RESTfulAPI来隐藏Lucene的复杂性。全文搜索,分析系统&# ... [详细]
  • Skywalking系列博客1安装单机版 Skywalking的快速安装方法
    本文介绍了如何快速安装单机版的Skywalking,包括下载、环境需求和端口检查等步骤。同时提供了百度盘下载地址和查询端口是否被占用的命令。 ... [详细]
  • EPICS Archiver Appliance存储waveform记录的尝试及资源需求分析
    本文介绍了EPICS Archiver Appliance存储waveform记录的尝试过程,并分析了其所需的资源容量。通过解决错误提示和调整内存大小,成功存储了波形数据。然后,讨论了储存环逐束团信号的意义,以及通过记录多圈的束团信号进行参数分析的可能性。波形数据的存储需求巨大,每天需要近250G,一年需要90T。然而,储存环逐束团信号具有重要意义,可以揭示出每个束团的纵向振荡频率和模式。 ... [详细]
  • 本文介绍了一些好用的搜索引擎的替代品,包括网盘搜索工具、百度网盘搜索引擎等。同时还介绍了一些笑话大全、GIF笑话图片、动态图等资源的搜索引擎。此外,还推荐了一些迅雷快传搜索和360云盘资源搜索的网盘搜索引擎。 ... [详细]
  • 如何使用PLEX播放组播、抓取信号源以及设置路由器
    本文介绍了如何使用PLEX播放组播、抓取信号源以及设置路由器。通过使用xTeve软件和M3U源,用户可以在PLEX上实现直播功能,并且可以自动匹配EPG信息和定时录制节目。同时,本文还提供了从华为itv盒子提取组播地址的方法以及如何在ASUS固件路由器上设置IPTV。在使用PLEX之前,建议先使用VLC测试是否可以正常播放UDPXY转发的iptv流。最后,本文还介绍了docker版xTeve的设置方法。 ... [详细]
  • 微软头条实习生分享深度学习自学指南
    本文介绍了一位微软头条实习生自学深度学习的经验分享,包括学习资源推荐、重要基础知识的学习要点等。作者强调了学好Python和数学基础的重要性,并提供了一些建议。 ... [详细]
  • 学习笔记(34):第三阶段4.2.6:SpringCloud Config配置中心的应用与原理第三阶段4.2.6SpringCloud Config配置中心的应用与原理
    立即学习:https:edu.csdn.netcourseplay29983432482?utm_sourceblogtoedu配置中心得核心逻辑springcloudconfi ... [详细]
  • 知识图谱——机器大脑中的知识库
    本文介绍了知识图谱在机器大脑中的应用,以及搜索引擎在知识图谱方面的发展。以谷歌知识图谱为例,说明了知识图谱的智能化特点。通过搜索引擎用户可以获取更加智能化的答案,如搜索关键词"Marie Curie",会得到居里夫人的详细信息以及与之相关的历史人物。知识图谱的出现引起了搜索引擎行业的变革,不仅美国的微软必应,中国的百度、搜狗等搜索引擎公司也纷纷推出了自己的知识图谱。 ... [详细]
  • 在重复造轮子的情况下用ProxyServlet反向代理来减少工作量
    像不少公司内部不同团队都会自己研发自己工具产品,当各个产品逐渐成熟,到达了一定的发展瓶颈,同时每个产品都有着自己的入口,用户 ... [详细]
  • MateCloud 3.5.8 发布,基于 Spring Cloud Alibaba 的微服务框架
    基于SpringCloudAlibaba的微服务框架MateCloud3.5.8已经发布。此版本更新内容包括:功能升级针对MybatisPlus3.4.3新特性进行微调依赖升级升级至SpringCloud2020.0.3升级至Mybatis-Plus3.4.3详 ... [详细]
  • 2018深入java目标计划及学习内容
    本文介绍了作者在2018年的深入java目标计划,包括学习计划和工作中要用到的内容。作者计划学习的内容包括kafka、zookeeper、hbase、hdoop、spark、elasticsearch、solr、spring cloud、mysql、mybatis等。其中,作者对jvm的学习有一定了解,并计划通读《jvm》一书。此外,作者还提到了《HotSpot实战》和《高性能MySQL》等书籍。 ... [详细]
  • SpringMVC接收请求参数的方式总结
    本文总结了在SpringMVC开发中处理控制器参数的各种方式,包括处理使用@RequestParam注解的参数、MultipartFile类型参数和Simple类型参数的RequestParamMethodArgumentResolver,处理@RequestBody注解的参数的RequestResponseBodyMethodProcessor,以及PathVariableMapMethodArgumentResol等子类。 ... [详细]
  • 一次上线事故,30岁+的程序员踩坑经验之谈
    本文主要介绍了一位30岁+的程序员在一次上线事故中踩坑的经验之谈。文章提到了在双十一活动期间,作为一个在线医疗项目,他们进行了优惠折扣活动的升级改造。然而,在上线前的最后一天,由于大量数据请求,导致部分接口出现问题。作者通过部署两台opentsdb来解决问题,但读数据的opentsdb仍然经常假死。作者只能查询最近24小时的数据。这次事故给他带来了很多教训和经验。 ... [详细]
  • Sleuth+zipkin链路追踪SpringCloud微服务的解决方案
    在庞大的微服务群中,随着业务扩展,微服务个数增多,系统调用链路复杂化。Sleuth+zipkin是解决SpringCloud微服务定位和追踪的方案。通过TraceId将不同服务调用的日志串联起来,实现请求链路跟踪。通过Feign调用和Request传递TraceId,将整个调用链路的服务日志归组合并,提供定位和追踪的功能。 ... [详细]
  • elasticssearch+kibanna入门(撰写中)
    elasticssearchkibanna入门(撰写中)看到一篇elasticssearchkibanna的文章,觉得很好, ... [详细]
author-avatar
大姑娘苍之瑜
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有