分类
Uncategorized

国内不可访问的开发服务列表

sdkman.io 用来下载并管理多版本sdk,如jdk,gradle,groovy。国内访问速度极慢 86kb需等待1:20min,1:20min之后无响应。

desktop.github.com GitHub的图形界面工具,是GitHub官方工具,用起来很方便。下载desktop for windows的速度也很慢,显示需要50min,速度约为12kbps

分类
Uncategorized

重基础建设重格局

为什么有这个标题,是因为一直在思考一个问题,在不停报怨的同时,为何不去做点实事。开发生态需要建设,从基础框架开始,从我做起。

当不会的时候,感到困难重重,非常想放弃,希望得到帮助,眼中到处是问题,心中充满沮丧。

回首10年,如今已经身经百战,可以在技术的战场上所向披靡,但很少去帮助曾经的自己,去帮助生态的普及,做当时认为需要做的事情。

时间有限,精力有限,技术有自己的高度,能力匹配的人,才能体会。

基础设施包括:log,安全,ID,监控,分析,存储,代码仓库,mirror,CDN

分类
Uncategorized

应用需要知道原则到知识分享系统

目前只是一个初步的想法(但距离想法诞生已经有3年时间),受区块链技术启发,内容的活动需要公开,甚至连IT运维都应该公开。系统应该是自动运维的,升级,续费,购买资源,代码更新,源码开源,保证彻底的公开公正。

分类
Uncategorized

如何理解技术成就围城

比如技术人员的培养成本在10年,但是更换行业或者平台,10年的技术人员的能力可能转化后只剩下5年等价水平。损失的5年就是跳出技术围城的成本。所以跨行业的比较是不准确的且没有意义。技术人不需要面面俱到,在擅长的领域发光发热做到最好已经很了不起。不需要找一个不切实际的目标,来作为不愿付出努力的借口。各行各业都有自己的操守,没必要刻意追求跨行业的高灵活性的能力。技术脱离实际需求就是空谈,在行业内突破自己,突破瓶颈才是好的方向。什么都行也意味着什么都不行。尊重技术,面向问题编程,思考突破瓶颈,运用工具,算法,策略,良好生活作息,锻炼好健康,这才是稳健的发展模式。保持一颗对新技术好奇的心,就再好不过了。人生是长跑,前期片面追求速度消耗太多体能的人大多不能坚持到底,不论成就如何,工资高低,为坚持在技术岗位工作10年+依然保持健康,以及对工作感到快乐的人,鼓掌,依然已经是最棒的了!

分类
Uncategorized

字体颜色不正确

注重基础建设,基础知识的积累和储备,知识认知程度的自我提高。
一件能静下心来并忘我投入的事情,长期坚持下来就是自己擅长的事情。

分类
Message

hello 2020

WP官网wordpress.org近几个月以来一直无法访问,提示”429 Too Many Requests”错误,导致无法更新,工作忙,一直搁置了很久,最近抽空手动更新了。

最新版5.3中发现了2020主题,很明显设计更加扁平化,很喜欢,于是更新了主题,从2017直接变成2020。

个人偏好solarized主题,于是按照solarized主题的颜色编号自定义了2020主题背景色以及部分字体颜色,看起来更加舒服,保持了用户体验的一致性。

同时解决了WordPress Reader不能正常发布显示Post文章的问题,这个问题也出现很久,解决了很久,发现原因也多种多样,终于测地解决。

  • 最开始是XMLPRC因为安全风险被我禁用导致不能用。那时候WP总是被攻击导致CPU100%以及无法访问,常常需要重启,通过禁止了XMLPRC解决。
  • 再次是SSL证书问题,为提升安全性,强制使用了SSL证书,但使用的自签发证书,所以也连接不上Jetpack,最后使用aliyun免费的CA签发证书解决。
  • 最后是使用WordPress Reader写Post文章产生重复草稿Draft问题,以及文章无法在Reader中显示问题。这个问题调查了很久,最后发现是插件兼容性问题,导致出站请求无法成功。禁用了所有插件,一个个启用的方式排查了该问题。

终于可以在PC端、手机端、Web网页正常编写发送Post文章。

wordpress.org 429 too many requests

分类
Read

完成阅读《系统架构设计师教程》

分类
Note

Hadoop学习之内容概览

Background:第一次接触hadoop,之前总听说,也早早的列了学习计划,中途间间断断的看了官网文档,买了本书,太厚了,只看了封皮。终于今天有时间和兴趣,初窥门径,赶紧记下来。

Hadoop是什么?就是Apache Hadoop,一个大数据技术框架,Big Data一般指就是它了。

解决什么问题?这个也许是我最关系的问题了,其实官方文档里面没有讲太多,都是技术细节,这个就要搜索了。大概比较满意的答案是说,非结构化的数据,比如网页搜索引擎的检索结果,数据量很大的时候,用传统的数据库存储和处理就不太合适了,需要换个思路,就是Hadoop的思路,解决这类问题的。所以有时被贴上NoSQL的标签,其实和SQL没什么对立。参考:https://www.oreilly.com/ideas/what-is-hadoop

工作原理是啥?这个就是要研读官方文档了,也是最需要花时间的地方,这边就简单归纳一下吧。

大概分两块,基础软件包和开发接口。基础软件包是讲运行环境的搭建、安装、部署,是一个分布式文件系统,即HDFS,工作原理比较复杂,但技术核心也在这里。开发接口是讲怎么用的,Hadoop其实是面向技术人员的,是一个技术框架,所以落地是怎么用,就是MapReduce,这个接口需要运行在HDFS之上的,必须配套使用。

HDFS工作原理

HDFS Architecture

看上去比较复杂,的确复杂,不过和SAP NW思路有类似的地方,Datanodes可以理解为真正存数据的地方,类似于NW的servernode,Namenode可以理解为控制怎么存数的地方,类似于NW的message server和enqueue server。里面的Datanode里面绿色的block应该是划分的物理空间大小,比如128MB一个块。Client就是用户了,写操作是写多个地方的,读操作是读一个地方的。HDFS有冗余机制判断写多个地方成功几个算成功,好处就是不怕单点故障,这就是分布式的好处。并且HDFS有数据复制机制,增加数据存储的可靠性。

MapReduce工作原理

其实MapReduce即使一个Hadoop Job工作的2个阶段,第一个阶段是定义问题,就是Map,把Text中要关心的数据的Key定义出来。第二个阶段就归纳问题,就是Reduce,Job跑完Map接口后会跑Reduce,会基于Map阶段定义的Key Value,对相同的Key进行合并,所以合并完,结果集里面Key基本唯一了,复杂的场景可能要跑多轮,比如多个Reducer同时Reduce,第一轮每一个Reducer拿到的Map都是不全的,Reduce一遍之后,再集中Reduce一遍,得到最终的结果集,这是后Key就唯一了,任务就完成了,数据就可以被使用或消费了。

结尾,底层很多复杂的细节不再深究了。比如为了管理这套东西,提供的专门的一套命令行工具,就是Common。还有YARN,实现了资源和应用的全局管理。

 

 

分类
Message

2018新年快乐

最近一直加班,春节到了,在这里也和世界问一声好,2018,新年快乐!

分类
Read

完成阅读《深入剖析Tomcat》

实际上很早就开始读这本书了,只不过中间又去先读了别的书,所以现在才读完。

读这本书的起源是先前想了解tomcat源码,下载了tomcat的源码阅读,但是发现源码很多,直接阅读起来十分困难,很是费力,于是想找一找,有没有一本书可以帮助阅读源码,于是找到了这本书。

归根到底,这本书还是围绕着tomcat源码开展的,源码阅读是十分费力的,所以常常有些章节也是粗略略过,总体上看的不是十分细致,勉强看完。不过现如今也是不求甚解,故到此告一段落。