神刀安全网

2016北京Qcon技术见闻个人总结

个人于2016年4月21日至2016年4月23日参加北京Qcon全球技术开发者大会,既见识到各种技术各种思想的碰撞,也很直观的看到各个厂商的厮杀。从个人来讲,无论是社交还是技术干货乃至技术鸡汤都有不少收货。这里谈谈个人的技术见闻总结,各个演讲内容的技术细节待大会PPT发布后有了详细资料再分专题慢慢补充吧。

1.云、容器、服务化

大会上各种云厂商的宣传广告宣告目前是云计算的战国时期,数不清甚至分不清名字的各种云服务摆在我们面前,容器技术的出现更是在混战的熔炉里又添了一把火。说实话,我只用过DaoCloud与七牛云,后者甚至只用的别人写好的插件,不过前者正好是docker容器云,开发体验确实很好。本来想去听听DaoCloud的分享,无奈实在是太火爆了,他们又正好被安排分到一个小房间里面演讲(本届Qcon的房间安排还是有点问题),密密麻麻都是人,空气都变浑浊了。

直到网易蜂巢分享他们的容器云经验,才抢了个座静下心来听。正如演讲人所说,在公司内部引入docker技术确实会改变开发与测试/运维人员的合作组织模式,运维直接定义镜像,开发直接交付镜像,测试直接使用镜像,在统一的自动化容器云平台上进行确实会变得很高效。Docker本身有存储与网络的问题,容器管理方面kubernetes也存在管理容器数量的扩展极限(一千个节点),底层如果使用OpenStack直接运用在公有云环境也还是不够成熟,但是如果运用在公司内部(目前近万个容器运行问题不大)作为开发环境似乎问题不是太大。

因容器技术而火起来的还有微服务架构。本次还是没听到有公司敢使用纯正的微服务架构,但是服务化的趋势还是很明显,目标就是使业务开发间的耦合度降低,特别是异构语言系统可以很方便的开发持续交付,同时可以放心的水平扩展。七牛CEO讲了很多服务治理需要注意的要点,但是他们也没有投入实战的感觉,说的都比较虚,没有任何数据支撑。这块对工程实践中可能会出现的各种问题还是不太了解,目前多数国内厂商仍旧处于服务化改造的阶段,并没有继续深入到微服务。但是很明显随着这些坑在各种基础软件中慢慢完善,微服务化应用会更加广泛,因为小组织自治其实挺符合一般互联网公司的人员组织结构的。服务化改造其实对监控、故障检测、日志分析、问题定位等运维工具要求进一步加强,各个厂商真正分享的内容就是他们的监控系统,特别是在日志分析还原服务的请求追踪方面比较独到(这块基本都没开源)。

2.GC与高可用系统

从个人兴趣爱好来讲,还是比较喜欢各种底层技术与基础组件。本次有关于Java GC的分享都非常精彩,Intel带来的spark优化分享虽然后面又回到了推销自家的SSD产品,但是一些经验总结很有用。总体来讲,听这些演讲让我感觉到自己之前学习的一些Linux内核和文件系统相关的细节还是很有用的,因为很多问题最后都是文件系统page cache使用的问题,所以把现象列清楚,原因居然就能猜个八九不离十,感觉以后完全将这些知识应用到调优相关的工作,帮助解决些疑难杂症。

Twitter分享他们的消息总线碰到的一些问题和解决方案设计也很有趣。关键是他们在生产环境部署运用了Bookeeper,这个组件我研究过还看过源码,感觉思想比较超前,实现的Paxos算法当时也不太可靠。他们还在跨机房部署Zookeeper集群,这样真的不会出问题吗?在系统高可用架构方面可以做进一步交流。美团的分布式对象存储系统分享内容也很丰富,比我们研究生实验室的分布式文件系统还是考虑的多多啦,高可用一致性方面他们团队将要实现加强版Paxos,应该是来自于OceanBase组的工程实践,值得多取经。

3.大数据与Deep Learning

大数据依旧火热,虽然同样产品进入爆发增长期,但是部分环节选型已经尘埃落地。比如数据存储使用HDFS,分发使用Kalfka,流式处理Spark Streaming/Storm等,但是SQL on Hadoop方案仍然在混战中,产品厮杀主要集中在查询这块。大数据BI方面目前功能仍旧落后于传统的数据仓库技术和传统BI工具(如Tableau),但是性能已经好不少,相信很快就能全面超越。本次本人重点关注了Elastic Stack、Druid和来自京东VP的分享,Elastic原以为只是一个search产品,没想到后面居然还有一个公司,结合search与他们的BI工具Kibana可以构成完整的工具栈。Druid同样是在为大数据分析打基础,作为一个专门为BI设计的分布式数据库在效率(支持流式数据)与数量级上可以全面超越传统数据仓库,不过这个组件目前还在进行大的调整,竞争产品还有InfluxDB,甚至Elastic Search。京东VP的分享比较高屋建瓴,他提到大数据在BI应用中data model与schema设计非常重要,可以显著减少数据复制并支持更多业务要求。他多次提到大数据优化的商业价值让人切实感到Deep Learning算法的力量,顿时让本人感觉作为系统工程师可能要好长时间吃土,还是研究Deep Learning和人工智能算法才是王道啊。

转载本站任何文章请注明:转载至神刀安全网,谢谢神刀安全网 » 2016北京Qcon技术见闻个人总结

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址