ITeye博客

谷子

kylt · 共 92 篇文章

[置顶] 技术文章精华合集(持续更新中)

Kafka深度解析 分库分表系列文章 来自 Google 的高可用架构理念与实践 Web安全知多少 分布式锁 Java常用技术方案 章文嵩博士和他背后的负载均衡帝国 高并发限流特技1 从限流削峰到性能优化,谈1号店抽奖系统架构实践 微服务架构的基础框架选择:Spring Cloud还是Dubbo? Spring Cloud构建微服务架构(一)服务注册与发现 Spring Cloud构建微服务架构(二)服务消费者 Spring Cloud构建微服务架构(三)断路器 Spring Cloud构建微服务架构(四)分布式配置中心 Spring Cloud构建微服务架构(四)分布式配置中心(续) Sp…

2016-09-20 19:09 · 读书笔记 · 架构设计 · 评论(0)

消息中间件选型分析:从Kafka与RabbitMQ的对比看全局

一、前言 消息队列中间件(简称消息中间件)是指利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下提供应用解耦、弹性伸缩、冗余存储、流量削峰、异步通信、数据同步等等功能,其作为分布式系统架构中的一个重要组件,有着举足轻重的地位。 目前开源的消息中间件可谓是琳琅满目,能让大家耳熟能详的就有很多,比如 ActiveMQ、RabbitMQ、Kafka、RocketMQ、ZeroMQ 等。不管选择其中的哪一款,都会有用的不趁手的地方,毕竟不是为你量身定制的。有些大厂在长期的使用过程中积累了一定的经验,其消息队列…

2018-05-11 09:31 · 技术选型 · 评论(0)

复杂性应对之道 - 领域建模

为什么要领域建模 软件的世界里没有银弹,是用 事务脚本 还是 领域模型 没有对错之分,关键看是否合适。就像自营和平台哪个模式更好?答案是都很好,所以亚马逊可以有三方入住,阿里也可以有自建仓嘛。实际上,CQRS就是对事务脚本和领域模型两种模式的综合,因为对于Query和报表的场景,使用领域模型往往会把简单的事情弄复杂,此时完全可以用奥卡姆剃刀把领域层剃掉,直接访问Infrastructure。我个人也是坚决反对过度设计的,因此对于简单业务场景,我强力建议还是使用事务脚本,其优点是简单、直观、易上手。但对于复杂的业务场景,你再这么玩就不行了,因为一旦业务变得复杂,事务脚本就很难应对,容易造成代码…

2018-05-04 21:31 · 架构设计 · 评论(0)

技术漫谈:为何KPI毁了索尼,而OKR却成就了谷歌?

从技术 leader 的角度出发,看技术人绩效考核的痛。大多数公司里面总会因为 KPI 的考核方式而存在各种各样的问题,OKR 是一个在硅谷互联网公司比较流行的做法。怎样去理解 OKR 这个概念,并在技术团队中推行,从而使绩效考核更合理也更有意义? KPI 的困惑 索尼公司前常务董事天外伺朗的《绩效主义毁了索尼》一文,曾经在业界流传甚广,也激起了广泛的争议,支持的反对的意见和声音到现在为止都还没有停止。抛开文章的结论是否正确,观点是否偏颇,索尼是否没有真正理解 KPI 等争议,单纯从文章描述的现象来看,相信绝大部分公司里面都会存在类似的现象,例如: “因为要考核业绩,几乎所有人都提出容易实现…

2018-04-25 16:16 · 其它 · 评论(0)

Service Mesh深度解析

微服务方兴未艾如火如荼之际,在 spring cloud 等经典框架之外,Service Mesh 技术正在悄然兴起。到底什么是 Service Mesh,它的出现能带来什么,又能改变什么?本文整理自数人云资深架构师敖小剑在 QCon 2017 上海站上的演讲。 简单回顾一下过去三年微服务的发展历程。在过去三年当中,微服务成为我们的业界技术热点,我们看到大量的互联网公司都在做微服务架构的落地。也有很多传统企业在做互联网技术转型,基本上还是以微服务和容器为核心。 在这个技术转型中,我们发现有一个大的趋势,伴随着微服务的大潮,Spring Cloud 微服务开发框架非常普及。而今天讲的内容在 S…

2018-04-17 10:53 · 服务网格 · 评论(0)

微服务开发中的数据构架设计

前言 微服务是当前非常流行的技术框架,通过服务的小型化、原子化以及分布式架构的弹性伸缩和高可用性,可以实现业务之间的松耦合、业务的灵活调整组合以及系统的高可用性。为业务创新和业务持续提供了一个良好的基础平台。本文分享在这种技术架构下的数据架构的设计思想以及设计要点,本文包括下面若干内容。 微服务技术框架中的多层数据架构设计 数据架构设计中的要点 要点1:数据易用性 要点2:主、副数据及数据解耦 要点3:分库分表 要点4:多源数据适配 要点5:多源数据缓存 要点6:数据集市 为了容易理解,本文用一个简化的销售模型来阐述,如下图。图1显示了客户、卖家、商品、定价、订单的关系(这里省略支付、物流等…

2018-03-19 15:20 · 架构设计 · 评论(0)

MySQL学习之——锁(行锁、表锁、页锁、乐观锁、悲观锁等)

锁,在现实生活中是为我们想要隐藏于外界所使用的一种工具。在计算机中,是协调多个进程或县城并发访问某一资源的一种机制。在数据库当中,除了传统的计算资源(CPU、RAM、I/O等等)的争用之外,数据也是一种供许多用户共享访问的资源。如何保证数据并发访问的一致性、有效性,是所有数据库必须解决的一个问题,锁的冲突也是影响数据库并发访问性能的一个重要因素。从这一角度来说,锁对于数据库而言就显得尤为重要。 MySQL锁 相对于其他的数据库而言,MySQL的锁机制比较简单,最显著的特点就是不同的存储引擎支持不同的锁机制。根据不同的存储引擎,MySQL中锁的特性可以大致归纳如下: 行锁 表锁 页锁 MyIS…

2018-03-06 15:30 · 数据库 · 评论(0)

体系化认识RPC

RPC(Remote Procedure Call),即远程过程调用,是一个分布式系统间通信的必备技术,本文体系性地介绍了 RPC 包含的核心概念和技术,希望读者读完文章,一提到 RPC,脑中不是零碎的知识,而是具体的一个脑图般的体系。本文并不会深入到每一个主题剖析,只做提纲挈领的介绍。 RPC 最核心要解决的问题就是在分布式系统间,如何执行另外一个地址空间上的函数、方法,就仿佛在本地调用一样,个人总结的 RPC 最核心的概念和技术包括如下,如图所示: (点击放大图像) 下面依次展开每个部分。 传输(Transport) TCP 协议是 RPC 的 基石,一般来说通信是建立在 TCP 协议之…

2017-12-25 10:11 · 分布式 · 评论(0)

MongoDB的水平扩展,你做对了吗?

分布式数据库的前世今生 当人们一开始使用数据库系统的时候,所有数据都是跑在一台服务器上,即所谓的单机数据库服务器。在企业级应用中,我们会搭建一台应用程序服务器,一般它会被运行在一台服务器或者工作站上,大多数情况下采用 Linux/Unix/Windows 操作系统,也有人把这样的服务器称之为应用程序服务器。顾名思义,他的作用是处理复杂的业务逻辑。但是一点需要注意的是,在这样的构架中,这台应用程序服务器不会存储任何业务数据,也就是说,他只负责逻辑运算,处理用户请求,真正存放数据的地方是前面提到的那台数据库服务器。应用程序服务器将用户的请求转换成数据库语言(通常是 SQL),运行在数据库中,从而…

2017-12-25 10:02 · 数据库 · 评论(0)

聊一聊分布式锁的设计

起因 前段时间,看到redis作者发布的一篇文章 《Is Redlock safe?》 ,Redlock是redis作者基于redis设计的分布式锁的算法。文章起因是有一位分布式的专家写了一篇文章 《How to do distributed locking》 ,质疑Redlock的正确性。redis作者则在《Is Redlock safe?》文章中给予回应,一来一回甚是精彩。文本就为读者一一解析两位专家的争论。 在了解两位专家的争论前,让我先从我了解的分布式锁一一道来。文章中提到的分布式锁均为排他锁。 数据库锁表 我第一次接触分布式锁用的是mysql的锁表。当时我并没有分布式锁的概念。只知…

2017-04-10 13:43 · 分布式 · 评论(0)

如何正确对用户密码进行加密?

本文介绍了对密码哈希加密的基础知识,以及什么是正确的加密方式。还介绍了常见的密码破解方法,给出了如何避免密码被破解的思路。相信读者阅读本文后,就会对密码的加密有一个正确的认识,并对密码正确进行加密措施。 本文由 Defuse Security 安全团队 撰写 ,作者采用了 CC协议 ,InfoQ翻译并分享,以飨读者。 作为一名Web开发人员,我们经常需要与用户的帐号系统打交道,而这其中最大的挑战就是如何保护用户的密码。经常会看到用户账户数据库频繁被黑,所以我们必须采取一些措施来保护用户密码,以免导致不必要的数据泄露。保护密码的最好办法是使用加盐密码哈希( salted password ha…

2017-03-26 10:18 · 理论实践 · 评论(0)

HTTP,HTTP2.0,SPDY,HTTPS看这篇就够了

作为一个经常和web打交道的程序员,了解这些协议是必须的,本文就向大家介绍一下这些协议的区别和基本概念,文中可能不局限于前端知识,还包括一些运维,协议方面的知识,希望能给读者带来一些收获,如有不对之处还请指出。 1. web始祖HTTP 全称:超文本传输协议(HyperText Transfer Protocol) 伴随着计算机网络和浏览器的诞生,HTTP1.0也随之而来,处于计算机网络中的应用层,HTTP是建立在TCP协议之上,所以HTTP协议的瓶颈及其优化技巧都是基于TCP协议本身的特性,例如tcp建立连接的3次握手和断开连接的4次挥手以及每次建立连接带来的RTT延迟时间。 2. HTT…

2016-11-30 14:53 · 理论实践 · 评论(0)

服务发现:Zookeeper vs etcd vs Consul

【编者的话】本文对比了Zookeeper、etcd和Consul三种服务发现工具,探讨了最佳的服务发现解决方案,仅供参考。 如果使用预定义的端口,服务越多,发生冲突的可能性越大,毕竟,不可能有两个服务监听同一个端口。管理一个拥挤的比方说被几百个服务所使用的所有端口的列表,本身就是一个挑战,添加到该列表后,这些服务需要的数据库和数量会日益增多。因此我们应该部署无需指定端口的服务,并且让 Docker 为我们分配一个随机的端口。唯一的问题是我们需要发现端口号,并且让别人知道。 当我们开始在一个分布式系统上部署服务到其中一台服务器上时,事情会变得更加复杂,我们可以选择预先定义哪台服务器运行哪个服务…

2016-11-29 17:00 · 技术选型 · 评论(0)

深度学习框架的比较(MXNet, Caffe, TensorFlow, Torch, Theano)

1. 基本概念 1.1 MXNet相关概念 深度学习 目标:如何方便的表述神经网络,以及如何快速训练得到模型 CNN(卷积层):表达空间相关性(学表示) RNN/LSTM:表达时间连续性(建模时序信号) 命令式编程(imperative programming):嵌入的较浅,其中每个语句都按原来的意思执行,如numpy和Torch就是属于这种 声明式语言(declarative programing):嵌入的很深,提供一整套针对具体应用的迷你语言。即用户只需要声明要做什么,而具体执行则由系统完成。这类系统包括Caffe,Theano和TensorFlow。命令式编程显然更容易懂一些,更直观一…

2016-11-18 10:56 · 深度学习 · 评论(0)

深度学习框架的评估与比较

人工智能无疑是计算机世界的前沿领域,而深度学习无疑又是人工智能的研究热点,那么现在都有哪些开源的深度学习工具,他们各自的优缺点又是什么呢?最近 zer0n 和 bamos 在GitHub上发表了一篇文章,对 Caffe 、 CNTK 、 TensorFlow 、 Theano 和 Torch 等深度学习工具 从网络、模型能力、接口、部署、性能、架构、生态系统、跨平台等方面做了比较 。 网络和模型能力 Caffe 可能是第一个主流的工业级深度学习工具,它开始于2013年底,具有出色的卷积神经网络实现。在计算机视觉领域Caffe依然是最流行的工具包,它有很多扩展,但是由于一些遗留的架构问题,它对…

2016-11-18 10:50 · 深度学习 · 评论(0)