天道酬勤,学无止境

分布式系统学习:07 分布式系统关键技术:洞悉PaaS平台的本质

软件工程能力

分布式软件工程能力主要体现在:提高服务的 SLA、能力和资源重用或复用、过程自动化。这三个本质与分布式的技术点是高度一致的,也就是下面这三个方面的能力。

  • 分布式多层的系统架构
  • 服务化的能力供应
  • 自动化的运维能力

提高服务的 SLA(服务级别协议)

所谓服务的 SLA,也就是我们能提供多少个 9 的系统可用性。

提高系统的 SLA 主要表现在两个方面:

  • 高可用的系统
  • 自动化的运维

能力和资源重用或复用

软件模块的重用软件运行环境和资源的重用 决定了开发运维的能力和资源的可重用性。需要有两个重要的能力:一个是“软件抽象的能力”,另一个是“软件标准化的能力”。软件抽象就是找出通用的软件模块或服务,软件标准化就是使用统一的软件通讯协议、统一的开发和运维管理方法等

过程的自动化

软件生产流水线软件运维自动化的使用程度决定了整个过程的自动化程度。

PaaS 平台的本质

一个好的 PaaS 平台需要能够和 IaaS 层实现良好的联动,并且它应该具有分布式、服务化、自动化部署、高可用、敏捷以及分层开放的特征。

PaaS 跟传统中间件最大的差别:
服务化、分布式、自动化

服务化

服务化包括但不限于:软件模块重用、服务治理、对外提供能力,这些是 PaaS 平台的本质。

分布式

分布式包括但不限于:多租户隔离、高可用、服务编排,这些是 PaaS 平台的根本特性。

自动化

自动化包括但不限于:自动化部署安装运维、自动化伸缩调度,这些是 PaaS 平台的关键点。

PaaS 平台的总体架构

图片来自极客时间左耳听风专栏
我们可以借助 Docker+Kubernetes 来实现一个技术缓冲层,从而能更高效的构建一个健壮的 PaaS 平台。

调度层(iPaaS)

调度层里的功能包括但不限于:生命周期管理、服务配置管理、服务监控、服务状态持久、服务弹性伸缩、服务编排、服务调度、服务命名发现,它的任务主要是确保 PaaS 的自动化和对于分布式高可用高性能的管控。

能力服务层(aPaaS)

能力层里的功能包括但不限于:中间件服务、数据服务、业务服务,它的任务主要是确保 PaaS 提供给用户的服务和能力。

流量调度接入模块

流量调度层的功能包括但不限于:降级、路由、灰度、流控、熔断、计算,它的任务主要是确保与流量调度相关的东西,包括对高并发的管理。

运营管理层

运维管理层的功能包括但不限于:软件、服务、硬件、许可、订阅、认证、授权、SDK/文档、API 目录、多租户、沙箱、安全、计量计费,他的任务是对软件资源库、软件接入、认证和开放平台门户进行管控。

运维管理层

运维管理层的功能包括但不限于:审查、构建、测试、部署、运维,它的任务主要是与 DevOps 相关的东西。

PaaS 平台的生产和运维

图片来自极客时间左耳听风专栏
PaaS 的生产运维过程:

  1. 左上开始软件构建
  2. 软件资产库(Docker Registry+ 一些软件的定义)
  3. 经历 DevOps 的一套流程
  4. 借助整体架构控制器进入到生产环境
  5. 借助控制器来操作 Docker + Kubernetes 集群,以对软件的部署和生产做变更
  6. 同步服务的运行状态
  7. 通过生命周期管理来拟合状态
  8. 数据进入相关的应用监控
  9. 应用监控中的一些监控事件同步到生命周期管理中
  10. 由生命周期管理器来做出决定,通过控制器来调度服务运行
  11. 当应用监控中心发现流量变化,要进行强制性伸缩时,通过生命周期管理来通知控制系统进行伸缩

左下是服务接入的相关组件,主要是网关服务,以及 API 聚合编排和流程处理。

参考资料:

左耳听风(极客时间)链接:
https://time.geekbang.org/column/article/1610


GitHub链接:
https://github.com/lichangke/LeetCode
CSDN首页:
https://me.csdn.net/leacock1991
欢迎大家来一起交流学习

受限制的 HTML

  • 允许的HTML标签:<a href hreflang> <em> <strong> <cite> <blockquote cite> <code> <ul type> <ol start type> <li> <dl> <dt> <dd> <h2 id> <h3 id> <h4 id> <h5 id> <h6 id>
  • 自动断行和分段。
  • 网页和电子邮件地址自动转换为链接。

相关推荐
  • 02.02 Day 49 - 提炼总结
    大家好,我是 Snow Hide,作为《左耳听风》这个专栏的学员之一,这是我打卡的第 49 天,也是我第 62 次进行这种操作。 今天我温习了该专栏里叫《分布式系统架构的冰与火》、《从亚马逊的实践,谈分布式系统的难点》、《分布式系统的技术栈》、《分布式系统关键技术:全栈监控》、《分布式系统关键技术:服务调度》、《分布式系统关键技术:流量与数据调度》、《洞悉 PaaS 平台的本质》、《弹力设计篇之“认识故障和弹力设计”》、《弹力设计篇之“隔离设计”》、《弹力设计篇之“异步通讯设计”》、《弹力设计篇之“幂等性设计”》、《弹力设计篇之“服务的状态”》、《弹力设计篇之“补偿事务”》、《弹力设计篇之“重试设计”》、《弹力设计篇之“熔断设计”》、《弹力设计篇之“限流设计”》、《弹力设计篇之“降级设计”》、《弹力设计篇之“弹力设计总结”》、《管理设计篇之“分布式锁”》、《管理设计篇之“配置中心”》、《管理设计篇之“边车模式”》、《管理设计篇之“服务网格”》、《管理设计篇之“网关模式”》、《管理设计篇之“部署升级策略”》、《性能设计篇之“缓存”》、《性能设计篇之“异步处理”》、《性能设计篇之“数据库扩展”》、《性能设计篇之“秒杀”》、《性能设计篇之“边缘计算”》、《高效学习:端正学习态度》、《高效学习:源头、原理和知识地图》、《高效学习:深度,归纳和坚持实践》、《高效学习:如何学习和阅读代码》、
  • PaaS将吞噬云计算?Kubernetes的市场冲击波
    写在前面2017 年是 Kubernetes 的胜利之年,很多人还不明白这意味着什么。但如果看一下云计算业界的动向,你会发现,Kubernetes 的影响正在扩散。在本文中我将分享我们的发现,并试图说服你:基于容器 +Kubernetes 的新型 PaaS 将会成为云计算的主流。我将引用很多内容,包含国内外专家的真知灼见,让你看到专家是如何看待此事的,以及分享我们自己做的调研和采访,看看业界实际在发生什么。Kubernetes(k8s)在很短的一段时间内走过了很长的一段路。仅仅两年以前,它还需要与 CoreOS 的 Fleet、Docker Swarm、Cloud Foundry Diego、HashiCorp 的 Nomad、Kontena、Rancher 的 Cattle、Apache Mesos、Amazon ECS 等进行竞争,来证明自己比那些产品都要优秀。而现如今已经是完全不同的一幅景象了。其中的一些公司公开宣布了项目的终止并且开始加入到 Kubernetes 阵营中,还有一些公司没有公开宣布自己项目的失败,而是在战略上宣布了对 Kubernetes 的部分支持或者完全整合,这也就意味着他们的容器编排工具将会安静而缓慢地死掉。不论是哪一种情况,k8s 都是最后一个活下来的平台。除此之外,不仅仅是用户和白金赞助商们,越来越多的大公司都将继续加入到 Kubernetes
  • 容器云平台如何进行风险管理和关键技术路线选型?
    前言容器云项目是我司规划建设的基础设施云计算PaaS平台的尝试,希望通过容器化PaaS平台的建设,支持正在建设的微服务架构应用,同时也为适应公司互联网业务发展,满足业务快速开发和迭代的需求,逐步建立标准化的开发、测试、运维环境,形成适用于公司的DevOps(开发运维一体化)过程,完善开发、测试、部署、运维监控工具链和自动化流程,提升自主敏捷研发、持续集成的能力;同时基于容器云平台,逐步建立起企业级的服务中台,实现大中台-小前端的基础架构,更好的支持公司业务应用的开发,专注于业务应用的研发,提升IT对业务变化需求的快速响应能力。解决传统单体应用之间难以集成和共享的问题;通过采用标准化的容器技术和标准化的镜像输出,为开发测试生产提供一致性的环境;利用容器云的弹性伸缩能力实现对互联网金融业务流量快速变化的支持。一、背景和原因目前我司已经完成IaaS(Infrastructure as a Service)虚拟化建设,采用了Vmware和超融合技术;IaaS虚拟化层提供了对存储、网络、计算资源的管理,但无法提供对公司软件、工具、中间件等的管理。按照云计算的三种类型,建设PaaS( Platform as a Service)平台将有助于我们实现这些目标,同时提升敏捷开发能力,自动化运维能力。但PaaS平台技术一直不成熟,存在诸多技术难点
  • 容器云平台如何进行风险管理和关键技术路线选型?
    前言容器云项目是我司规划建设的基础设施云计算PaaS平台的尝试,希望通过容器化PaaS平台的建设,支持正在建设的微服务架构应用,同时也为适应公司互联网业务发展,满足业务快速开发和迭代的需求,逐步建立标准化的开发、测试、运维环境,形成适用于公司的DevOps(开发运维一体化)过程,完善开发、测试、部署、运维监控工具链和自动化流程,提升自主敏捷研发、持续集成的能力;同时基于容器云平台,逐步建立起企业级的服务中台,实现大中台-小前端的基础架构,更好的支持公司业务应用的开发,专注于业务应用的研发,提升IT对业务变化需求的快速响应能力。解决传统单体应用之间难以集成和共享的问题;通过采用标准化的容器技术和标准化的镜像输出,为开发测试生产提供一致性的环境;利用容器云的弹性伸缩能力实现对互联网金融业务流量快速变化的支持。一、背景和原因目前我司已经完成IaaS(Infrastructure as a Service)虚拟化建设,采用了Vmware和超融合技术;IaaS虚拟化层提供了对存储、网络、计算资源的管理,但无法提供对公司软件、工具、中间件等的管理。按照云计算的三种类型,建设PaaS( Platform as a Service)平台将有助于我们实现这些目标,同时提升敏捷开发能力,自动化运维能力。但PaaS平台技术一直不成熟,存在诸多技术难点
  • 面试技巧 面试复盘 编程技术 架构 看这一篇就够了
    神经网路与深度学习 Kubernetes实战 大型网站性能监测、分析与优化 Flume日志收集与MapReduce模式 ZooKeeper:分布式过程协同技术详解 自己动手写Java虚拟机 Java WebSocket编程 开发、部署和保护动态Web应用 SpringBoot揭秘:快速构建微服务体系 Web全栈工程师的自我修养 Apache Spark源码剖析 Wireshark数据包分析实战详解 深入剖析Tomcat-网上版本不够清晰 故重做 Kafka技术内幕 图文详解Kafka源码设计与实现 HADOOP权威指南大数据的存储与分析(第4版) MongoDB实战(第二版) 深度学习精要 基于R语言 京东基础架构建设之路(全彩) Python Linux系统管理与自动化运维 DB2从入门到精通(配光盘)(软件开发视频大讲堂) Kafka入门与实践 Kotlin极简教程 大话统计学 微信公众平台企业应用开发实战 微信公众平台开发与案例分析 Hadoop大数据实战权威指南 JavaEE框架技术(SpringMVC+Spring+MyBatis) Java EE企业级应用开发教程(Spring+Spring MVC+MyBatis) 第一季Kotlin崛起:次世代Android开发 Kotlin程序开发入门精要 微信企业号开发完全自学手册 Django 2.0 入门与实践_李健
  • 年度技术专家专访 | 赣州银行叶光芳:中小银行运维平台建设的机遇与挑战
    2019 年 11 月 1 日,一年一度的GOPS全球运维大会 2019 上海站暨 2019 运维行业年度颁奖盛典在上海成功举行,会上诞生了运维行业年度风云人物、风云团队、技术专家和明星产品等诸多奖项。本次大会有 1800 人签到,可谓群贤毕至、盛况空前。 其中,凭借出色的专业技能和在行业里的卓越贡献,赣州银行系统数据库团队负责人叶光芳先生荣获运维行业年度技术专家奖项,在大会现场由高效运维社区发起人、GOPS 全球运维大会发起人萧田国先生为叶光芳先生颁奖。 萧田国先生(右一)为叶光芳先生(左三)颁奖▲赣州银行系统数据库团队从 2013 年开始基于开源软件建立了全行统一的自动监控平台;2014 年进行新数据中心建设,建设了基于虚拟化的同城双活云数据中心,除核心系统外的所有应用系统(含数据库)迁移至虚拟化双活平台;2015 年基于 Ansible 实现了基础运维自动化;2016 年开始研究基于Web的统一运维平台;2017 年基于蓝鲸社区版建设了统一的运维 PaaS 平台,实现应用运维图形调度化,并开始在PaaS平台上开发运维SaaS工具;2019年,在年度灾备切换演练中基于运维PaaS平台成功实现了一键自动化切换。 一路走来,赣州银行系统数据库团队一直紧跟时代步伐,提升运维效率、降低运维成本及风险,保障了赣州银行信息系统的稳定运行。那么,赣州银行是如何不断完善运维体系的呢?带着疑问
  • 码农和CTO的差距到底在哪?
    文章目录 前言一、坚持和专注-长期主义者二、思维和个人知识管理三、数字化转型整体思考四、云原生整体解决方案五、企业架构和微服务规划咨询六、中台和微服务七、DevOps持续集成和交付八、SOA参考架构和ESB总线九、API网关和能力开放平台十、SOA治理和微服务治理十一、数据治理和主数据十二、软件架构和软件工程总结 前言 混迹IT行业多年,仍然还是普通的码农一枚。最近偶然拜读了资深CTO人月大佬的博客,收益匪浅,字里行间都是对架构的深度认知,而非简单的技术方案的陈述和前篇一律的面试宝典。 人月大佬整体技术类的文章是围绕企业架构和信息化规划,SOA,云原生技术解决方案,数字化转型和中台建设等方面展开。同时也兼顾一些关于个人知识管理和思维方面的文章。 人月聊IT:博文链接 一、坚持和专注-长期主义者 有人会经常问我为何能够坚持和保持每天一篇的文章输出从不间断,在头条你看到的是我最近半年的文章写作。而实际上我从16年就开始在新浪博客写作,在知乎也有思维专栏,整个写作周期已经超过15年。任何事情都不会是一蹴而就的,是一个长期坚持和专注的过程。 要对我个人有所了解,可以先看以下几篇文章。 我眼中的长期主义者-孤独的行者无法变现但一直在路上-个人十五年长期写作感悟长周期和持续积累-三年来跑步带给自己的成长感悟职场年过四十被裁员-无法破的学习曲线,可以破的成长定律 人在职场
  • 大学生云计算期末考试题
    目录 总结1.什么是云计算2.云计算的发展历程业务的需求技术云计算的分类 3.云计算的特点4.云计算的逻辑架构逻辑架构IaaS 的特点包括Dev+Ops 5.云计算的未来6.云计算的运维工具和学习的技能7.NAS和SAN的区别扩张性:服务方式文件系统所在位置性能: 简答题1、简述云计算的概念2、简述什么推动了云计算3、简述云计算的关键特征4、简述生活中的云计算5、云计算有哪些分类技术角度部署模式用户角色 6、私有云和公有云的主要区别在哪里7、VMware vSAN 的主要功能是什么8、云计算中面临哪些安全问题9、简述DDoS的攻击原理10、简述CDN的工作原理11、简述Windows系统中Web服务器证书的验证过程 总结 1.什么是云计算 把硬件资源抽象成软件 由软件生成硬件 未来的中心是软件 将资源(计算、存储、网络)再次整合起来进行合理的再分配(按需分配) 2.云计算的发展历程 业务的需求 互联网(3g) 数据的时代 技术 ​ 分布式技术:一种基于网络的计算机处理技术,与集中式相对应。是由一组分散在不同的地理位置,通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统 ​ 虚拟化技术:寄居虚拟化(类似VM)、裸金属虚拟化(无需os,称为esxi)每个逻辑计算机可运行不同的操作系统,并且应用程序都可以在相互独立的空间内运行而互不影响 云计算的分类 ​ 按照部署:
  • 金融私有云的四个领域技术发展趋势分析
    【摘要】本文展望了金融私有云IAAS领域、云平台领域、架构领域、新技术领域的技术发展,包括需求背景、优势、缺点、应用场景,供金融同行参考。【作者】罗文江,某股份制银行。从事银行私有云和公有云基础设施、以及混合云架构的建设工作,参与包括容器云等相关云服务的规划、技术选型、架构设计和实施,和业务连续性等保障体系的建设工作。一、金融私有云的行业发展背景在新一轮科技革命和产业变革的背景下,从金融数字化角度来看,金融行业对于科技的要求越来越高,也日益聚焦于金融科技领域的投入发展,表现为人工智能、大数据、云计算、区块链等信息技术与金融业务深度融合,譬如云计算的集中存储和按需调用模式,能有效提升金融行业 IT 系统能力;大数据是金融行业的基础资源,基于大数据的计算分析是目前金融服务开展的核心能力支撑;人工智能能够有效提升金融智能化水平,降低服务成本,助力普惠金融;区块链技术公开、不可篡改和去中心化的技术属性, 具备改变金融基础服务模式的巨大潜力。简而言之,金融科技是技术驱动的金融创新,旨在运用现代科技成果改造或创新金融产品、经营模式、业务流程等,推动金融发展提质增效。中国人民银行于2019年8月23日印发《金融科技(FinTech)发展规划(2019-2021年)》,也明确提出未来三年金融科技工作的指导思想、基本原则、发展目标、重点任务和保障措施,其中在云计算领域的重点任务为“合理布局云计算
  • 20210202-1 大数据云计算介绍和基础(上)
    iphone 有 3 个传感器 ,三星有 6 个传感器,每天都会收集大量数据云计算可以理解为大数据的底层支撑我国云计算规模,已经可以达到 四千三百亿元 一、大数据系统介绍麦肯锡全球研究院 (MGI)《大数据:下一个创新、竞争和生产力的前沿》大数据是继传统 IT 之后 下一个提高生产率的技术前沿麦肯锡公司是全球最著名的管理咨询公司,在全球44个国家和地区开设了84间分公司或办事处。麦肯锡目前拥有9000多名咨询人员,分别来自78个国家,均具有世界著名学府的高等学位。 什么是数据数据(data资料)是事实或观察的结果,是对客观事物的逻辑归纳,是用于表示客观事物的未经加工的的原始素材。数据是信息的表现形式和载体,可以是:符号、文字、数字、语音、图像、视频等定位数据:北纬26度,东经106度;用数字和字母书写是:26°N,106°E.定性数据:XX市XX路X号X单元号(靠近省委、十八中学、甲秀小学)定量数据:建筑面积90,使用面积75定时数据:建于1987年,1998年购置信息数据:周矩,男,XX岁,电话13888888888结论:估价45万数据结合在一起形成某种结论,使用数据的意义就是产生某种结论 大数据概念2008年,部分计算机专家首次提出大数据概念。2009年,美国政府通过Data.gov网站开放政府数据。2011年,麦肯锡公司发布《大数据:创新、竞争和生产力的下一个新领域》报告
  • IaaS vs PaaS
    云计算的服务类型包括:IaaS,PaaS,SaaS。 本文主要从概念,典型应用,平台交付特点,平台提供的价值,关键技术等方面对比IaaS和PaaS,帮助大家更清楚的认识IaaS和 PaaS。 IaaS PaaS 概念 Infrastructure as a Service,创建虚拟的计算、存储中心,使得其能够把计算单元、存储器、I/O设备、带宽等计算机基础设施,集中起来成为一个虚拟的资源池来对外提供服务。 Platform as a Service,把服务器平台或开发环境作为一种服务提供。 典型应用 1)弹性计算云EC2 (Elastic Compute Cloud) ——计算 2)简单存储服务S3 (Simple Storage Service) —— 存储 1)salesforce.com 的 force.com 2)Google App Engine 3)800app 平台交付特点 1)提供从计算到存储的统一资源基础架构 2)完整的系统级接入,按需布置安全域,负载均衡 3)按需付费,按容量控制 自由的应用环境 1)计算资源平台做为一种服务提供给用户 2)可支持用户自有的工具与开发环境部署 3)客户通过可调用的接口拨接资源平台 平台提供的价值 1)降低运营成本 2)提高设备利用率 3)节能减排 4)保护现有投资,提供新商机 1)对服务提供商:灵活扩展业务,响应长尾需求
  • 【案例】激发数据价值,星环科技助力中化管理决策数字化平台建设落地
    2大数据平台建设需求中化集团目标建立一个以数据驱动为核心,以技术支撑为基础,全面赋能企业一体化协同、管理创新和业务创新的大数据平台。图 大数据平台蓝图技术先进先进的技术能够保证整个大数据系统的稳定性与兼容性,同时能够合理利用资源,避免有限的资源浪费。集团需要建立一个结合先进技术一体化的大数据和人工智能应用基础软件平台。自主可控大数据是企业核心资产,应自主建设,遵循先进适用、稳定安全、灵活开放的原则设计。平台借助多租户的模式,可以满足集团及各个板块对数据和权限的管理要求,使得集团建设统一数据中台成为可能。行业领先依托广泛的客户群体、成熟的使用模式、多案例和经验借鉴,信息公司通过提供BI+AI服务,以覆盖数据领域通用场景、满足各类应用场景的存储和计算要求,提供领先行业的数据服务。快速落地通过外部厂商实施,快速建立平台,支持多元化数据应用搭建,使得集团能够及时把握市场机会。星环大数据平台提供强大兼容能力,大大降低平台的使用门槛,用户可以结合通用数据技术快速上手。3项目实施01大数据平台架构图 统一大数据平台全景①大数据平台全景数据原层 底层数据原层分为三类,包括内部生产、经营数据和外部社会数据。基础层 通过集团建立统一的数据湖,满足离线、实时、外部数据采集相关功能。规则层 一部分依靠星环科技的Incepter建立的统一SQL防御引擎
  • 2020阿里招聘岗位要求
    简历投递入口: https://bss.csdn.net/delivery/resume/ali 职位名称职位描述职位要求阿里云智能事业群-中间件业务中台架构师-北京\杭州1、负责阿里云中台项目的实施,设计行业业务中台解决方案,根据客户需求设计并搭建业务中台,并能把设计工作付诸实现 2、根据项目需求,进行业务领域建模分析、平台架构设计、技术方案预研、核心模块技术方案设计 3、指导和培养团队和合作伙伴成员,包括评审设计文档和代码 4、与团队共同推进标杆客户,制定符合市场需求的业务中台产品功能、业务流程及推广策略,赋能业务团队拿下市场份额,推动业务中台的业务增长 5、基于业务需求,能设计业务中台产品,赋能业务同学和业务产品,灵活支撑业务的创新和探索,让数据价值更浸透;* 5年以上IT行业经验,3年以上架构设计经验,有大型平台型产品及系统的架构、研发落地经验 * 有良好的结构化思维和抽象思维,熟悉领域驱动设计方法(DDD),有复杂问题建模能力和数据分析能力,能够准确全面地理解业务,可基于复杂的业务场景进行技术架构的抽象和设计 * 具备组织实施系统分析、系统架构设计、系统详细设计、技术方案讨论协调以及项目管理方面的能力; * 扎实的Java编程基础,熟悉主流云原生、分布式及微服务开源技术框架,如容器、Kubernetes、SpringCloud、Redis、RPC(如Dubbo)、消息队列
  • 红帽资深解决方案架构师魏新宇:云原生应用构建之路
    红帽资深解决方案架构师魏新宇:云原生应用构建之路 魏新宇 中生代技术 魏新宇,红帽资深解决方案架构师。在 IaaS、PaaS 方面有丰富的经验,致力于开源解决方案在企业中的推广和应用。从售前角度主导了红帽在金融、汽车行业的 PaaS 方面的多个项目。曾就职于华为、IBM、VMware,工作涉及领域包括硬件、AIX/Linux、虚拟化、PaaS、DevOps、微服务等。畅销书《OpenShift 在企业中的实践 PaaS DevOps 微服务》《云原生应用构建:基于 OpenShift》联合作者。获得红帽 RHCA Level 5 认证、RHCE 认证,以及 ITIL V3、Cobit5、TOGAF、C-STAR/TOGAF(鉴定级)相关认证。通过“大魏分享”(david-share)微信公众号,分享了很多项目实践经验。 1 云原生应用 1.1 什么是云原生应用 传统的软件开发流程是瀑布式的,开发周期比较长,并且如果有任何变更,都要重新走一遍开发流程。在商场如战场的今天,软件一个版本推迟发布可能到发布时这个版本在市场上就已经过时了;而竞争对手很可能由于在新软件发布上快了一步就抢占了客户和市场。 相比于传统应用,云原生应用非常注重上市速度。云原生应用是独立的、小规模松散耦合服务的集合,旨在充分利用云计算模型提高应用发布速度、应用灵活性和应用代码质量,并降低应用部署风险。虽然名字中包含
  • 红帽资深解决方案架构师魏新宇:云原生应用构建之路
    红帽资深解决方案架构师魏新宇:云原生应用构建之路 魏新宇 中生代技术 魏新宇,红帽资深解决方案架构师。在 IaaS、PaaS 方面有丰富的经验,致力于开源解决方案在企业中的推广和应用。从售前角度主导了红帽在金融、汽车行业的 PaaS 方面的多个项目。曾就职于华为、IBM、VMware,工作涉及领域包括硬件、AIX/Linux、虚拟化、PaaS、DevOps、微服务等。畅销书《OpenShift 在企业中的实践 PaaS DevOps 微服务》《云原生应用构建:基于 OpenShift》联合作者。获得红帽 RHCA Level 5 认证、RHCE 认证,以及 ITIL V3、Cobit5、TOGAF、C-STAR/TOGAF(鉴定级)相关认证。通过“大魏分享”(david-share)微信公众号,分享了很多项目实践经验。 1 云原生应用 1.1 什么是云原生应用 传统的软件开发流程是瀑布式的,开发周期比较长,并且如果有任何变更,都要重新走一遍开发流程。在商场如战场的今天,软件一个版本推迟发布可能到发布时这个版本在市场上就已经过时了;而竞争对手很可能由于在新软件发布上快了一步就抢占了客户和市场。 相比于传统应用,云原生应用非常注重上市速度。云原生应用是独立的、小规模松散耦合服务的集合,旨在充分利用云计算模型提高应用发布速度、应用灵活性和应用代码质量,并降低应用部署风险。虽然名字中包含
  • 云计算介绍-1.2,IaaS\PaaS\SaaS比较
    五、IaaS、PaaS比较 IaaSPaaS开发者的视图虚拟机、存储、带宽资源,可能需要自己安装OS。开发和运行平台,类似J2EE、WEB服务器等运行环境开发环境传统桌面或服务器开发环境,需要手工部署应用到云上包括IDE在内的开发和测试环境,自动部署到云开发流程传统的开发、测试和版本管理流程。可以充分利用虚拟机硬件资源、OS特性。依靠PaaS平台提供的开发、测试和版本管理方案。不需配置硬件,不与OS接口,必须利用PaaS平台API。支持的应用传统应用。传统应用移植到PaaS平台,需要克服编程语言、新的API等困难。目前的PaaS主要针对WEB服务器应用于可伸缩性IaaS平台依靠开发者手工调整资源来应对,可能提供了代码中动态调用资源的手段。PaaS平台自动调整资源来帮助应用应对突发流量整合率和经济性IaaS平台基于虚拟机来划分资源,手工处理伸缩性导致经济性较差。即资源复用是基于虚拟机的。PaaS平台整合率是非常高,比如GAE能在一台服务器上承载成千上万的应用。平台自动处理伸缩性,有统计复用功能。计费和监管IaaS平台只能做到OS层面(CPU、内存、存储空间、带宽)PaaS平台能做到应用层面,如反应时间、调用某个服务的次数。学习难度如果不考虑分布性,IaaS的开发与传统桌面、服务器开发类似。但一般禁止读写本地文件
  • 谁说武汉的开发者很宅?顶着高温他们也来了 | Q荐读
    人工智能,也就是 AI,已然进入人们的视野,从酒店入住时的人脸身份验证到出入停车场时的车牌自动识别,AI 已不再遥不可及。华为 Atlas 人工智能计算平台,自从 2018 年在华为全联接大会上发布以来,都一直受到业界关注。其中的原因很简单。AI 从被提出以来,算力、算法和数据一直是 AI 发展的三大支柱,算力的稀缺不可避免地制约着 AI 的发展速度。尤其是面向图片、视频的实时分析,往往数据采集量极大,没有强劲的算力支撑,AI 就无法实际应用。8月16日DevRun·选择不凡,华为云开发者沙龙走进武汉,进一步与武汉的开发者交流技术,同时也为这座城市的人工智能、物联网、区块链等发展注入一份力量。1Atlas 以强大算力撑起华为 AI 未来如果说计算将使能数字世界向智能世界的转型,那么芯片则是计算的基础。华为依托全自研的计算,传输,存储,管理,AI 五大类芯片,布局 3+1 智能计算产业战略。从 x86 计算平台、AI 计算平台和 ARM 计算平台三个平台进行战略布局。华为智能计算专家工程师陈常水在演讲中提到,Atlas 人工智能计算平台基于华为昇腾系列 AI 芯片,通过模块、板卡、小站、一体机等丰富的产品形态,打造面向“端、边、云”的全场景 AI 基础设施,可广泛用于智慧城市、运营商、金融、互联网、电力等领域。作为华为全栈全场景 AI 解决方案的重要组成部分,Atlas
  • 中小型金融企业如何基于超融合技术建设私有云?
    云计算技术已经兴起了很多年了,但是目前很多中小型金融企业才开始或者将要开始搭建私有云平台,实现私有云落地的方案有很多,阿里巴巴、腾讯、华为、IBM,这些巨头公司都有自己的私有云产品输出。路坦力、青云、深信服等追赶者也有对外输出的私有云产品,那么对于中小金融企业来说(本文所指的中小型金融企业是指除去银行以外的证券、基金、期货、股权、金融租赁等企业),到底该如何进行选型,今天我们就这一问题进行讨论。中小型金融企业上云要点分析众所周知,云计算的经典模型里把云计算分为IAAS、PAAS和SAAS层,那么企业的决策者在进行企业上云规划的时候就需要先做好计划,想清楚三个问题。第一个问题,即目前准备上到哪一层的云。因为每一层的云能实现的服务能力是不同的,对云平台的运维人员要求是不同的,同时对云平台提供者的要求也是不同的。以目前业界知名度很高的阿里巴巴集团为例,阿里云擅长的是IAAS层的能力,而蚂蚁金服则是在金融领域的PAAS层(主要是支付宝和网商银行使用的各类金融场景的中间件)有很深的积累和实践,因此阿里巴巴在对外部金融行业进行上云输出的时候,都会选用阿里云的IAAS加蚂蚁金服的PAAS这样的解决方案。Iaas层,主要包含计算资源、存储资源、网络资源和安全资源。云计算的基础是虚拟化技术,虚拟化中大家接触最早的就是vmware为大家提供的虚拟机,这其实就属于iaas层的计算资源的虚拟化。存储资源
  • 高校大数据专业科研建设方案
    第一章 建设背景 1.1 国家政策  2017年1月 工业和信息化部正式发布了《大数据产业发展规划(2016-2020年)》,明确了“十三五”时期大数据产业的发展思路、原则和目标,将引导大数据产业持续健康发展,有力支撑制造强国和网络强国建设。  2018年9月 工信部公示“2018年大数据产业发展试点示范项目名单”,公布了包括大数据存储管理、大数据分析挖掘、大数据安全保障、产业创新大数据应用、跨行业大数据融合应用、民生服务大数据应用、大数据测试评估、大数据重点标准研制及应用、政务数据共享开放平台及公共数据共享开放平台等10个方向200个项目。  2019年11月 为进一步落实《国务院关于印发促进大数据发展行动纲要的通知》和《大数据产业发展规划(2016~2020年)》,推进实施国家大数据战略,务实推动大数据技术、产业创新发展,我国工业和信息化部将组织开展2020年大数据产业发展试点示范项目申报工作。 1.2 发展趋势 据IDC分析报道,中国互联网企业,到电信、金融、政府这样的传统行业,都开始采用各种大数据和分析技术,开始了自己的大数据实践之旅;应用场景也在逐渐拓展,从结构化数据的分析,发展到半结构化、非结构化数据的分析,尤其是社交媒体信息分析受到用户的更多关注。用户们开始评估以Hadoop、数据库一体机以及内存计算技术为代表的大数据相关新型技术。
  • Hadoop-1-大数据概述
    在学习Hadoop之前,我们先来学习一下大数据的有关知识吧~ 1.1 大数据时代 1.1.1 三次信息化浪潮 次序时间标志解决问题代表企业大数据第一次信息化浪潮1980年前后个人计算机信息处理Intel,AMD,IBM,苹果,微软,联想,戴尔,惠普等兴起第二次信息化浪潮1995年前后互联网信息传输雅虎,Google,Alibaba,百度,腾讯普及第三次信息化浪潮2010年前后物联网、云计算和大数据信息爆炸亚马逊、Google、IBM、VMWare、Palantir、Hortonworks、Cloudera、阿里云等大数据时代 1.1.2 信息科技提供技术支撑:存储、计算、网络 信息科技需要解决信息存储、信息传输 和 信息处理 3 个核心问题,人类社会在信息科技领域的不断进步为大数据时代的到来提供了技术支撑。 存储设备容量不断提升,价格不断下降 CPU性能大幅提升(摩尔定律) 网络带宽不断增加 1.1.3 数据产生方式变革 数据产生方法的变革,是促进大数据时代来临的重要因素。总体而言,人类社会的数据产生方式大致经历了 3 个阶段:运营式系统阶段、用户原创内容阶段和感知式系统阶段。 运营式系统阶段–所有运营活动都存储在数据库中 数据库的诞生是一重要标志。在这一阶段,数据的产生方式是被动的,只有当实际的企业业务发生时,才会产生新的记录并存入数据库。 用户原创内容阶段–博客、微博