项目管理概览
# 项目管理概览
# 项目管理的由来
1、项目管理是战争的产物。
2、1910 年,美国机械工程师和管理学家亨利·甘特(Henry L.Gantt)发明了横道图,开始了科学的项目管理。
第一次世界大战美国的参战带来了更高生产效率的要求,军火库和其他制造厂得到了大量订单生产武器,通常类型的图表无法表达如此不寻常数量的重要性或产生这些数量所需的时间。因此,亨利·甘特发明了甘特图,让每一件任务都有序进行,让每一个人都知道自己应该干什么,什么时候干什么,什么时候完成什么,这个时候其他人在干什么,一目了然。
# 甘特图
甘特图诞生于第二次工业革命、第一次世界大战期间,它的诞生有着强烈的时代特征,是工业快速发展期必然的产物。
# 关键路径法
项目中耗费工期最长的路径就是关键路径。
# 三点估算
short 表示最短完成时间,possible 表示最可能完成时间,long 表示最长完成时间。
1、
2、
至于是
3、指定时间内完成的可能性
记住下面正态分布图中的数据就好了:34.13%(三世一生)、13.59%(一生永久)、2.14%(情人节)。
注意
如果题目中出现项目经理身兼多职的情况,那肯定是错的。
# PDCA
计划、执行、检查、处理
# 马斯洛需求层次理论
1、生理的需要(physiological need):食物、水分、空气、睡眠、性的需要等。它们在人的需要中最重要,最有力量。
2、安全需要(safety need):人们需要稳定、安全、受到保护、有秩序、能免除恐惧和焦虑等。
3、归属和爱的需要(belongingness and love need):一个人要求与其他人建立感情的联系或关系。例子:结交朋友、追求爱情。
4、尊重的需要(esteem need):马斯洛分为两类:(一) 尊重自己(尊严、成就、掌握、独立)和(二) 对他人的名誉或尊重(例如地位、威望)。
5、认知需求(Cognitive needs):知识和理解、好奇心、探索、意义和可预测性需求。
6、审美需求(Aesthetic needs):欣赏和寻找美,平衡,形式等。
7、自我实现的需要(self -actualization need):人们追求实现自己的能力或者潜能,并使之完善化。
8、超越需要(Transcendence needs):一个人的动机是超越个人自我的价值观。
注意
1、从上到下分别是从低级到高级的需要,产生的力量也由强到弱。
2、教材上说生理的需要是指衣食住行,虽然和这里说的不太一样,但是在考试时认为是对的。
3、只需要理解记住标红色的 5 种需要就好了。
# 双因素理论
保健因素的内容包括公司的政策与管理、监督、工资、同事关系和工作条件等。这些因素都是工作以外的因素,如果满足这些因素,能消除不满情绪,维持原有的工作效率,但不能激励人们更积极的行为。
激励因素与工作本身或工作内容有关,包括成就、赞赏、工作本身的意义及挑战性、责任感、晋升、发展等。这些因素如果得到满足,可以使人产生很大的激励,若得不到满足,也不会像保健因素那样产生不满情绪。
赫茨伯格双因素理论的核心在于:“只有激励因素才能够给人们带来满意感,而保健因素只能消除人们的不满,但不会带来满意感” 这一论断,因此如何认定与分析激励因素和保健因素并 “因材施政” 这才是关键。比如就销售从员的工资薪金设计来说,按照双因素理论,应该划分为基础工资与销售提成两部分,基础工资应属于保健因素,销售提成则属激励因素,对销售人员而言,通常做法是低工资高提成,这样才能促使销售人员尽可能的多做业务。
# 项目的定义
为创造独特的产品、服务或成果而进行的临时性工作。
临时性:项目都有明确的开始和完成时间。
独特性:世界上没有两个完全相同的项目。
渐进明细性:前期只能粗略定义,然后逐渐明朗,完善和精确。
注意
教材上说项目的特点是临时性、独特性和不确定性,这个说法也是对的。
# 如何开始一个项目
1、项目中的关键因素:范围(scope)、时间(time)、成本(cost)、质量(quantity)。
2、启动 - “六拍”
老板拍脑门想出一个想法 -> 任命员工时拍了拍员工的肩膀 -> 员工拍了拍胸脯保证 -> 老板看到项目做得不好拍桌子 -> 员工拍拍屁股走人 -> 老板后悔了拍大腿
3、规划 - “三边”
边设计、边实施、边修改
4、执行 - “四没”
没问题、没关系、没办法、没资源
5、监控 - “只谈”
项目初期,只谈成本 -> 项目中期,只谈进度 -> 验收阶段,客户只谈质量
# 五大过程组
# 十大知识领域
# 十五至尊图
| 十过程 | 启动 | 规划 | 执行 | 监控 | 收尾 |
|---|---|---|---|---|---|
| 整合管理 | 制定项目章程 | 制定项目管理计划 | 指导与管理项目工作 管理项目知识 | 监控项目工作 实施整体变更控制 | 结束项目或阶段 |
| 范围管理 | 规划范围管理 收集需求 范围定义 创建 WBS | 确认范围 控制范围 | |||
| 进度管理 | 规划进度管理 定义活动 排列活动顺序 估算活动持续时间 制定进度计划 | 控制进度 | |||
| 成本管理 | 规划成本管理 估算成本 制定预算 | 控制成本 | |||
| 质量管理 | 规划质量管理 | 管理质量 | 控制质量 | ||
| 资源管理 | 规划资源管理 估算活动资源 | 获取资源 建设团队 管理团队 | 控制资源 | ||
| 沟通管理 | 规划沟通管理 | 管理沟通 | 监督沟通 | ||
| 风险管理 | 规划风险管理 识别风险 实施定性风险分析 实施定量风险分析 规划风险应对 | 实施风险应对 | 监督风险 | ||
| 采购管理 | 规划采购管理 | 实施采购 | 控制采购 | ||
| 干系人管理 | 识别干系人 | 规划干系人参与 | 管理干系人参与 | 监督干系人参与 |
# project 和 program 的区别
| project | program | |
|---|---|---|
| 概念 | project 是可数名词,作为 “项目” 可以定义为 “创建一个独特产品或服务的临时承诺”。一个 “project 项目” 有明确的起点和终点,当达到目标时,就意味着项目完成了。 | program 是可数名词,它所指的 “项目” 是 “由一组相关项目组成的大项目”。也就是说一个 “大项目 program” 包括了多个 “小项目 projects”。program 还可以被理解为 “计划、工程”,其概念都比 project 要大。 |
| 项目结构 | project 通常有明确的定义,有一个 “project charter 项目章程”,明确规定项目的范围和目标是什么。 | program 的结构则往往具有更大的不确定性。 |
| 团队努力的方式 | project 是一组人组成一个团队,朝着一个共同的目标努力。 | program 是由多个 project 团队组成,每个 project 会有自己的目标,可能在有些方面会重叠或相互牵连,通过管理和协调,最终帮助整个program达到总体目标。 |
| 持续时间 | 有些 project 可以持续好几年,但是大部分 project 都比较短,几天,几周或几个月。 | program 通常会需要更长的时间,往往被分成好几个阶段,逐渐完成。 |
| 最终的利益 | project 有明确的目标,多数情况下是可以量化的东西,比如:开发出了新产品,开了新分店等等。 | program 相比之下,关注的是不同项目 project 成果的总合,结果可能会是企业策略或企业文化的改变,或者公司内部运营系统的变动。 |
# 法律法规
# 招标投标法
招标:买,投标:卖。
🍄 在中华人民共和国境内进行下列工程建设项目包括项目的勘察、设计、施工、监理以及与工程建设有关的重要设备、材料等的采购,必须进行招标:
(一)大型基础设施、公用事业等关系社会公共利益、公众安全的项目;
(二)全部或者部分使用国有资金投资或者国家融资的项目;
(三)使用国际组织或者外国政府贷款、援助资金的项目。
🍄 招标投标活动应当遵循公开、公平、公正和诚实信用的原则。
🍄 依法必须进行招标的项目,其招标投标活动不受地区或者部门的限制。任何单位和个人不得违法限制或者排斥本地区、本系统以外的法人或者其他组织参加投标,不得已任何方式非法干涉招标投标活动。
🍄 招标项目按照国家有关规定需要履行项目审批手续的,应当先履行审批手续,取得批准。招标人应当有进行招标项目的相应资金或者资金来源已经落实,并应当在招标文件中如实载明。
🍄 招标分为公开招标和邀请招标。
🍄 国务院发展计划部门确定的国家重点项目和省、自治区、直辖市人民政府确定的地方重点项目不适宜公开招标的,经国务院发展计划部门或者省、自治区、直辖市人民政府批准,可以进行邀请招标。
🍄 招标人有权自行选择招标代理机构,委托其办理招标事宜。任何单位和个人不得以任何方式为招标人指定招标代理机构。招标人具有编制招标文件和组织评标能力的,可以自行办理招标事宜。任何单位和个人不得强制其委托招标代理机构办理招标事宜。
🍄 招标代理机构与行政机关和其他国家机关不得存在隶属关系或者其他利益关系。
🍄 招标人采用公开招标方式的,应当发布招标公告。依法必须进行招标的项目的招标公告,应当通过国家指定的报刊、信息网络或者其他媒介发布。招标公告应当载明招标人的名称和地址、招标项目的性质、数量、实施地点和时间以及获取招标文件的办法等事项。
🍄 招标人采用邀请招标方式的,应当向三个以上具备承担招标项目的能力、资信良好的特定的法人或者其他组织发出投标邀请书。
🍄 招标人应当根据招标项目的特点和需要编制招标文件。招标文件应当包括招标项目的技术要求、对投标人资格审查的标准、投标报价要求和评标标准等所有实质性要求和条件以及拟签订合同的主要条款。
🍄 招标人不得向他人透露已获取招标文件的潜在投标人的名称、数量以及可能影响公平竞争的有关招标投标的其他情况。招标人设有标底的,标底必须保密。
🍄 招标人对已发出的招标文件进行必要的澄清或者修改的,应当在招标文件要求提交投标文件截止时间至少十五日前,以书面形式通知所有招标文件收受人。该澄清或者修改的内容为招标文件的组成部分。
🍄 招标人应当确定投标人编制投标文件所需要的合理时间;但是,依法必须进行招标的项目,自招标文件开始发出之日起至投标人提交投标文件截止之日止,最短不得少于二十日。
🍄 投标人应当按照招标文件的要求编制投标文件。投标文件应当对招标文件提出的实质性要求和条件做出响应。
🍄 投标人应当在招标文件要求提交投标文件的截止时间前,将投标文件送达投标地点。招标人收到投标文件后,应当签收保存,不得开启。投标人少于三个的,招标人应当依照本法重新招标。在招标文件要求提交投标文件的截止时间后送达的投标文件,招标人应当拒收。
🍄 投标人在招标文件要求提交投标文件的截止时间前,可以补充、修改或者撤回已提交的投标文件,并书面通知招标人。补充、修改的内容为投标文件的组成部分。
🍄 投标人根据招标文件载明的项目实际情况,拟在中标后将中标项目的部分非主体、非关键性工作进行分包的,应当在投标文件中载明。
🍄 两个以上法人或者其他组织可以组成一个联合体,以一个投标人的身份共同投标。
联合体各方均应当具备承担招标项目的相应能力。
由同一专业的单位组成的联合体,按照资质等级较低的单位确定资质等级。
联合体中标的,联合体各方应当共同与招标人签订合同,就中标项目向招标人承担连带责任。
招标人不得强制投标人组成联合体共同投标,不得限制投标人之间的竞争。
🍄 投标人不得以低于成本的报价竞标,也不得以他人名义投标或者以其他方式弄虚作假,骗取中标。
🍄 开标应当在招标文件确定的提交投标文件截止时间的同一时间公开进行;开标地点应当为招标文件中预先确定的地点。
🍄 评标由招标人依法组建的评标委员会负责。
依法必须进行招标的项目,其评标委员会由招标人的代表和有关技术、经济等方面的专家组成,成员人数为五人以上单数,其中技术、经济等方面的专家不得少于成员总数的三分之二。
评标委员会成员的名单在中标结果确定前应当保密。
🍄 招标人根据评标委员会提出的书面评标报告和推荐的中标候选人确定中标人。招标人也可以授权评标委员会直接确定中标人。
🍄 中标人的投标应当符合下列条件之一:
能够最大限度地满足招标文件中规定的各项综合评价标准;
能够满足招标文件的实质性要求,并且经评审的投标价格最低;但是投标价格低于成本的除外。
🍄 中标人确定后,招标人应当向中标人发出中标通知书,并同时将中标结果通知所有未中标的投标人。中标通知书对招标人和中标人具有法律效力。中标通知书发出后,招标人改变中标结果的,或者中标人放弃中标项目的,应当依法承担法律责任。
🍄 招标人和中标人应当自中标通知书发出之日起三十日内,按照招标文件和中标人的投标文件订立书面合同。
🍄 中标人按照合同约定或者经招标人同意,可以将中标项目的部分非主体、非关键性工作分包给他人完成。接受分包的人应当具备相应的资格条件,并不得再次分包。中标人应当就分包项目向招标人负责,接受分包的人就分包项目承担连带责任。
🍄 有下列情形之一的,可以不进行招标:
(一)需要采用不可替代的专利或者专有技术;
(二)采购人依法能够自行建设、生产或者提供;
(三)已通过招标方式选定的特许经营项目投资人依法能够自行建设、生产或者提供;
(四)需要向原中标人采购工程、货物或者服务,否则将影响施工或者功能配套要求;
(五)国家规定的其他特殊情形。
🍄 指定媒介发布依法必须进行招标的项目的境内资格预审公告、招标公告,不得收取费用。
🍄 招标人应当按照资格预审公告、招标公告或者投标邀请书规定的时间、地点发售资格预审文件或者招标文件。资格预审文件或者招标文件的发售期不得少于 5 日。招标人发售资格预审文件、招标文件收取的费用应当限于补偿印刷、邮寄的成本支出,不得以营利为目的。
🍄 依法必须进行招标的项目提交资格预审申请文件的时间,自资格预审文件停止发售之日起不得少于 5 日。
🍄 资格预审结束后,招标人应当及时向资格预审申请人发出资格预审结果通知书。未通过资格预审的申请人不具有投标资格。通过资格预审的申请人少于 3 个的,应当重新招标。
🍄 招标人可以对已发出的资格预审文件或者招标文件进行必要的澄清或者修改。澄清或者修改的内容可能影响资格预审申请文件或者投标文件编制的,招标人应当在提交资格预审申请文件截止时间至少 3 日前,或者投标截止时间至少 15 日前,以书面形式通知所有获取资格预审文件或者招标文件的潜在投标人;不足 3 日或者 15 日的,招标人应当顺延提交资格预审申请文件或者投标文件的截止时间。
🍄 招标人在招标文件中要求投标人提交投标保证金的,投标保证金不得超过招标项目估算价的 2%。投标保证金有效期应当与投标有效期一致。
🍄 招标人可以自行决定是否编制标底。一个招标项目只能有一个标底。标底必须保密。
🍄 对技术复杂或者无法精确拟定技术规格的项目,招标人可以分两阶段进行招标。
第一阶段,投标人按照招标公告或者投标邀请书的要求提交不带报价的技术建议,招标人根据投标人提交的技术建议确定技术标准和要求,编制招标文件。
第二阶段,招标人向在第一阶段提交技术建议的投标人提供招标文件,投标人按照招标文件的要求提交包括最终技术方案和投标报价的投标文件。
招标人要求投标人提交投标保证金的,应当在第二阶段提出。
🍄 投标人撤回已提交的投标文件,应当在投标截止时间前书面通知招标人。招标人已收取投标保证金的,应当自收到投标人书面撤回通知之日起 5 日内退还。投标截止后投标人撤销投标文件的,招标人可以不退还投标保证金。
🍄 评标完成后,评标委员会应当向招标人提交书面评标报告和中标候选人名单。中标候选人应当不超过 3 个,并标明排序。
🍄 依法必须进行招标的项目,招标人应当自收到评标报告之日起 3 日内公示中标候选人,公示期不得少于 3 日。投标人或者其他利害关系人对依法必须进行招标的项目的评标结果有异议的,应当在中标候选人公示期间提出。招标人应当自收到异议之日起 3 日内作出答复;作出答复前,应当暂停招标投标活动。
🍄 招标人最迟应当在书面合同签订后 5 日内向中标人和未中标的投标人退还投标保证金及银行同期存款利息。
🍄 招标文件要求中标人提交履约保证金的,中标人应当按照招标文件的要求提交。履约保证金不得超过中标合同金额的 10%。
# 政府采购法
🍄 政府采购采用以下方式:
(一)公开招标;
(二)邀请招标;
(三)竞争性谈判;
(四)单一来源采购;
(五)询价;
(六)国务院政府采购监督管理部门认定的其他采购方式。
🍄 公开招标应作为政府采购的主要采购方式。
🍄 符合下列情形之一的货物或者服务,可以依照本法采用邀请招标方式采购:
具有特殊性,只能从有限范围的供应商处采购的;
采用公开招标方式的费用占政府采购项目总价值的比例过大的。
🍄 符合下列情形之一的货物或者服务,可以依照本法采用竞争性谈判方式采购:
(一)招标后没有供应商投标或者没有合格标的或者重新招标未能成立的;
(二)技术复杂或者性质特殊,不能确定详细规格或者具体要求的;
(三)采用招标所需时间不能满足用户紧急需要的;
(四)不能事先计算出价格总额的。
🍄 符合下列情形之一的货物或者服务,可以依照本法采用单一来源方式采购:
(一)只能从唯一供应商处采购的;
(二)发生了不可预见的紧急情况不能从其他供应商处采购的;
(三)必须保证原有采购项目一致性或者服务配套的要求,需要继续从原供应商处添购,且添购资金总额不超过原合同采购金额百分之十的。
🍄 采购的货物规格、标准统一、现货货源充足且价格变化幅度小的政府采购项目,可以依照本法采用询价方式采购。
🍄 谈判小组由采购人的代表和有关专家共三人以上的单数组成,其中专家的人数不得少于成员总数的三分之二。谈判小组从符合相应资格条件的供应商名单中确定不少于三家的供应商参加谈判,并向其提 供谈判文件。
🍄 询价小组由采购人的代表和有关专家共三人以上的单数组成,其中专家的人数不得少于成员总数的三分之二。询价小组根据采购需求,从符合相应资格条件的供应商名单中确定不少于三家的供应商,并向其发 出询价通知书让其报价。
🍄 采购文件的保存期限为从采购结束之日起至少保存十五年。
🍄 采购人与中标、成交供应商应当在中标、成交通知书发出之日起三十日内,按照采购文件确定的事项签订政府采购合同。
# 民法典合同编
🍄 要约邀请是希望他人向自己发出要约的意思表示。寄送的价目表、拍卖公告、招标公告、招股说明书、商业广告等为要约邀请。商业广告的内容符合要约规定的,视为要约。
🍄 要约以信件或者电报作出的,承诺期限自信件载明的日期或者电报交发之日开始计算。信件未载明日期的,自投寄该信件的邮戳日期开始计算。要约以电话、传真等快速通讯方式作出的,承诺期限自要约到达受要约人时开始计算。
🍄 当事人就有关合同内容约定不明确,依照本法第六十一条的规定仍不能确定的,适用下列规定:
(一)质量要求不明确的,按照国家标准、行业标准履行;没有国家标准、行业标准的,按照通常标准或者符合合同目的的特定标准履行。
(二)价款或者报酬不明确的,按照订立合同时履行地的市场价格履行;依法应当执行政府定价或者政府指导价的,按照规定履行。
(三)履行地点不明确,给付货币的,在接受货币一方所在地履行;交付不动产的,在不动产所在地履行;其他标的,在履行义务一方所在地履行。
(四)履行期限不明确的,债务人可以随时履行,债权人也可以随时要求履行,但应当给对方必要的准备时间。
(五)履行方式不明确的,按照有利于实现合同目的的方式履行。
(六)履行费用的负担不明确的,由履行义务一方负担。
# 著作权法
🍄 著作权属于作者,本法另有规定的除外。
创作作品的公民是作者。
由法人或者其他组织主持,代表法人或者其他组织意志创作,并由法人或者其他组织承担责任的作品,法人或者其他组织视为作者。如无相反证明,在作品上署名的公民、法人或者其他组织为作者。
改编、翻译、注释、整理已有作品而产生的作品,其著作权由改编、翻译、注释、整理人享有,但行使著作权时不得侵犯原作品的著作权。
🍄 两人以上合作创作的作品,著作权由合作作者共同享有。没有参加创作的人,不能成为合作作者。
🍄 合作作品可以分割使用的,作者对各自创作的部分可以单独享有著作权,但行使著作权时不得侵犯合作作品整体的著作权。
🍄 作者的署名权、修改权、保护作品完整权的保护期不受限制。
🍄 公民的作品,其除署名权、修改权、保护作品完整权以外的权利的保护期为作者终生及其死亡后五十年, 截止于作者死亡后第五十年的 12 月 31 日;如果是合作作品,截止于最后死亡的作者死亡后第五十年的 12 月 31 日。
🍄 法人或者其他组织的作品、著作权(署名权除外)由法人或者其他组织享有的职务作品,其除署名权、修改权、保护作品完整权以外的权利的保护期为五十年,截止于作品首次发表后第五十年的 12 月 31 日,但作品自创作完成后五十年内未发表的,本法不再保护。
# 专利法
🍄 专利法规定,发明创造是指发明、实用新型和外观设计。
发明是指对产品、方法或者其改进所提出的新的技术方案。
实用新型是指对产品的形状、构造或者其结合所提出的适于实用的新的技术方案。
外观设计是指对产品的整体或者局部的形状、图案或者其结合以及色彩与形状、图案结合所做出的富有美感并适用于工业应用的新设计。
🍄 发明专利权的期限为二十年,实用新型专利权的期限为十年,外观设计专利权的期限为十五年,均自申请日起计算。
🍄 两个以上的申请人分别就同样的发明创造申请专利的,专利权授予最先申请的人。
🍄 同样的发明创造只能授予一项专利权。但是,同一申请人同日对同样的发明创造既申请实用新型专利又申请发明专利,先获得的实用新型专利权尚未终止,且申请人声明放弃该实用新型专利权的,可以授予发明专利权。
🍄 专利申请权和专利权可以转让。中国单位或者个人向外国人、外国企业或者外国其他组织转让专利申请权或者专利权的,应当依照有关法律、行政法规的规定办理手续。
🍄 任何单位或者个人实施他人专利的,应当与专利权人订立实施许可合同,向专利权人支付专利使用费。被许可人无权允许合同规定以外的任何单位或者个人实施该专利。
🍄 授予专利权的发明和实用新型,应当具备新颖性、创造性和实用性。
新颖性,是指该发明或者实用新型不属于现有技术;也没有任何单位或者个人就同样的发明或者实用新型在申请日以前向国务院专利行政部门提出过申请,并记载在申请日以后公布的专利申请文件或者公告的专利文件中。
创造性,是指与现有技术相比,该发明具有突出的实质性特点和显著的进步,该实用新型具有实质性特点和进步。
实用性,是指该发明或者实用新型能够制造或者使用,并且能够产生积极效果。
🍄 对下列各项,不授予专利权:
(一)科学发现;
(二)智力活动的规则和方法;
(三)疾病的诊断和治疗方法;
(四)动物和植物品种;
(五)原子核变换方法以及用原子核变换方法获得的物质;
(六)对平面印刷品的图案、色彩或者二者的结合作出的主要起标识作用的设计。
对前款第(四)项所列产品的生产方法,可以依照本法规定授予专利权。
🍄 国务院专利行政部门收到专利申请文件之日为申请日。如果申请文件是邮寄的,以寄出的邮戳日为申请日。
# 商标法
🍄 两个以上的自然人、法人或者其他组织可以共同向商标局申请注册同一商标,共同享有和行使该商标专用权。
🍄 注册商标的有效期为十年,自核准注册之日起计算。
🍄 注册商标有效期满,需要继续使用的,商标注册人应当在期满前十二个月内按照规定办理续展手续;在此期间未能办理的,可以给予六个月的宽展期。每次续展注册的有效期为十年,自该商标上一届有效期满次日起计算。期满未办理续展手续的,注销其注册商标。
# 网络安全法
🍄 国家实行网络安全等级保护制度。网络运营者应当按照网络安全等级保护制度的要求,履行下列安全保护义务,保障网络免受干扰、破坏或者未经授权的访问,防止网络数据泄露或者被窃取、篡改:
(一)制定内部安全管理制度和操作规程,确定网络安全负责人,落实网络安全保护责任;
(二)采取防范计算机病毒和网络攻击、网络侵入等危害网络安全行为的技术措施;
(三)采取监测、记录网络运行状态、网络安全事件的技术措施,并按照规定留存相关的网络日志不少于六个月;
(四)采取数据分类、重要数据备份和加密等措施;
(五)法律、行政法规规定的其他义务。
🍄 网络产品、服务应当符合相关国家标准的强制性要求。
网络产品、服务的提供者不得设置恶意程序;发现其网络产品、服务存在安全缺陷、漏洞等风险时,应当立即采取补救措施,按照规定及时告知用户并向有关主管部门报告。
网络产品、服务的提供者应当为其产品、服务持续提供安全维护;在规定或者当事人约定的期限内,不得终止提供安全维护。
网络产品、服务具有收集用户信息功能的,其提供者应当向用户明示并取得同意;涉及用户个人信息的,还应当遵守本法和有关法律、行政法规关于个人信息保护的规定。
🍄 关键信息基础设施的运营者应当自行或者委托网络安全服务机构对其网络的安全性和可能存在的风险每年至少进行一次检测评估,并将检测评估情况和改进措施报送相关负责关键信息基础设施安全保护工作的部门。
🍄 网络运营者不得泄露、篡改、毁损其收集的个人信息;未经被收集者同意,不得向他人提供个人信息。但是,经过处理无法识别特定个人且不能复原的除外。
# 数据安全法
🍄 国家建立数据分类分级保护制度,根据数据在经济社会发展中的重要程度,以及一旦遭到篡改、破坏、泄露或者非法获取、非法利用,对国家安全、公共利益或者个人、组织合法权益造成的危害程度,对数据实行分类分级保护。国家数据安全工作协调机制统筹协调有关部门制定重要数据目录,加强对重要数据的保护。
🍄 国家建立数据安全应急处置机制。发生数据安全事件,有关主管部门应当依法启动应急预案,采取相应的应急处置措施,防止危害扩大,消除安全隐患,并及时向社会发布与公众有关的警示信息。
🍄 国家建立数据安全审查制度,对影响或者可能影响国家安全的数据处理活动进行国家安全审查。
# 第一章 信息化发展
# 信息与信息化
# 信息的定义
信息是指音讯、消息、信息系统传输和处理的对象,泛指人类社会传播的一切内容。
信息(Information)是物质、能量及其属性的标示的集合,是确定性的增加。它以物质介质为载体,传递和反映世界各种事 物存在方式、运动状态等的表征。信息不是物质,也不是能力,它以一种普遍形式,表达物质运动规律,在客观世界中大量存在、产生和传递。
1948年,数学家香农(ClaudeE.Shannon)在题为《通信的数学理论》的论文中指出:"信息是用来消除随机不定性的东西“。信息量的单位为比特(bit)。
# 信息的特征与质量
# 信息的传输模型
信息是有价值的一种客观存在,信息只有流动起来,才能体现其价值。信息的传输通过信息传输技术(通常指通信、网络等)来实现, 信息的传输模型如图所示。
关注下编码器和译码器分别包含哪些。
当信源和信宿已给定,信道也已选定后,决定信息系统性能的关键就在于编码器和译码器。设计一个信息系统时,除了选择信道和设计其附属设施外,主要工作也就是设计编码和译码器。一般情况下,信息系统的主要性能指标是有效性和可靠性。有效性就是在系统中传送尽可能多的信息;而可靠性是要求信宿收到的信息尽可能地与信源发出的信息一致,或者说失真尽可能小。为了提高可靠性,可以在信息编码时增加冗余编码,犹如 “重要的话说三遍”,恰当的冗余编码可以在信息受到噪声侵扰时被恢复,而过量的冗余编码将降低信道的有效性和信息传输速率。
概括起来,信息系统的基本规律应包括信息的度量、信源特性和信源编码、信道特性和信道编码、检测理论、估计理论以及密码学。
# 系统及其特性
# 信息系统及其特性
信息系统是由相互联系、相互依赖、相互作用的事物或过程组成的具有整体功能和综合行为的统一体。
简单地说,信息系统就是通过输入数据,然后进行加工处理,最后产生信息的系统。面向管理和支持生产是信息系统的显著特点。
信息系统的组成部件包括硬件、软件、数据库、网络、存储设备、感知设备、外设、人员以及把数据处理成信息的规程等。从用途类型来划分,信息系统一般包括电子商务系统、事务处理系统、管理信息系统、生产制造系统、电子政务系统、决策支持系统等。
对于信息系统而言,信息系统的开放性、脆弱性和健壮性(也叫鲁棒性)等特性会表现得比较突出。
# 信息系统生命周期
软件的生命周期通常包括:可行性分析与项目开发计划、需求分析、概要设计、详细设计、编码、测试、系统运行和维护等阶段。可以简化为:系统规划、系统分析、系统设计、系统实施、系统运行和维护等阶段。
注意开发阶段包含系统验收。
# 信息化内涵
信息化是一个过程,与工业化、现代化一样,是一个动态变化的过程。
信息化的核心是要通过全体社会成员的共同努力,在经济和社会各个领域充分应用基于信息技术的先进社会生产工具表现为各种信息系统或软硬件产品),提高信息时代的社会生产力,并推动生产关系和上层建筑的改革(表现为法律、法规、制度、规范、标准、组织结构等),使国家的综合实力、社会的文明程度和人民的生活质量全面提升。
重点关注信息化的基本内涵给人们的启示。
# 信息化体系
国家信息化体系包括信息技术应用、信息费源、信息网络、信息技术和产业、信息化人才、信息化政策法规和标准规范 6 个要素,这 6 个要素的关系构成了一个有机的整体,如图所示。
# 信息化趋势
- 组织信息化趋势
各行业领域组织的信息化是国家经济与社会信息化的基础,组织信息化除驱动和加速组织转型升级和生产力建设外,还呈现出产品信息化、产业信息化、社会生活信息化和国民经济信息化等趋势和方向。
- 国家信息化趋势
# 国家信息化规划
《"十四五" 国家信息化规划》明确了:
① 建设泛在智联的数字基础设施体系;
② 建立高效利用的数据要素资源体系;
③ 构建释放数字生产力的创新发展体系;
④ 培育先进安全的数字产业体系;
⑤ 构建产业数字化转型发展体系;
⑥ 构筑共建共治共享的数字社会治理体系;
⑦ 打造协同高效的数字政府服务体系;
⑧ 构建普惠便捷的数字民生保障体系;
⑨ 拓展互利共赢的数字领域国际合作体系;
⑩ 建立健全规范有序的数字化发展治理体系等重大任务。
# 现代化基础设施
# 新型基础设施建设
2018 年召开的中央经济工作会议,首次提出 "加快 5G 商用步伐,加强人工智能、工业互联网、物联网等新型基础设施建设",简称 "新基建"。"新型基础设施建设" 的提法由此产生,其主要包括 5G 基建、特高压、城际高速铁路和城际轨道交通、新能源汽车充电桩、大数据中心、人工智能、工业互联网等七大领域。
# 概念定义
新型基础设施是以新发展理念为引领,以技术创新为驱动,以信息网络为基础,面向高质量发展需要,提供数字转型、智能 升级、融合创新等服务的基础设施体系。目前,新型基础设施主要包括如下三个方面。
新型基础设施建设更加侧重于突出产业转型升级的新方向,无论是人工智能还是物联网,都体现出加快推进产业高质量发展的大趋势。国家 "十四五” 规划中提出持续加快建设新型基础设施:
# 工业互联网
工业互联网(Industriallnternet)是新一代信息通信技术与工业经济深度融合的新型基础设施、应用模式和工业生态,通过对人、机、物、系统等的全面连接,构建起覆盖全产业链、全价值链的全新制造和服务体系,为工业乃至产业数字化、网络化、智能化发展提供了实现途径,是第四次工业革命的重要基石。
# 内涵和外延
工业互联网不是互联网在工业的简单应用,是具有更为丰富的内涵和外延。它既是工业数字化、网络化、智能化转型的基础设施,也是互联网、大数据、人工智能与实体经济深度融合的应用模式,同时也是一种新业态、新产业,将重塑企业形态、供应链和产业链。
# 平台体系
工业互联网平台体系具有四大层级:它以网络为基础,平台为中枢,数据为要素,安全为保障。
1. 网络是基础
工业互联网网络体系包括网络互联、数据互通和标识解析三部分。
① 网络互联实现要素之间的数据传输,包括企业外网和企业内网。
② 数据互通是通过对数据进行标准化描述和统一建模,实现要素之间传输信息的相互理解,数据互通涉及数据传输、数据语义语法等不同层面。
③ 标识解析体系实现要素的标记、管理和定位,由标识编码、标识解析系统和标识数据服务组成,通过为物料、机器、产品等物理资源和工序、软件、模型、数据等虚拟资源分配标识编码,实现物理实体和虚拟对象的逻辑定位和信息查询,支撑跨企业、跨地区、跨行业的数据共享共用。
2. 平台是中枢
工业互联网平台体系包括边缘层、IaaS、PaaS 和 SaaS 四个层级,相当于工业互联网的 "操作系统”,它有四个主要作用:
① 数据汇聚。网络层面采集的多源、异构、海量数据,传输至工业互联网平台,为深度分析和应用提供基础。
② 建模分析。提供大数据、人工智能分析的算法模型和物理、化学等各类仿真工具,结合数字挛生、工业智能等技术,对海量数据挖掘分析,实现数据驱动的科学决策和智能应用。
③ 知识复用。将工业经验知识转化为平台上的模型库、知识库,并通过工业微服务组件方式,方便二次开发和重复调用,加速共性能力沉淀和普及。
④ 应用创新。面向研发设计、设备管理、企业运营、资源调度等场景,提供各类工业App、云化软件,帮助企业提质增效。
IaaS:基础设施即服务,服务器、存储、算力等。
PaaS:平台即服务,操作系统、数据库管理系统等。
SaaS:软件即服务。
3. 数据是要素
工业互联网数据有三个特性:
① 重要性。数据是实现数字化、网络化、智能化的基础,没有数据的采集、流通、汇聚、计算、分析,各类新模式就是无源之水,数字化转型也就成为无本之木。
② 专业性。工业互联网数据的价值在于分析利用,分析利用的途径必须依赖行业知识和工业机理。制造业千行百业、千差万别,每个模型、算法背后都需要长期积累和专业队伍,只有深耕细作才能发挥数据价值。
③ 复杂性。工业互联网运用的数据来源于 "研产供销服” 各环节,"人机料法环” 各要素,ERP、MES、PLC等各系统,维度和复杂度远超消费互联网,面临采集困难、格式各异、分析复杂等挑战。
4. 安全是保障
工业互联网安全体系涉及设备、控制、网络、平台、工业 App、数据等多方面网络安全问题,其核心任务就是要通过监测预警、应急响应、检测评估、功能测试等手段确保工业互联网健康有序发展。与传统互联网安全相比,工业互联网安全具有三大特点:
① 涉及范围广。工业互联网打破了传统工业相对封闭可信的环境,网络攻击可直达生产一线。联网设备的爆发式增长和工业互联网平台的广泛应用,使网络攻击面持续扩大。
② 造成影响大。工业互联网涵盖制造业、能源等实体经济领域,一旦发生网络攻击、破坏行为,安全事件影响严重。
③ 企业防护基础弱。目前我国广大工业企业安全意识、防护能力仍然薄弱,整体安全保障能力有待进一步提升。
# 融合应用
工业互联网融合应用推动了一批新模式、新业态孕育兴起,提质、增效、降本、绿色、安全发展成效显著,初步形成了六大类典型应用模式。
# 城市物联网
物联网(Internet of Things, IoT)是指通过信息传感设备,按约定的协议,将任意物体与网络相连接,物体通过信息传播媒介进行信息交换和通信,以实现智能化识别、定位、跟踪、监管等功能。通信与识别、智能化、互联性是其主要特征。
智慧城市(Smart City)是指在城市规划、设计、建设、管理与运营等领域中,通过物联网、云计算、大数据、空间地理信息集成等智能计算技术的应用,使得城市管理、教育、医疗、房地产、交通运输、公用事业和公众安全等城市组成的关键基础设施组件和服务更互联、高效和智能,从而为市民提供更美好的生活和工作服务,为企业创造更有利的商业发展环境,为政府赋能更高效的运营与管理机制。系统感知、传递可靠、高度智能等是智慧城市重要特征。
# 应用场景
智慧城市是物联网解决方案的主要应用场景之一。城市物联网的典型应用领域包括智慧物流、智能交通、智能安防、智慧能源环保、智能医疗、智慧建筑、智能家居和智能零售等。
仓储管理常用的两种技术:LoRa、NB-IoT。
# 产业现代化
# 农业农村现代化
实现农业农村现代化是全面建设社会主义现代化国家的重大任务,需要将先进技术、现代装备、管理理念等引入农业,将基础设施和基本公共服务向农村延伸覆盖,提高农业生产效率,改善乡村面貌,提升农民生活品质,促进农业全面升级、农村全面进步、农民全面发展。
1. 农业现代化
2. 乡村振兴战略
# 工业现代化
1. 两化融合
两化融合是信息化和工业化的高层次的深度结合,是指以信息化带动工业化、以工业化促进信息化,走新型工业化道路;两化融合的核心就是信息化支撑,追求可持续发展模式。
信息化与工业化主要在技术、产品、业务、产业四个方面进行融合。
2. 智能制造
智能制造(IntelligentManufacturing,IM)是基于新一代信息通信技术与先进制造技术深度融合,贯穿于设计、生产、管理、服务等制造活动的各个环节,具有自感知、自学习、自决策、自执行、自适应等功能的新型生产方式。智能制造是一项重要的国家战略,也是各个国家推动新一代工业革命的关注焦点。
智能制造的建设是一项持续性的系统工程,涵盖企业的方方面面。GB/T39116《智能制造能力成熟度模型》明确了智能制造能力建设服务覆盖的能力要素、能力域和能力子域,如图所示。
能力要素提出了智能制造能力成熟度等级提升的关键方面,包括人员、技术、 资源和制造。
制造包括设计、生产、物流、销售和服务 5 个能力域。
GB/T39116《智能制造能力成熟度模型》还规定了企业智能制造能力在不同阶段应达到的水平。成熟度等级分为五个等级,自低向高分别是一级(规划级)、二级(规范级)、三级(集成级)、四级(优化级)和五级(引领级)。较高的成熟度等级涵盖了低成熟度等级的要求,如图所示。
# 服务现代化
现代服务业是相对于传统服务业而言,适应现代人和现代城市发展的需求,而产生和发展起来的具有高技术含量和高文化含量的服务业。现代化服务业主要包括四大类:
① 基础服务(包括通信服务和信息服务);
② 生产和市场服务(包括金融、物流、批发、电子商务、农业支撑服务以及中介和咨询等专业服务);
③ 个人消费服务(包括教育、医疗保健、住宿、餐饮、文化娱乐、旅游、房地产、商品零售等);
④ 公共服务(包括政府的公共管理服务、基础教育、公共卫生、医疗以及公益性信息服务等)。
1. 融合形态
先进制造业与现代服务业的融合,主要表现出结合型融合、绑定型融合和延伸型融合。
2. 消费互联网
消费互联网是以个人为用户,以日常生活为应用场景的应用形式,满足消费者在互联网中的消费需求而生的互联网类型。消费互联网以消费者为服务中心,针对个人用户提升消费过程的体验,在人们的阅读、出行、娱乐、生活等诸多方面进行改善,让生活变得更方便、更快捷。消费互联网本质是个人虚拟化,增强个人生活消费体验。
消费互联网依托于强大的信息与数据处理能力以及多样化的移动终端,在电子商务、社交网络、搜索引擎等行业出现规模化 发展态势并形成各自的生态圈,奠定了稳定的行业发展格局。消费互联网具有的属性包括:
媒体属性:由自媒体、社会媒体以及资讯为主的门户网站。
产业属性:由在线旅行和为消费者提供生活服务的电子商务等其他组成(带动产业发展)。
# 数字中国
数字中国主要包括 "宽带中国"、互联网+、大数据、云计算、人工智能、数字经济、电子政务、新型智慧城市、数字乡村等内容。
# 数字经济
数字经济是继农业经济、工业经济之后的更高级经济形态。从本质上看,数字经济是一种新的技术经济范式,它建立在信息与通信技术的重大突破的基础上,以数字技术与实体经济融合驱动的产业梯次转型和经济创新发展的主引擎,在基础设施、生产要素、产业结构和治理结构上表现出与农业经济、工业经济显著不同的新特点。
1. 新技术经济范式
范式是一种公认的理论框架,可以基于某方面的范式解决问题。数字经济的技术经济范式的结构主要包括驱动力、新结构、价值创造和经济增长。
2. 主要内容构成
从产业构成来看,数字经济包括数字产业化和产业数字化两大部分。《数字经济及其核心产业统计分类(2021)》给出了数字经济具体分类,分别是:数字产品制造业、数字产品服务业、数字技术应用业、数字要素驱动业和数字化效率提升业,其中,前 4 类为数字产业化部分,第 5 类为产业数字化部分。
从整体构成上看,数字经济包括数字产业化、产业数字化、数字化治理和数据价值化四个部分。
# 数字政府
数字政府通常是指以新一代信息技术为支撑,以 “业务数据化、数据业务化” 为着力点,通过数据驱动重塑政务信息化管理架构、业务架构和组织架构,形成 ”用数据决策、数据服务、数据创新“ 的现代化治理模式。
1. 数字新特征
2. 主要内容
数字政府从面向社会大众政务服务视角来看,主要内容重点体现在 “一网通办” ”跨省通办” “一网统管”。
# 数字社会
1. 数字民生
随着互联网、物联网、大数据、区块链和人工智能交汇融合,集群互动形成一种呈指数级增长的信息技术体系,使得传统生产方式优化升级,在触发经济发展结构变革的同时,正以一种前所未有的势头向政治、文化、生活等民生领域延伸,将 "人” 与 “公共服务” 通过数字化的方式全面连接,将大幅提升社会整体服务效率和水平,实现数字民生。
数字民生建设重点通常强调:
2. 智慧城市
智慧城市是运用信息通信技术,有效整合各类城市管理系统,实现城市各系统间信息资源共享和业务协同,推动城市管理和服务智慧化,提升城市运行管理和公共服务水平,提高城市居民幸福感和满意度,实现可持续发展的一种创新型城市。智慧城市从概念提出到落地实践,历经长期建设与发展,我国智慧城市建设数量持续增长。
智慧城市的五个核心能力要素密切关联且相互影响,但不可互为替代,均是开展新一阶段智慧城市整体、局部乃至具体项目建设、运行需要关注的核心能力要素。
智慧城市发展成熟度划分为规划级、管理级、协同级、优化级、引领级 5 个等级。
# 数字乡村
数字乡村是伴随网络化、信息化和数字化在农业农村经济社会发展中的应用,以及农民现代信息技能的提高而内生的农业农村现代化发展和转型进程,既是乡村振兴的战略方向,也是建设数字中国的重要内容。
# 数字生活
数字生活是依托互联网和一系列数字科技技术应用为基础的一种生活方式,可以方便快捷地带给人们更好的生活体验和工作便利。数字生活主要体现在如下方面。
# 数字生态
随着新一代信息技术创新和迭代速度的明显加快,其在提高社会生产力、优化资源配置等方面的作用日益凸显。营造良好数字生态,有利于充分激发数字技术的创新活力、要素潜能发展空间,引领和驱动经济结构调整、产业发展升级、消费需求增长、治理格局优化,为加快建设数字经济、数字社会、数字政府提供良好环境和有力支撑。特别要看到,世界主要国家均把信息化作为国家战略重点和优先发展方向,通过优化数字生态加快推动数字化转型发展。《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》指出 ”坚持放管并重,促进发展与规范管理相统一,构建数字规则体系,营造开放、健康、安全的数字生态“。
# 数字化转型与元宇宙
# 数字化转型
数字化转型是建立在数字化转换、数字化升级基础上,进一步触及组织核心业务,以新建一种业务模式为目标的高层次转型。数字化转型是开发数字化技术及支持能力以新建一个富有活力的数字化商业模式,只有组织对其业务进行系统性、彻底的(或重大和完全的)重新定义,而不仅仅是 IT,而是对组织活动、流程、业务模式和员工能力的方方面面进行重新定义的时候,成功才会得以实现。
1. 驱动因素(非重点)
2. 基本原理
数字经济时代,经济与社会竞争的进一步加剧,传统发展视角下的竞争力与竞争优势的保持和增强等方法,越来越难以支撑组织的发展需求,主要体现在:
3. 智慧转移
DIKW(S8D)模型很好地诠释了数据(Data)、信息(Information)、知识(Knowledge)和智慧(Wisdom)之间的关系, 并揭示了它们的转化过程与方法。S8D 模型就是基于 DIKW 模型,构筑了 “智慧一数据” “数据一智慧“ 两大过程的 8 个转化活动。
4. 持续迭代
组织数字化转型需要在能力因子不断细化的基础上,针对能力因子的数字化转型实施迭代,可类比为整体数字化转型与局部数字转型的关系。组织每个能力因子数字化 “封装” 的持续迭代主要包含四项活动,即:信息物理世界建设、决策能力边际化部署、科学社会物理赛博机制构筑、数字框架与信息调制。
# 元宇宙
元宇宙(Metaverse)是一个新兴概念,是一大批技术的集成。
1. 主要特征
随着虚拟现实、人工智能、数字挛生、云计算等关键技术逐步迭代发展,用户对更沉浸的虚拟世界有了更深入、更丰富的需求。元宇宙的流行是互联网发展到了一定的高度,也可以认为是互联网发展的另一阶段。元宇宙的主要特征包括:
2. 发展演进
元宇宙作为多技术的集成融合和现实世界虚拟化,其发展一方面受到各类技术创新、发展和演进的影响,另一方面受经济与社会发展进程的约束。从互联网发展的基本规律和数字化转型进程来看,元宇宙首先会在社交、娱乐和文化领域发展,形成虚拟 “数字人”,逐步再向虚拟身份方向演进,形成 ”数字人生”,此时的元宇宙偏向个体用户需求。但随着元宇宙中虚拟经济的发展和现实中组织数字化转型的深入,元宇宙向 “数字组织” 领域延伸,从而影响现实世界的经济与社会发展整体数字化转型升级,形成 “数字生态”。之后伴随相关法律法规、标准规范的生成,网信事业的发展以及网络文明的进一步完善,元宇宙的虚拟世界形态持续迭代,形成 “数字社会治理”,实现物理空间、社会空间和信息空间三元空间的协同发展新格局。
# 第二章 信息技术发展
# 信息技术及其发展
按表现形态的不同,信息技术可分为硬技术(物化技术)与软技术(非物化技术)。前者指各种信息设备及其功能,如传感器、服务器、智能手机、通信卫星、笔记本电脑等。后者指有关信息获取与处理的各种知识、 方法与技能,如语言文字技术、数据统计分析技术、规划决策技术、计算机软件技术等。
# 计算机软硬件
计算机硬件(Computer Hardware)是指计算机系统中由电子、机械和光电元件等组成的各种物理装置的总称。这些物理装置按系统结构的要求构成一个有机整体,为计算机软件运行提供物质基础。
计算机软件(Computer Software)是指计算机系统中的程序及其文档,程序是计算任务的处理对象和处理规则的描述;文档是为了便于了解程序所需的阐明性资料。程序必须安装入机器内部才能工作,文档一般是给人看的,不一定安装入机器。
硬件和软件互相依存。硬件是软件赖以工作的物质基础,软件的正常工作是硬件发挥作用的重要途径。计算机系统必须要配备完善的软件系统才能正常工作,从而充分发挥其硬件的各种功能。硬件和软件协同发展,计算机软件随硬件技术的迅速发展而发展,而软件的不断发展与完善又促进了硬件的更新,两者密切交织发展,缺一不可。随着计算机技术的发展,在许多情况下,计算机的某些功能既可以由硬件实现,也可以由软件来实现。因此硬件与软件在一定意义上说没有绝对严格的界线。
# 1. 计算机硬件
计算机硬件主要分为:控制器、运算器、存储器、输入设备和输出设备。
(1)控制器(Controller)
控制器根据事先给定的命令发出控制信息,使整个电脑指令执行过程一步一步地进行。
控制器是整个计算机的中枢神经,其功能是对程序规定的控制信息进行解释并根据其要求进行控制,调度程序、数据和地址,协调计算机各部分的工作及内存与外设的访问等。
控制器的具体功能主要是:从内存中取出一条指令,并指出下一条指令在内存中的位置,对指令进行译码或测试,并产生相应的操作控制信号,以便启动规定的动作;指挥并控制 CPU、内存和输入/输出设备之间的数据流动方向。
(2)运算器(Arithmetic Unit)
运算器的功能是对数据进行各种算术运算和逻辑运算,即对数据进行加工处理。
运算器的基本操作包括加、减、乘、除四则运算,与、或、非、异或等逻辑操作,以及移位、比较和传送等操作,亦称算术逻辑部件(ALU)。
计算机运行时,运算器的操作和操作种类由控制器决定,运算器接受控制器的命令而进行动作,即运算器所进行的全部操作都是由控制器发出的控制信号来指挥的。
(3)存储器(Memory)
存储器的功能是存储程序、数据和各种信号、命令等信息,并在需要时提供这些信息。
存储器分为:计算机内部的存储器(简称内存)和计算机外部的存储器(简称外存)。
内存储器从功能上可以分为:读写存储器 RAM、只读存储器 ROM 两大类;计算机的外存储器一般有:软盘和软驱、硬盘、光盘等,以及基于 USB 接口的移动硬盘、可擦写电子硬盘(优盘)等。
(4)输入设备(Input Device)
输入设备是计算机的重要组成部分,输入设备与输出设备合称为外部设备,简称外设。
输入设备的作用是将程序、原始数据、文字、字符、控制命令或现场采集的数据等信息输入计算机。
常见的输入设备有键盘、鼠标、麦克风、摄像头、扫描仪、扫码枪、手写板、触摸屏等。
(5)输出设备(Output Device)
输出设备也是计算机的重要组成部分,它把计算机的中间结果或最后结果、机内的各种数据符号及文字或各种控制信号等信息输出出来。
计算机常用的输出设备有显示器、打印机、激光印字机和绘图仪等。
# 2. 计算机软件
计算机软件分为系统软件、应用软件和中间件。
(1)系统软件(System Software)
系统软件是指控制和协调计算机及外部设备,支持应用软件开发和运行的系统,是无须用户干预的各种程序的集合,主要功能是:
① 调度、监控和维护计算机系统;
② 负责管理计算机系统中各种独立的硬件,使得它们可以协调工作。
系统软件使得计算机使用者和其他软件将计算机当作一个整体而不需要顾及底层每个硬件是如何工作的。
(2)应用软件(Application Software)
应用软件是用户可以使用的各种程序设计语言以及用各种程序设计语言编制的应用程序的集合,分为应用软件包和用户程序。
应用软件包是利用计算机为解决某类问题而设计的程序的集合,供多用户使用。
应用软件是为满足用户不同领域、不同问题的应用 需求而提供的软件。
(3)中间件(Middleware)
中间件是处于操作系统和应用程序之间的软件。它使用系统软件所提供的基础服务(功能),衔接网络上应用系统的各个部分或不同的应用,能够达到资源共享和功能共享的目的。
中间件是位于平台(硬件和操作系统)和应用之间的通用服务,这些服务具有标准的程序接口和协议。
针对不同的操作系统和硬件平台,不管底层的计算机硬件和系统软件怎样更新换代,只要将中间件进行升级和更新,并保持中间件对外的接口定义不变,应用软件几乎不需要进行任何修改,从而保证了应用软件的持续稳定运行。
# 计算机网络
# 1. 通信基础
(1)通信系统和模型
一个通信系统包括三大部分:源系统(发送端或发送方)、传输系统(传输网络)和目的系统(接收端或接收方)。
(2)现代通信的关键技术
从总体上看,通信技术实际上就是通信系统和通信网的相关技术。通信系统是指点对点通信所需的全部设施,而通信网是由许多通信系统组成的多点之间能相互通信的全部设施。
而现代的关键通信技术有数字通信技术、信息传输技术、通信网络技术等。
数字通信技术:是用数字信号作为载体来传输消息,或用数字信号对载波进行数字调制后再传输的通信方式。它可传输电报、数字数据等数字信号,也可传输经过数字化处理的语音和图像等模拟信号。
信息传输技术:是主要用于管理和处理信息所采用的各种技术的总称,它主要是应用计算机科学和通信技术来设计、开发、安装和实施信息系统及应用软件;它也常被称为信息和通信技术。
通信网络技术:是指将各个孤立的设备进行物理连接,实现人与人、人与计算机、计算机与计算机之间进行信息交换的链路,从而达到资源共享和通信的目的。
# 2. 网络基础
从网络的作用范围可将网络类别划分为个人局域网(Personal Area Network, PAN)、局域网(Local Area Network, LAN)、城域网(Metropolitan Area Network, MAN)、广域网(Wide Area Network, WAN)。
个人局域网(PAN):个人局域网是指在个人工作的地方把属于个人的电子设备(如便携式电脑等)用无线技术连接起来的自组网络,因此也常称为无线个人局域网 WPAN(Wireless PAN)。从计算机网络的角度来看,PAN 是一个局域网,其作用范围通常在 10m 左右。
局域网(LAN):局域网通常指用微型计算机或工作站通过高速通信线路相连(速率通常在 10Mb/s 以上),其地理范围通常为 1km 左右。通常覆盖一个校园、一个单位、一栋建筑物等。
城域网(MAN):城域网的作用范围可跨越几个街区甚至整个城市,其作用距离约为 5〜50km。
广域网(WAN):广域网使用节点交换机连接各主机,其节点交换机之间的连接链路一般是高速链路,具有较大的通信容量。广域网的作用范围通常为几十公里到几千公里,可跨越一个国家或一个洲进行长距离传输数据。
从网络的使用者角度可以将网络分为公用网(Public Network)与专用网(Private Network)。
公用网:公用网指电信公司出资建造的面向大众提供服务的大型网络,也称为公众网。
专用网:专用网指某个部门为满足本单位的特殊业务工作所建造的网络,这种网络不向本单位以外的人提供服务,如电力、军队、铁路、银行等均有本系统的专用网。
# 3. 网络设备
信息在网络中的传输主要有以太网技术和网络交换技术。
网络交换是指通过一定的设备(如交换机等)将不同的信号或者信号形式转换为对方可识别的信号类型,从而达到通信目的的一种交换形式,常见的有数据交换、线路交换、报文交换和分组交换。
在计算机网络中,按照交换层次的不同,网络交换可以分为物理层交换(如电话网)、链路层交换(二层交换 —— 对 MAC 地址进行变更)、网络层交换(三层交换 —— 对 IP 地址进行变更)、传输层交换(四层交换 —— 对端口进行变更)(比较少见)和应用层交换。
# 4. 网络标准协议
网络协议是为计算机网络中的数据交换构建的规则、标准或约定的集合。网络协议由三个要素组成,分别是语义、语法和时序。
① 语义是解释控制信息每个部分的含义,它规定了需要发出何种控制信息,完成的动作以及做出什么样的响应;
② 语法是用户数据与控制信息的结构与格式,以及数据出现的顺序;
③ 时序是对事件发生顺序的详细说明。
人们形象地将这三个要素描述为:语义表示要做什么,语法表示要怎么做,时序表示做的顺序。
(1)OSI
(2)TCP/IP
Internet 是一个包括成千上万相互协作的组织和网络的集合体。TCP/IP 是 Internet 的核心。TCP/IP 在一定程度上参考了 OSI,它将 OSI 的七层简化为四层:
① 应用层、表示层、会话层三个层次提供的服务相差不是很大,所以在 TCP/IP 中,它们被合并为应用层一个层次。
② 由于传输层和网络层在网络协议中的地位十分重要,所以在 TCP/IP 中它们被作为独立的两个层次。
③ 因为数据链路层和物理层的内容相差不多,所以在 TCP/IP 中它们被归并在网络接口层一个层次里。
FTP(File Transfer Protocol,文件传输协议)是网络上两台计算机传送文件的协议,其运行在 TCP 之上,是通过 Internet 将文件从一台计算机传输到另一台计算机的一种途径。FTP 的传输模式包括 Bin(二进制)和 ASCII(文本文件)两种,除了文本文件之外,都应该使用二进制模式传输。
TFTP(Trivial File Transfer Protocol,简单文件传输协议)是用来在客户机与服务器之间进行简里文件传输的协议,提供不复杂、开销不大的文件传输服务。TFTP 建立在 UDP 之上,提供不可靠的数据流传输服务,不提供存取授权与认证机制,使用超时重传的方式来保证数据的到达。
HTTP(Hypertext Transfer Protocol,超文本传输协议)是用于从 WWW 服务器传输超文本到本地浏览器的传送协议。它可以使浏览器更加高效,使网络的传输量减少。HTTP 建立在 TCP 之上,它不仅保证计算机正确快速地传输超文本文档,还可以确定传输文档中的哪一部分以及哪部分内容首先显示等。
SMTP(Simple Mail Transfer Protocol,简单邮件传输协议)建立在 TCP 之上,是一种提供可靠且有效传输电子邮件的协议。SMTP 是建立在FTP文件传输服务上的一种邮件服务,主要用于传输系统之间的邮件信息并提供与电子邮件有关的通知。
DHCP(Dynamic Host Configuration Protocol,动态主机配置协议)建立在 UDP 之上,是基于客户机/服务器结构而设计的。所有的 IP 网络设定的数据都由 DHCP 服务器集中管理,并负责处理客户端的 DHCP 要求;而客户端则会使用从服务器分配下来的 IP 环境数据。DHCP 分配的 IP 地址可以分为三种方式:固定分配、动态分配和自动分配。
Telnet(远程登录协议)是登录和仿真程序,其建立在 TCP 之上,它的基本功能是允许用户登录并进入远程计算机系统。以前, Telnet 是一个将所有用户输入送到远程计算机进行处理的简单的终端程序。目前,它的一些较新的版本可以在本地执行更多的处理,可以提供更好的响应,并且减少了通过链路发送到远程计算机的信息数量。
DNS(Domain Name System,域名系统)在 Internet 上的域名与 IP 地址之间是一一对应的,域名虽然便于人们记忆,但机器之间只能相互识别 IP 地址,它们之间的转换工作称为域名解析,域名解析需要由专门的域名解析服务器来完成,DNS 就是进行域名解析的服务器。DNS 通过对用户友好的名称来查找计算机和服务。
SNMP(Simple Network Management Protocol,简单网络管理协议)是为了解决 Internet 上的路由器管理问题而提出的,它可以在 IP、IPX、AppleTalk 和其他传输协议上使用。SNMP 是指一系列网络管理规范的集合,包括协议本身、数据结构的定义和一些相关概念。目前,SNMP 己成为网络管理领域中事实上的工业标准,并被广泛支持和应用,大多数网络管理系统和平台都是基于 SNMP 的。
(3)IEEE802 协议族
IEEE802 规范定义了网卡如何访问传输介质(如光缆、双绞线和无线等),以及在传输介质上传输数据的方法,还定义了传输信息的网络设备之间连接的建立、维护和拆除的途径。遵循 IEEE802 标准的产品包括网卡、桥接器、路由器以及其他一些用来建立局域网络的组件。IEEE802 规范包括一系列标准的协议族,其中以太网规范 IEEE802.3 是重要的局域网协议,内容包括:
IEEE802.3,标准以太网,10Mb/s,传输介质为细同轴电缆;
IEEE802.3U,快速以太网,100Mb/s,双绞线;
IEEE802.3Z,千兆以太网,1000Mb/s,光纤或双绞线。
(4)TCP 和 UDP
在 OSI 的传输层有两个重要的传输协议,分别是 TCP(Transmission Control Protocol,传输控制协议)和 UDP(User Datagram Protocol,用户数据报协议),这些协议负责提供流量控制、错误校验和排序服务。
TCP 是整个 TCP/IP 协议族中最重要的协议之一,它在 IP 协议提供的不可靠数据服务的基础上,采用了重发技术,为应用程序提供了一个可靠的、面向连接的、全双工的数据传输服务。TCP 协议一般用于传输数据量比较少且对可靠性要求高的场合。
UDP 是一种不可靠的、无连接的协议,它可以保证应用程序进程间的通信,与 TCP 相比,UDP 是一种无连接的协议,它的错误检 测功能要弱得多。可以这样说,TCP 有助于提供可靠性,而 UDP 则有助于提高传输速率。UDP 协议一般用于传输数据量大,对可靠性要求不是很高,但要求速度快的场合。
# 5. 软件定义网络
正常情况来说,如果需要调整网络流量,需要调整交换机,但是在软件定义的网络中,网络工程师或管理员可以从中央控制台调整流量,而无需接触网络中的各个交换机,无论服务器和设备之间的特定连接如何,集中式 SDN 控制器都会指导交换机在任何需要的地方提供网络服务。
软件定义网络(Software Defined Network,SDN)是一种新型的网络创新架构,SDN 是网络虚拟化的一种实现方式,它可通过软件编程的形式定义和控制网络,其将网络设备的控制面与数据面分离开来,从而实现了网络流量的灵活控制,使网络变得更加智能,为核心网络及应用的创新提供了良好的平台。SDN 被认为是网络领域的一场革命,为新型互联网体系结构研究提供了新的实验途径,也极大地推动了下一代互联网的发展。SDN 的整体架构由下到上(由南到北)分为数据平面、控制平面和应用平面。
控制平面与数据平面之间通过SDN控制数据平面接口进行通信,它具有统一的通信标准,主要负责将控制器中的转发规则下发至转发设备,最主要应用的是 OpenFlow 协议。控制平面与应用平面之间通过SDN北向接口进行通信,而 NBI 并非统一标准,它允许用户根据自身需求定制开发各种网络管理应用。 SDN 中的接口具有开放性,以控制器为逻辑中心,南向接口负责与数据平面进行通信,北向接口负责与应用平面进行通信,东西向接口负责多控制器之间的通信。
# 6. 第五代移动通信技术
第五代移动通信技术(5thGeneration Mobile Communication Technology,5G) 是具有高速率、低时延等特点的新一代移动通信技术。
国际电信联盟(ITU)定义了 5G 的八大指标,与 4G 的对比如下表所示。
注意
在高项第四版中,5G 还具有大连接的特点。因此如果考试中出现大连接,在不违背高速率、低时延特点的情况下,也算是 5G 的特点。
表中要重点记住用户体验速率和峰值速率,其他的可以不用太过关注。
在频段方面,与 4G 支持中低频不同,考虑到中低频资源有限,5G 同时支持中低频和高频频段,其中中低频满足覆盖和容量需求,高频满足在热点区域提升容量的需求,5G 针对中低频和高频设计了统一的技术方案,并支持百兆 Hz 的基础带宽。
通过网络切片满足 5G 差异化需求,网络切片是指从一个网络中选取特定的特性和功能,定制出的一个逻辑上独立的网络,它使得运营商可以部署功能、特性服务各不相同的多个逻辑网络,分别为各自的目标用户服务,目前定义了 3 种网络切片类型,即增强移动宽带、低时延高可靠、大连接物联网。
国际电信联盟(ITU)定义了 5G 的三大类应用场景,即增强移动宽带(eMBB)、超高可靠低时延通信(uRLLC) 和海量机器类通信(mMTC)。
# 存储和数据库
存储是计算机系统的重要组成部分,一般以存储器的方式存在。存储器的主要用途是存放程序和数据,程序是计算机操作的依据,数据是计算机操作的对象。
数据库是数据的仓库,是长期存储在计算机内的有组织的、可共享的数据集合。它的存储空间很大,可以存放百万条、千万条、上亿条数据。但是数据库并不是随意地将数据进行存放,而是有一定的规则的,否则查询的效率会很低。
存储和内存技术对数据库操作产生了巨大影响。存储和数据库系统一直处于相同的发展曲线。随着时间的流逝,SQL(Structured Query Language,结构化查询语言)数据库已经从垂直可扩展的系统发展为 NoSQL(Not only SQL,非关系型)数据库,后者是水平可扩展的分布式系统。同样,存储技术已经从垂直扩展的阵列发展到水平扩展的分布式存储系统。
# 1. 存储技术
存储分类根据服务器类型分为封闭系统的存储和开放系统的存储。
封闭系统主要指大型机等服务器。
开放系统指基于包括麒麟、欧拉、UNIX、Linux等操作系统的服务器。
开放系统的存储分为内置存储和外挂存储。
外挂存储根据连接方式分为直连式存储(Direct Attached Storage,DAS)和网络化存储(Fabric Attached Storage,FAS)。
网络化存储根据传输协议又分为网络接入存储(Network Attached Storage,NAS)和存储区域网络(Storage Area Network,SAN)。
1. DAS(直连式存储)
DAS 也可称为 SAS(Server Attached Storage,服务器附加存储)。DAS 被定义为直接连接在各种服务器或客户端扩展接口下的数据存储设备,它依赖于服务器,其本身是硬件的堆叠,不带有任何存储操作系统。在这种方式中,存储设备是通过电缆(通常是 SCSI 接口电缆)直接到服务器的,I/O(输入/输入)请求直接发送到存储设备。
2. NAS(网络接入存储)
NAS 也称为网络直联存储设备或网络磁盘阵列,是一种专业的网络文件存储及文件备份设备,它是基于 LAN(局域网)的,按照 TCP/IP 协议进行通信,以文件的 I/O 方式进行数据传输。一个 NAS 里面包括核心处理器、文件服务管理工具以及一个或者多个硬盘驱动器,用于数据的存储。
3. SAN(存储区域网络)
SAN 是一种通过光纤集线器、光纤路由器、光纤交换机等连接设备将磁盘阵列、磁带等存储设备与相关服务器连接起来的高速专用子网。SAN 由三个基本的组件构成:接口(如 SCSI、光纤通道、ESCON 等)、连接设备(交换设备、网关、路由器、集线器等)和通信控制协议(如 IP 和 SCSI 等)。这三个组件再加上附加的存储设备和独立的 SAN 服务器,就构成了一个 SAN 系统。
SAN 主要包含 FCSAN 和 IPSAN 两种,FCSAN 的网络介质为光红通道(FibreChannel),IPSAN 使用标准的以太网。采用 IPSAN 可以将 SAN 为服务器提供的共享特性以及 IP 网络的易用性很好地结合在一起,并且为用户提供了类似服务器本地存储的较高性能体验。
DAS、NAS、SAN 等存储模式之间的技术与应用对比如下表。
4. 存储虚拟化
存储虚拟化(Storage Virtualization)是 "云存储" 的核心技术之一,它把来自一个或多个网络的存储资源整合起来,向用户提供一个抽象的逻辑视图,用户可以通过这个视图中的统一逻辑接口来访问被整合的存储资源。
存储虚拟化使存储设备能够转换为逻辑数据存储。虚拟机作为一组文件存储在数据存储的目录中。数据存储是类似于文件系统的逻辑容器。它隐藏了每个存储设备的特性,形成一个统一的模型,为虚拟机提供磁盘。存储虚拟化技术帮助系统管理虚拟基础架构存储资源,提高资源利用率和灵活性,提高应用正常运行时间。
5. 绿色存储
绿色存储(Green Storage)技术是指从节能环保的角度出发,用来设计生产能效更佳的存储产品,降低数据存储设备的功耗,提高存储设备每瓦性能的技术。
绿色存储技术的核心是设计运行温度更低的处理器和更有效率的系统,生产更低能耗的存储系统或组件,降低产品所产生的电子碳化合物,其最终目的是提高所有网络存储设备的能源效率,用最少的存储容量来满足业务需求,从而消耗最低的能源。以绿色理念为指导的存储系统最终是存储容量、性能和能耗三者的平衡。
绿色存储技术涉及所有存储分享技术,包括磁盘和磁带系统、服务器连接、存储设备、网络架构及其他存储网络架构、文件 服务和存储应用软件、重复数据删除、自动精简配置和基于磁带的备份技术等,可以提高存储利用率、降低建设成本和运行成本的 存储技术,其目的是提高所有网络存储技术的能源效率。
# 2. 数据结构模型
数据结构模型是数据库系统的核心。数据结构模型描述了在数据库中结构化和操纵数据的方法,模型的结构部分规定了数据如何被描述(例如树、表等)。模型的操纵部分规定了数据的添加、删除、显示、维护、打印、查找、选择、排序和更新等操作。
常见的数据结构模型有三种:层次模型、网状模型和关系模型。
层次模型和网状模型又统称为格式化数据模型。
1. 层次模型
层次模型是数据库系统最早使用的一种模型,它用 "树" 结构表示实体集之间的关联,其中实体集(用矩形框表示)为结点,而树中各结点之间的连线表示它们之间的关联。在层次模型中,每个结点表示一个记录类型(例如:系/教研室等),记录类型之间的联系用结点之间的连线(有向边)表示,这种联系是父子之间的凸多的联系,这就使得层次数据库系统只能处理一对多的实体联系。每个记录类型可包含若干个字段,这里记录类型描述的是实体,字段描述实体的属性(例如:系编号/系名等)。
在层次模型中,有且只有一个结点没有双亲结点,这个结点称为根节点,同一双亲的子女结点称为兄弟结点,没有子女结点的结点称为叶结点。层次模型的一个基本的特点是任何一个给定的记录值只能按其层次路径查看,没有一个子女记录值能够脱离双亲记录值而独立存在。
2. 网状模型
现实世界中事物之间的联系更多的是非层次关系的,一个事物和另外的几个都有联系,用层次模型表示这种关系很不直观,网状模型克服了这一弊病,可以清晰地表示这种非层次关系。这种用有向图结构表示实体类型及实体间联系的数据结构模型称为网状模型。网状模型突破了层次模型不能表示非树状结构的限制,两个或两个以上的结点都可以有多个双亲结点,将有向树变成了有向图。
网状模型中以记录作为数据的存储单位。记录包含若干数据项。网状数据库的数据项可以是多值的和复合的数据。每个记录有一个唯一标识它的内部标识符,称为码(Data base Key,DBK),它在一个记录存入数据库时由数据库管理系统(DataBase Management System, DBMS)自动赋予。DBK 可以看作记录的逻辑地址,可作记录的 "替身” 或用于寻找记录。网状数据库是导航式(Navigation)数据库,用户在操作数据库时不但说明要做什么,还要说明怎么做。例如在查找语句中不但要说明查找的对象,而且要规定存取路径。
3. 关系模型(数据库系统最常用)
关系模型是在关系结构的数据库中用二维表格的形式表示实体以及实体之间的联系的模型。关系模型是以集合论中的关系概念为基础发展起来的。关系模型中无论是实体还是实体间的联系均由单一的结构类型关系来表示。
关系模型允许设计者通过数据库规范化的提炼,去建立一个信息一致性的模型。访问计划和其他实现与操作细节由 DBMS 引擎来处理,而不反映在逻辑模型中。
关系模型的基本原理是信息原理,即所有信息都表示为关系中的数据值。所以,关系变量在设计时是相互无关联的;反而,设计者在多个关系变量中使用相同的域,如果一个属性依赖于另一个属性,则通过参照完整性来强制这种依赖性。
关系模型-参照完整性
例如,如果在学生表和选修课之间用学号建立关联,学生表是主表,选修课是从表,那么,在向从表中输入一条新记录时,系统要检查新记录的学号是否在主表中已存在,如果存在,则允许执行输入操作,否则拒绝输入,这就是参照完整性。
参照完整性还体现在对主表中的删除和更新操作,例如,如果删除主表中的一条记录,则从表中凡是外键的值与主表的主键值相同的记录也会被同时删除,将此称为级联删除;如果修改主表中主关键字的值,则从表中相应记录的外键值也随之被修改,将此称为级联更新。
参照完整性的体现:不可以在表二中插入 “200103” 数据,因为值 “200103” 在主表中不存在,加入 ”200103” 数据破坏了完整性的原则,也就是破坏了多表间(A 表主码 = B 表外码)的一致性。不同的表相同的列名的数据保持不变,不能单独增加,就算要增加(或删除)也要同时增加(或删除)。
# 3. 常用数据库类型
数据库根据存储方式可以分为关系型数据库(SQL)和非关系型数据库(NoSQL)。
1. 关系型数据库
网状数据库和层次数据库已经很好地解决了数据的集中和共享问题,但是在数据独立性和抽象级别上仍有很大欠缺。用户在对这两种数据库进行存取时,仍然需要明确数据的存储结构,指出存取路径。为解决这一问题,关系型数据库应运而生,它采用了关系模型作为数据的组织方式。
关系数据库是在一个给定的应用领域中,所有实体及实体之间联系的集合。关系型数据库支持事务的 ACID 原则,即原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability),这四种原则保证在事务过程当中数据的正确性。
常见的关系型数据库有:SQLServer、MySQL、ORACLE。
表中的行、列次序并不重要。
关系(表):元组的集合。
属性(列):二维表中的列称为属性,每个属性都有一个属性名。
元组(行):二维表中的每一行数据称为一个元组。
领域:域是指属性的取值范围,例如,性别属性的域为男、女。
主键(关键字):在二维表中,若要唯一标识某一条记录,需要用到键(又称为关键字、码)。例如,学生的学号具有唯一性,学号可以作为学生实体的键。而学生姓名可能存在重名,不适合作为键。通过键可以为两张表建立联系。
2. 非关系型数据库
非关系型数据库是分布式的、非关系型的、不保证遵循 ACID 原则的数据存储系统。NoSQL 数据存储不需要固定的表结构,通常也不存在连接操作。在大数据存取上具备关系型数据库无法比拟的性能优势。
非关系型数据库的主要特征包括:
非结构化的存储;
基于多维关系模型;
具有特定的使用场景。
常见的非关系数据库分为:
键值数据库。类似传统语言中使用的哈希表。可以通过 key 来添加、查询或者删除数据库,因为使用 key 主键访问,所以会获得很高的性能及扩展性。Key/Value 模型对于信息系统来说,其优势在于简单、易部署、高并发,例如,redis。
列存储(Column-oriented)数据库。列存储数据库将数据存储在列族中,一个列族存储经常被一起查询,如人们经常会查询某个人的姓名和年龄,而不是薪资。这种情况下姓名和年龄会被放到一个列族中,薪资会被放到另一个列族中。这种数据库通常用来应对分布式存储海量数据,例如,HBASE。
面向文档(Document-Oriented)数据库。文档型数据库可以看作是键值数据库的升级版,允许之间嵌套键值。文档型数据库比键值数据库的查询效率更高。面向文档数据库会将数据以文档形式存储,例如,mongoDB。
图形数据库。图形数据库允许人们将数据以图的方式存储。实体会被作为顶点,而实体之间的关系则会被作为边。比如有三个实体:Steve Jobs、 Apple 和 Next,则会有两个 Founded by 的边将 Apple 和 Next 连接到 Steve Jobs。
3. 不同类型数据库的优缺点
# 4. 数据仓库
传统的数据库技术在联机事务处理中获得了成功,但缺乏决策分析所需的大量历史数据信息,因为传统的数据库一般只保留当前或近期的数据信息。为了满足人们对预测、决策分析的需要,在传统数据库的基础上产生了能够满足预测、决策分析需要的数据环境-数据仓库。数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合,用于支持管理决策。
注意
如果出现数据仓库的特点是面向主题的、集成的、稳定的、反映历史变化的说法,也是对的。
1. 常见的数据仓库的体系结构
(1)数据源
数据源是数据仓库系统的基础,是整个系统的数据源泉。通常包括企业内部信息和外部信息。内部信息包括存放于关系型数据库管理系统中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等。
(2)数据的存储与管理
数据的存储与管理是整个数据仓库系统的核心。数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库,同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心,则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据进行抽取、清理并有效集成,按照主题进行组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库(通常称为数据集市)。
(3)联机分析处理(OnLine Analytical Processing,OLAP)服务器
OLAP 服务器对分析需要的数据进行有效集成,按多维模型予以组织,以便进行多角度、多层次的分析,并发现趋势。其具体实现可以分为:
基于关系数据库的 OLAP(Relational OLAP,ROLAP),ROLAP 基本数据和聚合数据均存放在 RDBMS 之中;
基于多维数据组织的 OLAP(Multidimensional OLAP,MOLAP),MOLAP 基本数据和聚合数据均存放于多维数据库中;
基于混合数据组织的 OLAP(Hybrid OLA,HOLAP),HOLAP 基本数据存放于 RDBMS 之中,聚合数据存放于多维数据库中。
RDBMS 是指关系数据库管理系统 Relational Database Management System。
(4)前端工具
前端工具主要包括各种查询工具、报表工具、分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对 OLAP 服务器,报表工具、数据挖掘工具主要针对数据仓库。
2. 数据仓库相关的基础概念
# 信息安全
常见的信息安全问题主要表现为:计算机病毒泛滥、恶意软件的入侵、黑客攻击、利用计算机犯罪、网络有害信息泛滥、个人隐私泄露等。随着物联网、云计算、人工智能、大数据等新一代信息技术的广泛应用,信息安全也面临着新的问题和挑战。
# 1. 信息安全基础
CIA 三要素是保密性(Confidentiality)、完整性(Integrity)和可用性(Availability)三个词的缩写。QA 是系统安全设计的目标。保密性、完整性和可用性是信息安全最为关注的三个属性,因此这三个特性也经常被称为信息安全三元组,这也是信息安全通常所强调的目标。
(1)保密性是指 “信息不被泄露给未授权的个人、实体和过程,或不被其使用的特性”。简单地说,就是确保所传输的数据只被其预定的接收者读取。
(2)完整性是指 “保护资产的正确和完整的特性”。简单地说,就是确保接收到的数据即是发送的数据,数据不应该被改变。完整性保证没有未授权的用户修改数据,可以从以下 3 个方面检验完整性:
阻止未授权主体作出的修改;
阻止授权主体可以做未授权的修改,比如误操作;
确保数据没有被改变,这需要某种方法去进行验证。
(3)可用性是指 “需要时,授权实体可以访问和使用的特性“。可用性确保数据在需要时可以使用。尽管传统上认为可用性并不属于信息安全的范畴,但随着拒绝服务攻击的逐渐盛行,要求数据总能保持可用性就显得十分关键了。
CIA 三要素有其局限性。CIA 三元组关注的重心在信息,虽然这是大多数信息安全的核心要素,但对于信息系统安全而言,仅考虑 CIA 是不够的。信息安全的复杂性决定了还存在其他的重要因素。CIA 给出了一个信息系统整体安全模型框架,能帮助信息化工作人员在制定安全策略时形成思路,但这并不是所有需要考虑的策略。CIA 三元组可以作为规划、实施量化安全策略的基本原则, 但是我们也应该认识到它的局限性。
信息必须依赖其存储、传输、处理及应用的载体(媒介)而存在,因此针对信息系统安全可以划分为以下四个层次:设备安全、数据安全、内容安全和行为安全。
(1)设备安全
信息系统设备的安全是信息系统安全的首要问题,主要包括三个方面:
设备的稳定性。设备在一定时间内不出故障的概率。
设备的可靠性。设备能在一定时间内正常执行任务的概率。
设备的可用性。设备随时可以正常使用的概率。
信息系统的设备安全是信息系统安全的物质基础。除了硬件设备外,软件系统也是一种设备,也要确保软件设备的安全。
(2)数据安全
数据安全属性包括秘密性、完整性和可用性。很多情况下,即使信息系统设备没有受到损坏,但其数据安全也可能已经受到危害,如数据泄露、数据篡改等。由于危害数据安全的行为具有较高的隐蔽性,数据应用用户往往并不知情,因此危害性很高。
(3)内容安全
内容安全是信息安全在政治、法律、道德层次上的要求。内容安全包括:信息内容在政治上是健康的;信息内容符合国家的法律法规;信息内容符合中华民族优良的道德规范等。
除此之外,广义的内容安全还包括信息内容保密、知识产权保护、信息隐藏和隐私保护等诸多方面。如果数据中充斥着不健康的、违法的、违背道德的内容,即使它是保密的、未被篡改的,也不能说是安全的。
(4)行为安全
数据安全本质上是一种静态的安全,而行为安全是一种动态安全,主要包括:
行为的秘密性。行为的过程和结果不能危害数据的秘密性。必要时,行为的过程和结果也应是秘密的。
行为的完整性。行为的过程和结果不能危害数据的完整性,行为的过程和结果是可预期的。
行为的可控性。行为的过程出现偏离预期时,能够发现、控制或纠正。
行为安全强调过程安全,体现在组成信息系统的硬件设备、软件设备和应用系统协调工作的程序(执行序列)符合系统设计的预期, 这样才能保证信息系统的整体安全。
# 2. 加密与解密
为了保证信息的安全性,就需要采用信息加密技术对信息进行伪装,使得信息非法窃取者无法理解信息的真实含义,信息的合法拥有者可以利用特征码对信息的完整性进行校验。采用加密算法对信息使用者的身份进行认证、识别和确认,以对信息的使用进行控制。
加密技术包括两个元素:算法和密钥。密钥加密技术的密码体制分为对称密钥体制和非对称密钥体制两种。相应地,对数据加密的技术分为两类,即对称加密(私人密钥加密)和非对称加密(公开密钥加密)。
对称加密以数据加密标准(Data Encryption Standard,DES)算法为典型代表,非对称加密通常以 RSA(Rivest Shamir Adleman)算法为代表。
对称加密的加密密钥和解密密钥相同,而非对称加密的加密密钥和解密密钥不同,加密密钥可以公开而解密密钥需要保密。
(1)对称加密技术
对称加密采用了对称密码编码技术,它的特点是文件加密和解密使用相同的密钥,即加密密钥也可以用作解密密钥,这种方法在密码学中叫作对称加密算法,对称加密算法使用起来简单快捷,密钥较短,且破译困难。
(2)非对称加密技术
公开密钥密码的基本思想是将传统密码的密钥 K 一分为二,分为加密钥 Ke 和解密钥 Kd,用加密钥 Ke 控制加密,用解密钥 Kd 控制解密,这样即使是将 Ke 公开也不会暴露 Kd,也不会损害密码的安全。由于 Ke 是公开的,只有 Kd 是保密的,所以便从根本上克服了传统密码在密钥分配上的困难。当前公开密钥密码有 RSA 密码类和 ElGamal 密码类。由于 RSA 密码既可用于加密,又可用于数字签名,安全、易懂,因此 RSA 密码已成为目前应用最广泛的公开密钥密码。
(3)Hash 函数
Hash 函数将任意长的报文 M 映射为定长的 Hash 码,也称报文摘要,它是所有报文位的函数,具有错误检测能力:即改变报文的任何一位或多位,都会导致 Hash 码的改变。在实现认证过程中,发送方将 Hash 码附于要发送的报文之后发送给接收方,接收方通过重新计算 Hash 码来认证报文,从而实现保密性、报文认证以及数字签名的功能。
(4)数字签名
签名是证明当事者的身份和数据真实性的一种信息。在信息化环境下,以网络为信息传输基础的事务处理中,事务处理各方应采用电子形式的签名,即数字签名(Digital Signature)。目前,数字签名已得到一些国家的法律支持。
完善的数字签名体系应满足:
签名者事后不能抵赖自己的签名;
任何其他人不能伪造签名;
如果当事的双方关于签名的真伪发生争执,能够在公正的仲裁者面前通过验证签名来确认其真伪。利用 RSA 密码可以同时实现数字签名和数据加密。
(5)认证
认证(Authentication)又称鉴别或确认,它是证实某事是否名副其实或是否有效的一个过程。
认证和加密的区别在于:加密用以确保数据的保密性,阻止对手的被动攻击,如截取、窃听等;而认证用以确保报文发送者和接收者的真实性以及报文的完整性,阻止对手的主动攻击,如冒充、篡改、重播等。
认证往往是许多应用系统中安全保护的第一道防线,因而极为重要。认证系统常用的参数有口令、标识符、密钥、信物、智能卡、指纹、视网纹等。
认证和数字签名技术都是确保数据真实性的措施,但两者有着明显的区别:
认证总是基于某种收发双方共享的保密数据来认证被鉴别对象的真实性,而数字签名中用于验证签名的数据是公开的。
认证允许收发双方互相验证其真实性,不准许第三者验证,而数字签名允许收发双方和第三者验证。
数字签名具有发送方不能抵赖、接收方不能伪造和具有在公证人前解决纠纷的能力,而认证则不一定具备。
# 3. 信息系统安全
信息系统一般由计算机系统、网络系统、操作系统、数据库系统和应用系统组成,与此对应,信息系统安全主要包括计算机设备安全、网络安全、操作系统安全、数据库系统安全和应用系统安全等。
(1)计算机设备安全
保证计算机设备的运行安全是信息系统安全最重要的内容之一。除完整性、机密性和可用性外,计算机设备安全还要包括:
抗否认性。抗否认性是指能保障用户无法在事后否认曾经对信息进行的生成、签发、接收等行为的特性。一般通过数字签名来提供抗否认服务。
可审计性。利用审计方法,可以对计算机信息系统的工作过程进行详尽的审计跟踪,同时保存审计记录和审计日志,从中可以发现问题。
可靠性。可靠性指计算机在规定的条件下和给定的时间内完成预定功能的概率。
(2)网络安全
网络作为信息的收集、存储、分配、传输、应用的主要载体,其安全对整个信息的安全起着至关重要甚至是决定性的作用。网络环境是信息共享、信息交流、信息服务的理想空间。互联网(Internet)与生俱来的开放性、交互性和分散性特征,在满足人们开放、灵活、快速地分享信息的同时,也同时带来了网络安全的相关问题。
信息泄露、信息污染、信息不易受控。
信息泄密、信息破坏、信息侵权和信息渗透。
网站遭受恶意攻击而导致损坏和瘫痪。
互联网是以 TCP/IP 网络协议为基础的,没有针对信息安全问题在协议层面做专门的设计,这是网络信息安全问题频繁出现且不易解决的根本原因。
常见的网络威胁包括:
网络监听。
口令攻击。
拒绝服务(DoS)攻击及分布式拒绝服务(DDoS)攻击。
漏洞攻击。例如利用 Web 安全漏洞和 OpenSSL 安全漏洞实施攻击。
僵尸网络(Botnet)。
网络钓鱼(Phishing)。
网络欺骗。网络欺骗主要有 ARP 欺骗、DNS 欺骗、IP 欺骗、Web 欺骗、E-mail 欺骗等。
网站安全威胁。网站安全威胁主要有 SQL 注入攻击、跨站攻击、旁注攻击等。
高级持续性威胁(APT)。
(3)操作系统安全
操作系统是计算机系统最基础的软件,实质上是一个资源管理系统,管理着计算机系统的各种资源,用户通过它获得对资源的访问权限。
操作系统安全是计算机系统软件安全的必要条件,若没有操作系统提供的基础安全性,信息系统的安全性是没有基础的。按照安全威胁的表现形式来划分,操作系统面临的安全威胁主要有:
计算机病毒。
逻辑炸弹。指在特定逻辑条件满足时,实施破坏的计算机程序。
特洛伊木马。特洛伊木马程序能够在计算机管理员未发觉的情况下开放系统权限、泄漏用户信息、甚至窃取整个计算机管理使用权限。
后门。后门指的是嵌在操作系统中的一段非法代码,渗透者可以利用这段代码侵入系统。安装后门的目的就是为了渗透。
隐蔽通道。隐蔽通道可定义为系统中不受安全策略控制的、违反安全策略、非公开的信息泄露路径。
(4)数据库系统安全
数据库系统是存储、管理、使用和维护数据的平台。数据库安全主要指数据库管理系统安全,其安全问题可以认为是用于存储而非传输的数据的安全问题。
(5)应用系统安全
应用系统安全是以计算机设备安全、网络安全和数据库安全为基础的,采取有效的防病毒、防篡改和版本检查审计,确保应用系统自身执行程序和配置文件的合法性、完整性是极其重要的安全保证措施。
当前大部分应用系统的数据管理、业务处理逻辑、结果展现控制、并发处理等都是由服务器端完成的,而服务器端的应用大部分是基于 Web 的,因此围绕 Web 的安全管理是应用系统安全最重要的内容之一。
# 4. 网络安全技术
网络安全技术主要包括:防火墙、入侵检测与防护、VPN、安全扫描、网络蜜罐技术、用户和实体行为分析技术等。
(1)防火墙
防火墙是建立在内外网络边界上的过滤机制,内部网络被认为是安全和可信赖的,而外部网络被认为是不安全和不可信赖的。
防火墙可以监控进出网络的流量,仅让安全、核准的信息进入,同时抵御企业内部发起的安全威胁。
防火墙的主要实现技术有:数据包过滤、应用网关和代理服务等。
(2)入侵检测与防护
入侵检测与防护技术主要有两种:入侵检测系统(Intrusion Detection System,IDS)和入侵防护系统(Intrusion Prevention System,IPS)。
入侵检测系统(IDS)注重网络安全状况的监管,通过监视网络或系统资源,寻找违反安全策略的行为或攻击迹象并发出报警。因此绝大多数 IDS 系统都是被动的。
入侵防护系统(IPS)倾向于提供主动防护,注重对入侵行为的控制。其设计宗旨是预先对入侵活动和攻击性网络流量进行拦截,避免造成损失。IPS 是通过直接嵌入到网络流量中实现这一功能的,即通过一个网络端口接收来自外部系统的流量,经过检查确认其中不包含异常活动或可疑内容后,再通过另外一个端口将它传送到内部系统中。这样一来,有问题的数据包以及所有来自同一数据流的后续数据包,都能在 IPS 设备中被清除掉。
(3)虚拟专用网络(Virtual Private Network,VPN)
VPN 是依靠 ISP(Internet 服务提供商)和其他 NSP(网络服务提供商),在公用网络中建立专用的、安全的数据通信通道的技术。VPN 可以认为是加密和认证技术在网络传输中的应用。VPN 网络连接由客户机、传输介质和服务器三部分组成,VPN 的连接不是采用物理的传输介质,而是使用称之为 "隧道" 的技术作为传输介质,这个隧道是建立在公共网络或专用网络基础之上的。常见的隧道技术包括:点对点隧道协议(Point-to-Point Tunneling Protocol,PPTP)、第 2 层隧道协议(Layer2 Tunneling Protocol,L2TP)和 IP 安全协议(IPSec)。
(4)安全扫描
安全扫描包括漏洞扫描、端口扫描、密码类扫描(发现弱口令密码)等。安全扫描可以应用被称为扫描器的软件来完成,扫描器是最有效的网络安全检测工具之一,它可以自动检测远程或本地主机、网络系统的安全弱点以及可能被利用的系统漏洞。
(5)网络蜜罐技术
蜜罐(Honeypot)技术是一种主动防御技术,是入侵检测技术的一个重要发展方向,也是一个 "诱捕" 攻击者的陷阱。蜜罐系统是一个包含漏洞的诱骗系统,它通过模拟一个或多个易受攻击的主机和服务,给攻击者提供一个容易攻击的目标。攻击者往往在蜜罐上浪费时间,延缓对真正目标的攻击。由于蜜罐技术的特性和原理,使得它可以对入侵的取证提供重要的信息和有用的线索,便于研究入侵者的攻击行为。
# 5. Web 威胁防护技术
基于 Web 的业务平台己经得到广泛应用,网络攻击者利用相关漏洞获取 Web 服务器的控制权限,轻则篡改网页内容,重则窃取重要内部数据,更为严重的则是在网页中植入恶意代码,带来严重的安全事故。
当前 Web 面临的主要威胁包括:可信任站点的漏洞、浏览器和浏览器插件的漏洞、终端用户的安全策略不健全、携带恶意软件的移动存储设备、网络钓鱼、僵尸网络、带有键盘记录程序的木马等。
Web 威胁防护技术主要包括:Web 访问控制技术、单点登录技术、网页防篡改技术和 Web 内容安全等。
(1)Web 访问控制技术
访问控制是 Web 站点安全防范和保护的主要策略,它的主要任务是保证网络资源不被非法访问者访问。访问 Web 站点要进行用户名、用户口令的识别与验证、用户账号的默认限制检查。只要其中任何一关未过,该用户便不能进入某站点进行访问。Web 服务器一般提供通过IP地址、子网或域名,用户名/口令,公钥加密体系 PKI(CA 认证)等访问控制方法。
(2)单点登录(Single Sign On,SSO)技术
单点登录技术为应用系统提供集中统一的身份认证,实现 "一点登录、多点访问"。单点登录系统采用基于数字证书的加密和数字签名技术,基于统一策略的用户身份认证和授权控制功能,对用户实行集中统一的管理和身份认证。
(3)网页防篡改技术
网页防篡改技术包括时间轮询技术、核心内嵌技术、事件触发技术、文件过滤驱动技术等。
时间轮询技术。时间轮询技术利用网页检测程序,以轮询方式读出要监控的网页,通过与真实网页相比较来判断网页内容的完整性,对于被篡改的网页进行报警和恢复。
核心内嵌技术。核心内嵌技术即密码水印技术,该技术将篡改检测模块内嵌在Web服务器软件里,它在每一个网页流出时都进行完整性检查,对于篡改网页进行实时访问阻断,并予以报警和恢复。
事件触发技术。事件触发技术就是利用操作系统的文件系统或驱动程序接口,在网页文件被修改时进行合法性检查,对于非法操作进行报警和恢复。
文件过滤驱动技术。文件过滤技术是一种简单、高效且安全性又极高的一种防篡改技术,通过事件触发方式,对 Web 服务器所有文件夹中的文件内容,对照其底层文件属性,经过内置散列快速算法进行实时监测;若发现属性变更,则将备份路径文件夹中的内容复制到监测文件夹的相应文件位置,使得公众无法看到被篡改页面。
(4)Web 内容安全
内容安全管理分为电子邮件过滤、网页过滤、反间谍软件三项技术,这三项技术不仅对内容安全市场发展起到决定性推动作用,而且对于互联网的安全起到至关重要的保障作用。
# 6. 下一代防火墙
下一代防火墙(Next Generation Firewall,NGFW)是一种可以全面应对应用层威胁的高性能防火墙。通过深入洞察网络流量中的用户、应用和内容,并借助全新的高性能单路径异构并行处理引擎,NGFW 能够为组织提供有效的应用层一体化安全防护,帮助组织安全地开展业务并简化组织的网络安全架构。
随着信息系统采用 SOA 和 Web2.0 普及使用,更多的通信量都只是通过少数几个端口及采用有限的几个协议进行,这也就意味着基于端口/协议类安全策略的关联性与效率都越来越低,传统防火墙已基本无法探测到利用僵尸网络作为传输方法的威胁。
NGFW 在传统防火墙数据包过滤、网络地址转换(NAT)、协议状态检查以及 VPN 功能的基础上,新增如下功能:
入侵防御系统(IPS)。NGFW 的 DPI 功能中包含 IPS。
基于应用识别的可视化。NGFW 根据数据包的去向,阻止或允许数据包。它们通过分析第 7 层(应用程序层)的流量来做到这一点。传统的防火墙不具备这种能力,因为它们只分析第 3 层和第 4 层的流量。
智能防火墙。智能防火墙可收集防火墙外的各类信息,用于改进阻止决策或作为优化阻止规则的基础。比如利用目录集成来强化根据用户身份实施的阻止或根据地址编制黑名单与白名单。
随着云计算的深入应用,NGFW 的发展面临巨大挑战:网络边界 “消失”、新型架构的涌现以及安全人员的不足等,都在驱动着 NGFW 的变革。
# 7. 安全行为分析技术
传统的安全产品、技术、方案基本上都是基于已知特征进行规则匹配,从而进行分析和检测。然而,以 “特征” 为核心的检 测分析存在安全可见性盲区,如滞后效应、不能检测未知攻击、容易被绕过,以及难以适应攻防对抗的网络现实和快速变化的组织环境、外部威胁等。另一方面,大部分造成严重损坏的攻击往往来源于内部,只有管理好内部威胁,才能保证信息和网络安全。
用户和实体行为分析(User and Entity Behavior Analytics,UEBA)提供了用户画像及基于各种分析方法的异常检测,结合基本分析方法(利用签名的规则、模式匹配、简单统计、阈值等)和高级分析方法(监督和无监督的机器学习等),用打包分析来评估用户和其他实体(主机、应用程序、网络、数据库等),发现与用户或实体标准画像或行为异常的活动所相关的潜在事件。
UEBA 是一个完整的系统,涉及算法、工程等检测部分以及用户与实体风险评分排序、调查等用户交换、反馈。从架构上来看,UEBA 系统通常包括数据获取层、算法分析层和场景应用层。
# 8. 网络安全态势
感知网络安全态势感知(Network Security Situation Awareness)是在大规模网络环境中,对能够引起网络态势发生变化的安全要素进行获取、理解、显示并据此预测未来的网络安全发展趋势。安全态势感知不仅是一种安全技术,也是一种新兴的安全概念。它是一种基于环境的、动态、整体地洞悉安全风险的能力。安全态势感知的前提是安全大数据,其在安全大数据的基础上,进行数据整合、特征提取等,然后应用一系列态势评估算法生成网络的整体态势状况,应用态势预测算法预测态势的发展状况。并使用数据可视化技术,将态势状况和预测情况展示给安全人员,方便安全人员直观便捷地了解网络当前状态及预期的风险。
网络安全态势感知的相关关键技术主要包括:海量多元异构数据的汇聚融合技术、面向多类型的网络安全威胁评估技术、网络安全态势评估与决策支撑技术、网络安全态势可视化等。
(1)海量多元异构数据的汇聚融合技术
目前,在大规模网络中,网络安全数据和日志数据由海量设备和多个应用系统产生,且这些安全数据和日志数据缺乏统一标准与关联,在此基础上进行数据分析,无法得到全局精准的分析结果。新的网络安全分析和态势感知要求对网络安全数据的分析能够打破传统的单一模式,打破表与表、行与行之间的孤立特性,把数据融合成一个整体,能够从整体上进行全局的关联分析,可以对数据整体进行高性能的处理,以及以互动的形式对数据进行多维度的裁剪和可视化。
因此需要通过海量多元异构数据的汇聚融合技术实现PB量级多元异构数据的采集汇聚、多维度深度融合、统一存储管理和安全共享。将采集到的多元异构数据进行清洗、归一化后,采用统一的格式进行存储和管理。通过属性融合、关系拓展、群体聚类等 方式挖掘数据之间的直接或潜在的相关性,进行多维度数据融合。这样才可以为网络安全分析、态势感知与决策提供高效、稳定、灵活、全面的数据支撑。
(2)面向多类型的网络安全威胁评估技术
从流量、域名、报文和恶意代码等多元数据入手,有效处理来自互联网探针、终端、云计算和大数据平台的威胁数据,分解不同类型数据中潜藏的异常行为,对流量、域名、报文和恶意代码等安全元素进行多层次的检测。通过结合聚类分析、关联分析和序列模式分析等大数据分析方法,对发现的恶意代码、域名信息等威胁项进行跟踪分析。利用相关图等相关性方法检测并扩建威胁列表,对网络异常行为、己知攻击手段、组合攻击手段、未知漏洞攻击和未知代码攻击等多种类型的网络安全威胁数据进行统计、建模与评估。
只有通过网络安全威胁评估完成从数据到信息、从信息到网络安全威胁情报的完整转化过程,网络安全态势感知系统才能做到对攻击行为、网络系统异常等的及时发现与检测,实现全貌还原攻击事件和攻击者意图,客观评估攻击投入和防护效能,为威胁溯源提供必要的线索支撑。
(3)网络安全态势评估与决策支撑技术
网络安全态势评估与决策支撑技术需要以网络安全事件监测为驱动,以安全威胁线索为牵引,对网络空间安全相关信息进行汇聚融合,将多个安全事件联系在一起进行综合评估与决策支撑,实现对整体网络安全状况的判定。
对安全事件尤其是对网络空间安全相关信息进行汇聚融合后所形成针对人、物、地、事和关系的多维安全事件知识图谱,是网络安全态势评估分析的关键。
网络安全态势评估与决策支撑技术从 “人” 的角度评估攻击者的身份、团伙关系、行为和动机意图;从 “物” 的角度评估其工具手段、网络要素、虚拟资产和保护目标;从 “地” 的角度评估其地域、关键部位、活动场所和途径轨迹;从 “事” 的角度评估攻击事件的相似关系、同源关系。
(4)网络安全态势可视化
网络安全态势可视化的目的是生成网络综合安全态势图,使网络安全态势感知系统的分析处理数据可视化、态势可视化。
网络安全态势可视化是一个层层递进的过程,包括数据转化、图像映射、视图变换 3 个部分。数据转化是把分析处理后的数据映射为数据表,将数据的相关性以关系表的形式存储;图像映射是把数据表转换为对应图像的结构和图像属性;视图变换是通过坐标位置、缩放比例、图形着色等方面来创建视图,并可通过调控参数,完成对视图变换的控制。
# 信息技术的发展
“软件定义一切” 概念成为当前发展的主流。
# 新一代信息技术及应用
# 物联网
# 1. 技术基础
物联网主要解决物品与物品(Thing to Thing,T2T)、人与物品(Human to Thing,H2T)、人与人(Human to Human,H2H)之间的互连。另外,许多学者在讨论物联网时,经常会引入 M2M 的概念:可以解释为人与人(Man to Man)、人与机器(Man to Machine),或机器与机器(Machine to Machine)。
物联网架构可分为三层:感知层、网络层和应用层。
感知层由各种传感器构成,包括温度传感器,二维码标签、RFID 标签和读写器,摄像头,GPS 等感知终端。感知层是物联网识别物体、采集信息的来源。
网络层由各种网络,包括互联网、广电网、网络管理系统和云计算平台等组成,是整个物联网的中枢,负责传递和处理感知层获取的信息。
应用层是物联网和用户的接口,它与行业需求结合以实现物联网的智能应用。物联网的产业链包括传感器和芯片、设备、网络运营及服务、软件与应用开发和系统集成。
# 2. 关键技术
物联网关键技术主要涉及传感器技术、传感网和应用系统框架等。
(1)传感器技术
传感器是一种检测装置,它能 “感受” 到被测量的信息,并能将检测到的信息,按一定规律变换成为电信号或其他所需形式的信息输出,以满足信息的传输、处理、存储、显示、记录和控制等要求。它是实现自动检测和自动控制的首要环节,也是物联网获取物理世界信息的基本手段。
射频识别技术(Radio Frequency IdenWication,RFID)是物联网中使用的一种传感器技术,在物联网发展中备受关注。RFID 可通过无线电信号识别特定目标并读写相关数据,而无须识别系统与特定目标之间建立机械或光学接触。RFID 是一种简单的无线系统,由一个询问器(或阅读器)和很多应答器(或标签)组成。标签由耦合元件及芯片组成,每个标签具有扩展词条唯一的电子编码,附着在物体上标识目标对象,它通过天线将射频信息传递给阅读器,阅读器就是读取信息的设备。RFID 技术让物品能够 "开口说话"。这就赋予了物联网一个特性——可跟踪性,即可以随时掌握物品的准确位置及其周边环境。
(2)传感网
微机电系统(Micro-Electro-Mechanical Systems,MEMS)是由微传感器、微执行器、信号处理和控制电路、通信接口和电源等部件组成的一体化的微型器件系统。其目标是把信息的获取、处理和执行集成在一起,组成具有多功能的微型系统,集成于大尺寸系统中,从而大幅地提高系统的自动化、智能化和可靠性水平。MEMS 赋予了普通物体新的 "生命",它们有了属于自己的数据传输通路、存储功能、操作系统和专门的应用程序,从而形成一个庞大的传感网。
(3)应用系统框架
物联网应用系统框架是一种以机器终端智能交互为核心的、网络化的应用与服务。它将使对象实现智能化的控制,涉及 5 个重要的技术部分:机器、传感器硬件、通信网络、中间件和应用。基于云计算平台和智能网络,可以依据传感器网络获取的数据进行决策,改变对象的行为控制和反馈。
# 云计算
云计算(Cloud Computing)是分布式计算的一种,指的是通过网络 “云” 将巨大的数据计算处理程序分解成无数个小程序,然后通过多台服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。在云计算早期,就是简单的分布式计算,解决任务分发并对计算结果进行合并。
当前的云计算已经不单单是一种分布式计算,而是分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗余和虚拟化等计算机技术混合演进并跃升的结果。
# 1. 技术基础
云计算是一种基于互联网的计算方式,通过这种方式将网络上配置为共享的软件资源、计算资源、存储资源和信息资源,按需求提供给网上的终端设备和终端用户。云计算也可以理解为向用户屏蔽底层差异的分布式处理架构。在云计算环境中,用户与实际服务提供的计算资源相分离,云端集合了大量计算设备和资源。
当使用云计算服务时,用户不需要配置专门的维护人员,云计算服务的提供商会为数据和服务器的安全做出相对较高水平的保护。由于云计算将数据存储在云端(分布式的云计算设备中承担计算和存储功能的部分),业务逻辑和相关计算都在云端完成,因此,终端只需要一个能够满足基础应用的普通设备即可。
按照云计算服务提供的资源层次,可以分为基础设施即服务(Infrastructure as a Service,IaaS)、平台即服务(Platform as a Service,PaaS)和软件即服务(Software as a Service,SaaS)三种服务类型。
IaaS 向用户提供计算机能力、存储空间等基础设施方面的服务。这种服务模式需要较大的基础设施投入和长期运营管理经验,但 IaaS 服务单纯出租资源的盈利能力有限。
PaaS 向用户提供虚拟的操作系统、数据库管理系统、Web 应用等平台化的服务。PaaS 服务的重点不在于直接的经济效益,而更注重构建和形成紧密的产业生态。
SaaS 向用户提供应用软件(如 CRM、办公软件等)、组件、工作流等虚拟化软件的服务,SaaS 一般采用 Web 技术和 SOA 架构,通过 Internet 向用户提供多租户、可定制的应用能力,大大缩短了软件产业的渠道链条,减少了软件升级、定制和运行维护的复杂程度,并使软件提供商从软件产品的生产者转变为应用服务的运营者。
# 2. 关键技术
云计算的关键技术主要涉及虚拟化技术、云存储技术、多租户和访问控制管理、云安全技术等。
(1)虚拟化技术
虚拟化是一个广义术语,在计算机领域通常是指计算元件在虚拟的基础上而不是真实的基础上运行。虚拟化技术可以扩大硬件的容量,简化软件的重新配置过程。CPU 的虚拟化技术可以单 CPU 模拟多 CPU 并行,允许一个平台同时运行多个操作系统,并且应用程序都可以在相互独立的空间内运行而互不影响,从而显著提高计算机的工作效率。
虚拟化技术与多任务以及超线程技术是完全不同的。多任务是指在一个操作系统中多个程序同时并行运行,而在虚拟化技术中,则可以同时运行多个操作系统,而且每一个操作系统中都有多个程序运行,每一个操作系统都运行在一个虚拟的 CPU 或者虚拟主机上。超线程技术只是单 CPU 模拟双 CPU 来平衡程序运行性能,这两个模拟出来的 CPU 是不能分离的,只能协同工作。
容器(Container)技术是一种全新意义上的虚拟化技术,属于操作系统虚拟化的范畴,也就是由操作系统提供虚拟化的支持。容器技术将单个操作系统的资源划分到孤立的组中,以便更好地在孤立的组之间平衡有冲突的资源使用需求。使用容器技术可将应用隔离在一个独立的运行环境中,可以减少运行程序带来的额外消耗,并可以在几乎任何地方以相同的方式运行。
例如:用户创建一个应用,传统方式需要虚拟机,但虚拟机本身就占用了更多的系统资源。又如,应用需要在开发和运维之间转移、协作,当开发和运维的操作环境不同时,也会影响结果。使用容器技术可将应用隔离在一个独立的运行环境中,该独立环境称之为容器,可以减少运行程序带来的额外消耗,并可以在几乎任何地方以相同的方式运行。
(2)云存储技术
云存储技术是基于传统媒体系统发展而来的一种全新信息存储管理方式,该方式整合应用了计算机系统的软硬件优势,可较为快速、高效地对海量数据进行在线处理,通过多种云技术平台的应用,实现了数据的深度挖掘和安全管理。
云存储的实现过程中,结合分布式的文件结构,在硬件支撑的基础上,对硬件运行环境进行优化,确保数据传输的完整性和容错性;结合成本低廉的硬件的扩展,大大降低了存储的成本。
(3)多租户和访问控制管理
云计算环境下访问控制的研究是伴随着云计算的发展而发展的,访问控制管理是云计算应用的核心问题之一。云计算访问控制研究主要集中在云计算访问控制模型、基于 ABE 密码体制的云计算访问控制、云中多租户及虚拟化访问控制研究。
云计算访问控制模型就是按照特定的访问策略来描述安全系统,建立安全模型的一种方法。用户(租户)可以通过访问控制模型得到一定的权限,进而对云中的数据进行访问,所以访问控制模型多用于静态分配用户的权限。
基于 ABE 密码机制的云计算访问控制包括 4 个参与方:数据提供者、可信第三方授权中心、云存储服务器和用户。基于 ABE 密码机制的云计算访问控制具体流程:
① 可信授权中心生成主密钥和公开参数,将系统公钥传给数据提供者,数据提供者收到系统公钥之后,用策略树和系统公钥对文件加密,将密文和策略树上传到云服务器;
② 当一个新用户加入系统后,将自己的属性集上传给可信授权中心并提交私钥申请请求,可信授权中心针对用户提交的属性 集和主密钥计算生成私钥,传给用户;
③ 用户下载感兴趣的数据。如果其属性集合满足密文数据的策略树结构,则可以解密密文;否则,访问数据失败。
(4)云安全技术
云安全研究主要包含两个方面的内容,一是云计算技术本身的安全保护工作,涉及相应的数据完整性及可用性、隐私保护性以及服务可用性等方面的内容;二是借助于云服务的方式来保障客户端用户的安全防护要求,通过云计算技术来实现互联网安全,涉及基于云计算的病毒防治、木马检测技术等。
“创新、垂直、混合、生态” 这四大趋势,将伴随云计算走向繁荣。
# 大数据
大数据(Big Data)指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
# 1. 技术基础
大数据是具有体量大、结构多样、时效性强等特征的数据,处理大数据需要采用新型计算架构和智能算法等新技术。大数据从数据源到最终价值实现一般需要经过数据准备、数据存储与管理、数据分析和计算、数据治理和知识展现等过程,涉及的数据模型、处理模型、计算理论以及与其相关的分布计算、分布存储平台技术、数据清洗和挖掘技术、流式计算和增量处理技术、数据质量控制等方面的研究。
一般来说,大数据的主要特征包括:
# 2. 关键技术
大数据技术作为信息化时代的一项新兴技术,技术体系处在快速发展阶段,涉及数据的处理、管理、应用等多个方面。从总体上说,大数据技术架构主要包含大数据获取技术、分布式数据处理技术和大数据管理技术,以及大数据应用和服务技术。
# 区块链
# 1. 技术基础
区块链概念可以理解为以非对称加密算法为基础,以改进的默克尔树(Merkle Tree)为数据结构,使用共识机制、点对点网络、智能合约等技术结合而成的一种分布式存储数据库技术。
区块链分为公有链(Public Blockchain)、联盟链(Consortium Blockchain)、私有链(Private Blockchain)和混合链(Hybrid Blockchain)四大类。
一般来说,区块链具有以下特征:
# 2. 关键技术
(1)分布式账本
分布式账本是区块链技术的核心之一。分布式账本的核心思想是:交易记账由分布在不同地方的多个节点共同完成,而且每一个节点保存一个唯一、真实账本的副本,它们都可以参与监督交易的合法性,同时也可以共同为其作证;账本里的任何改动都会在所有的副本中被反映出来,反应时间会在几分钟甚至是几秒内,而且由于记账节点足够多,理论上除非所有的节点被破坏,整个分布式账本系统是非常稳健的,从而保证了账目数据的安全性。
分布式账本技术能够保障资产的安全性和准确性,具有广泛的应用场景,特别在公共服务领域,能够重新定义政府与公民在数据分享、透明度和信任意义上的关系,目前已经广泛应用到金融交易、政府征税、土地所有权登记、护照管理、社会福利等领域。
(2)加密算法
区块数据的加密是区块链研究和关注的重点,其主要作用是保证区块数据在网络传输、存储和修改过程中的安全。区块链系统中的加密算法一般分为散列(哈希)算法和非对称加密算法。
散列算法也叫数据摘要或者哈希算法,其原理是将一段信息转换成一个固定长度并具备以下特点的字符串:如果某两段信息是相同的,那么字符也是相同的;即使两段信息十分相似,但只要是不同的,那么字符串将会十分杂乱、随机并且两个字符串之间完全没有关联。典型的散列算法有 MD5、SHA 和 SM3,目前区块链主要使用 SHA256 算法。
非对称加密算法是由对应的一对唯一性密钥(即公开密钥和私有密钥)组成的加密方法。任何获悉用户公钥的人都可用用户的公钥对信息进行加密,与用户实现安全信息交互。由于公钥与私钥之间存在的依存关系,只有用户本身才能解密该信息,任何未受授权用户甚至信息的发送者都无法将此信息解密。常用的非对称加密算法包括 RSA、ElGamal、D-H、ECC(椭圆曲线加密算法)等。
(3)共识机制
区块链的共识机制的思想是:在没有中心点总体协调情况下,当某个记账节点提议区块数据增加或减少,并把该提议广播给所有的参与节点,所有节点要根据一定的规则和机制,对这一提议是否能够达成一致进行计算和处理。目前,常用的共识机制主要有 PoW(工作量证明机制)、PoS(权益证明机制)、DPoS、Paxos、PBFT(实用拜占庭容错机制)等。
根据区块链不同应用场景中各种共识机制的特性,共识机制分析可基于:
合规监管:是否支持超级权限节点对全网节点、数据进行监管。
性能效率:交易达成共识被确认的效率。
资源消耗:共识过程中耗费的 CPU、网络输入输出、存储等资源。
容错性:防攻击、防欺诈的能力。
# 人工智能
人工智能是指研究和开发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用系统的一门技术科学。
# 1. 技术基础
从当前的人工智能技术进行分析可知,在技术研究方面主要聚焦在热点技术、共性技术和新兴技术三个方面。其中以机器学习为代表的基础算法的优化改进和实践,以及迁移学习、强化学习、多核学习和多视图学习等新型学习方法是研究探索的热点;自然语言处理相关的特征提取、语义分类、词嵌入等基础技术和模型研究,以及智能自动问答、机器翻译等应用研究也取得诸多的成果;以知识图谱、专家系统为逻辑的系统化分析也在不断地取得突破,大大拓展了人工智能的应用场景,对人工智能未来的发展具有重要的潜在影响。
# 2. 关键技术
人工智能的关键技术主要涉及机器学习、自然语言处理、专家系统等技术,随着人工智能应用的深入,越来越多新兴的技术也在快速发展中。
(1)机器学习
机器学习是一种自动将模型与数据匹配,并通过训练模型对数据进行 “学习” 的技术。机器学习的研究主要聚焦在机器学习算法及应用、强化学习算法、近似及优化算法和规划问题等方面,其中常见的学习算法主要包含回归、聚类、分类、近似、估计和优化等基础算法的改进研究,迁移学习、多核学习和多视图学习等强化学习方法是当前的研究热点。
(2)自然语言处理
自然语言处理(Natural Language Processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系,但又有重要的区别。自然语言处理并不是一般地研究自然语言,而在于研制能有效地实现自然语言通信的计算机系统,特别是其中的软件系统。因而它是计算机科学的一部分。
自然语言处理主要应用于机器翻译、舆情监测、自动摘要、观点提取、文本分类、问题回答、文本语义对比、语音识别、中文 OCR 等方面。
(3)专家系统
专家系统(Expert System,ES)是在某一特定领域中,能够像人类专家一样解决复杂问题的计算机软件系统。它能够有效地运用专家多年积累的经验和专业知识,通过模拟专家的思维过程,解决需要专家才能解决的问题。专家系统需要通过一定的知识获取方法,将专家知识保存在知识库中,然后运用推理机,结合人机交互接口进行工作。
专家系统是一个智能计算机程序系统,通常由人机交互界面、知识库、推理机、解释器、综合数据库、知识获取等 6 个部分构成,其内部含有大量的某个领域专家水平的知识与经验,它能够应用人工智能技术和计算机技术,根据系统中的知识与经验,进行推理和判断,模拟人类专家的决策过程,以便解决那些需要人类专家处理的复杂问题。简而言之,专家系统是一种模拟人类专家解决领域问题的计算机程序系统。
# 虚拟现实
# 1. 技术基础
虚拟现实(Virtual Reality,VR)是一种可以创立和体验虚拟世界的计算机系统(其中虚拟世界是全体虚拟环境的总称)。通过虚拟现实系统所建立的信息空间,已不再是单纯的数字信息空间,而是一个包容多种信息的多维化的信息空间(Cyberspace),人类的感性认识和理性认识能力都能在这个多维化的信息空间中得到充分发挥。要创立一个能让参与者具有身临其境感,具有完善交互作用能力的虚拟现实系统,在硬件方面,需要高性能的计算机软硬件和各类先进的传感器;在软件方面,主要是需要提供一个能产生虚拟环境的工具集。
虚拟现实技术的主要特征包括沉浸性、交互性、多感知性、构想性和自主性。
沉浸性指让用户成为并感受到自己是计算机系统所创造环境中的一部分。虚拟现实技术的沉浸性取决于用户的感知系统,当使用者感知到虚拟世界的刺激时,包括触觉、味觉、嗅觉、运动感知等,便会产生思维共鸣,造成心理沉浸,感觉如同进入真实世界。
交互性指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度。使用者进入虚拟空间,相应的技术让使用者跟环境产生相互作用,当使用者进行某种操作时,周围的环境也会做出某种反应。
多感知性表示计算机技术应该拥有很多感知方式,比如听觉,触觉、嗅觉等等。理想的虚拟现实技术应该具有一切人类所具有的感知功能。
构想性也称想象性,使用者在虚拟空间中可以与周围物体进行互动,可以拓宽认知范围,创造客观世界不存在的场景或不可能发生的环境。
自主性指虚拟环境中物体依据物理定律动作的程度。如当受到力的推动时,物体会向力的方向移动、翻倒或从桌面落到地面等。
随着虚拟现实技术的快速发展,按照其 “沉浸性” 程度的高低和交互程度的不同,虚拟现实技术已经从桌面虚拟现实系统、沉浸式虚拟现实系统、分布式虚拟现实系统等,向着增强式虚拟现实系统(Augmented Reality,AR)和元宇宙的方向发展。
# 2. 关键技术
虚拟现实的关键技术主要涉及人机交互技术、传感器技术、动态环境建模技术和系统集成技术等。
# 新一代信息技术发展展望
泛在智能的网络连接设施将是网络技术的发展重点,能够实现网络、应用、终端向下一代互联网平滑演进升级,物联数通的新型感知基础设施将会成为国家战略的组成部分,云网一体化建设发展将实现云计算资源和网络设施有机融合,算力和算法中心的构建将提供低时延、高可靠、强安全边缘计算能力。
新一代信息技术的融合发展,将会打造协同高效的数字政府服务体系,提升党政机关信息化建设水平,推动政务数据共享流通,推进 “一网通办” 让群众办事更便捷,打造市场化法治化国际化营商环境。
提升信息技术的国际竞争力,积极参与全球网络空间治理体系改革,推动 “数字丝绸之路“ 高质量发展,数字领域国际规则研究制定、多层次的全球数字合作伙伴关系构建、高质量引进来、高水平走出去将会成为信息技术竞争力的重要体现。
# 第三章 信息技术服务
信息技术服务通常是指供方为需方提供如何开发、应用信息技术的服务,以及供方以信息技术为手段提供支持需方业务活动的服务。
# 内涵与外延
在新时代,IT 服务持续融合创新的环境下,IT 服务突破了单纯的供方为需方提供服务的限制,IT 服务的内涵定义为:组织为达成用户期望的结果,利用信息技术为用户交付价值的活动。
IT 服务是随着信息技术的发展和信息技术在各行业的深入应用而产生的一种新兴业态,是数字经济的重要内容之一,是现代信息服务业的重要组成部分。IT 服务是信息技术与服务的结合,既具有服务的特征,又具有信息技术的独特特征。
# 服务的特征
服务的特征包括:无形性、不可分离性、可变性和不可储存性等。
无形性指服务在很大程度上是抽象的和无形的。需方在购买之前一般无法看到、感觉到或触摸到,例如理发、听音 乐会、到海边度假等。这一特性使得服务不容易向需方展示或沟通交流,因此需方难以评估其质量。
不可分离性又叫同步性,指生产和消费是同时进行的,如照相、理发等。这一特性表明,需方只有参与到服务的生产过程中才能享受到服务。这一特性决定了服务质量管理对服务供方的重要性,其服务的态度和水平直接决定了需方对该项服 务的满意度。因此,服务人员的筛选、培训和报酬标准等,对实现高标准的服务质量至关重要。
可变性也叫异质性,指服务的质量水平会受到相当多因素的影响,因此会经常变化。服务以人为中心,由于人与人的文化、修养、技术水平等存在差异,同一服务的品质会因操作者不同而不同;即使是同一操作者,由于时间、地点与心态的变化, 服务质量也会随之变化。
不可储存性也叫易逝性、易消失性,指服务无法被储藏起来以备将来使用、转售、延时体验或退货等。
# IT 服务的内涵
按照国务院发展研究中心的相关研究成果定义,信息服务包括信息传输服务、IT 服务和信息内容服务。
IT 服务除了具备服务的基本特征,还具备本质特征、形态特征、过程特征、阶段特征、效益特征、内部关联性特征、外部关联性特征等方面的内涵。
本质特征。IT 服务的组成要素包括人员、过程、技术和资源。就 IT 服务而言,通常情况下是由具备匹配的知识、技能和经验的人员,合理运用资源,并通过规定过程向需方提供 IT 服务。
形态特征。常见服务形态有 IT 咨询服务、设计与开发服务、信息系统集成服务、数据处理和运营服务、智能化服务及其他 IT 服务等。
过程特征。IT 服务从项目级、组织级、量化管理级、数字化运营等逐步发展,是从计算机单机应用、网络应用、综合管理的逐步提升,具有连续不断和可持续发展的特征。
阶段特征。由于 IT 的发展永无止境,信息基础设施和经济、市场环境的变迁,IT 服务也无终极目标。IT 服务是全方位的,无论需方还是供方都需要根据自身需要抓重点。分层次、分阶段地推进 IT 服务,提高 IT 的有效利用。
效益特征。IT 服务的发展不同于以往对产品的技术改造,其效益的概念完全不同。通过对产品生产线的技术改造,提高质量、增加产能,其效果往往是单方面的,且容易显现。而IT服务的发展是服务系统进行深度开发和广泛利用,从整体上提高组织核心竞争力和管理水平,其效益是多方面的。
内部关联性特征。IT 服务不仅依赖于技术创新,更依赖于业务模式创新。保持技术创新和业务模式创新的相互促进、有机融合,实现 IT 服务人才结构优化,建立 IT 服务管理规范,将从机制上为 IT 服务的发展创造条件。
外部关联性特征。IT 服务依赖于国民经济和良性竞争的市场环境的形成,依赖于社会信息网络的不断进步,依赖于政府相应的政策支撑、配套人才的培养和产业链上下游组织 IT 应用的逐渐完善。
# IT 服务的外延
新形势下,IT 服务包括基础服务、技术创新服务、数字化转型服务、业务融合服务等。
基础服务指面向 IT 的基础类服务,主要包括咨询设计、开发服务、集成实施、运行维护、云服务和数据中心等。
技术创新服务指面向新技术加持下的新业态新模式的服务,主要包含智能化服务、数字服务、数字内容处理服务和区块链服务等。
数字化转型服务指支撑和服务组织数字化服务开展和创新融合业务发展的服务,主要包括数字化转型成熟度推进服务、评估评价服务、数字化监测预警服务等。
业务融合服务指信息技术及其服务与各行业融合的服务,如面向政务、广电、教育、应急、业财等行业。
# IT 服务业的特征
IT 服务业具有高知识和高技术含量、高集群性、服务过程的交互性、服务的非独立性、知识密集性、产业内部呈金字塔分布、法律和契约的强依赖性以及声誉机制等特征。
高知识和高技术含量。IT 服务业的提供者是生产过程中的专家组,多以技术资本、知识资本、人力资本为主要投入,产出中有密集的知识要素,因此IT服务业把日益专业化的技术、知识加入服务过程中,具有人力资源、技术、知识密集的特点。IT服务业需要向需方转移高度专业化的知识,这是其区别于其他服务业的一个显著特征。
高集群性。IT 服务业在其空间上具有很高的集群性。IT 服务业的出现和发展都集中在大型中心城市。其中,中心城市具有及时准确的宏观政策、完善的基础设施、高智力的人力资源及发达的人力资源市场,这些因素为 IT 服务业发展提供了良好的条件。
服务过程的交互性。需方参与服务过程,IT服务业不仅提供显性知识,还提供隐性知识,要实现隐性知识的传播需要通过专业人员与需方间进行大量的互动过程才能完成。
服务的非独立性。IT 服务业提供的是满足需方需求的解决方案,往往涉及多个领域的知识,许多 IT 服务业与高等院校、科研机构形成联盟,相互合作。因此除了自身具备的知识技术外,IT 服务业会将其他行业机构的技术与成果进行整合,这是 IT 服务业比较突出的特征。
知识密集性。IT 服务提供过程中的交互活动依赖个人的专业知识,因此,个人知识成为 IT 服务业的关键性资源,IT 服务业间的竞争更多是人才竞争。没有高素质人才,IT 服务业就成了无本之木。IT 服务业的从业人员需要具备完整的知识结构、丰富的专业知识和实践经验,方能满足需方的需求,帮助需方制定与实施完善的、适宜的解决方案。
产业内部呈金字塔分布。IT 服务产品差异性比较大,具有资金需求小、成本低、标准化程度不足等特点,因此进入壁垒相对较低。现代服务业内部结构呈金字塔分布,存在少数大型的组织和多数小型的组织。
法律和契约的强依赖性。IT 服务业在提供服务的供方与接受服务的需方间主要以签订服务协议或者契约的形式来确定相关服务事项,从而在双方间形成一种委托代理关系。因此,IT 服务业与法律和契约之间具有较强的依赖关系。
声誉机制。IT 服务业的生产和消费,由于空间和时间上的不可分性,使接受服务的需方事先无法观察到服务的质量,因此需方主要根据供方的声誉来确定对服务的支付意愿。反映供方声誉和质量的证明是决定选取和使用方面的重要因素,因此声誉机制对 IT 服务业的服务业务发展起着决定性作用。
# 原理与组成
# IT 服务原理
ITSS 给出了 IT 服务的基本原理,由能力要素、生存周期要素、管理要素组成。
能力要素由人员(People)、过程(Process)、技术(Technology)和资源(Resource)组成,简称 PPTR。
IT 服务生命周期由四个阶段组成,分别是战略规划(Strategy & plarring)、设计实现(Design & implementatior)、运营提升 (Operation & promotion)、退役终止(Retirement & termination),简称为 SDOR。为了保证每个生命周期阶段及其过程的实施,需要通过监督提供保障,通过管理提供支撑。
# 组成要素
# 1. 人员
人员是指 IT 服务生命周期中各类满足要求的人才的总称,ITSS 规定了提供 IT 服务的各类人员应具备的知识、经验和技能要求,目的是指导 IT 服务提供商根据岗位职责和管理要求 “正确选人”。
目前,针对 IT 服务人员,使得服务供方常面临如下挑战:
人员知识、技能和经验评估难;
不同人员交付同一服务的质量不一致;
人才流动率高,很难建设稳定的服务团队;
人才招聘难,很难形成合理的人力资源池;
人员专业化的必要性主要包括以下几个方面:
有助于建立与服务发展相适应的人才队伍,保障服务工作的连续性和稳定性;
有助于改进和完善人才培养模式,提高人才培养质量;
有助于优化人力资源管理,提高管理效率和降低管理成本。
# 2. 过程
过程是通过合理利用必要的资源,将输入转化为输出的一组相互关联和结构化的活动,是提高管理水平和确保服务质量的关键要素。ITSS 根据咨询设计、集成实施、运行维护等各种类型的IT服务,规定了应建立的过程和各个过程应实现的关键绩效指标(KPI),确保供方能 “正确做事”。通过按照ITSS要求建立简洁、高效和协调的过程,能有效地将人员、技术和资源要素连接起来,指导服务人员按规定的方式方法正确地做事。
过程作为 IT 服务的核心要素之一,有明确的目标,可重复和可度量。
对各类 IT 服务组织来说,过程要素所面临的挑战主要包括以下几个方面:
过程没有明确定义,完全按照操作人员的个人习惯执行;
过程定义不清晰,不具备按照过程管理思路执行的价值;
过程定义太复杂,执行效率严重下降甚至影响运营;
没有明确的过程目标,操作人员不清楚每一项活动应该做到什么;
对过程没有监督,不清楚过程的稳定性;
对过程没有考核,不能得到持续改进。
过程规范化的必要性主要包括以下几个方面:
确保过程可重复和可度量;
有效控制因未明确定义而引发的潜在风险;
通过对过程进行评价和度量,可持续提升过程的效率;
通过过程实现规范化管理,可持续提高服务质量;
通过规范化的过程管理,提高效率,减少人员和成本的投入。
# 3. 技术
技术是指交付满足质量要求的IT服务应使用的技术或应具备的技术能力,以及提供 IT 服务所必须的分析方法、架构和步骤。技术要素确保 IT 服务供方能 “高效做事”,是提高 IT 服务质量方面重点考虑的要素,主要通过自有核心技术的研发和非自有核心技术的学习借鉴,持续提升提供服务过程中发现问题和解决问题的能力。
对服务供需双方来说,技术要素所面临的挑战主要包括:
为满足组织的目标和需求,组织对IT技术的依赖程度越来越高;
激烈的市场竞争使得组织对技术的要求越来越高;
低成本、高效率的服务需求,对组织的技术研发和使用能力提出了更高的要求。
技术体系化的必要性主要体现在以下几个方面:
提高服务质量,降低服务成本;
减少人员流失带来的损失;
及时应用和推广成熟技术;
做好新技术的研发和储备;
在提供服务中使用一致的技术标准。
# 4. 资源
资源是指提供 IT 服务所依存和产生的有形及无形资产,如咨询服务供方为满足需方的需求,提供咨询服务所必须具备的知识、经验和工具等。资源要素确保供方能 “保障做事”,主要由人员、过程和技术要素中被固化的成果和能力转化而成,同时又对人员、过程和技术要素提供有力的支撑和保障。
对于各类服务组织来说,资源要素所面临的挑战主要包括:
忽略资源的价值,投入不够,导致资源不足;
对资源的使用不重视,重复投资现象严重;
缺乏利用资源的统一规划,资源的利用率不高;
资源的更新不及时,与需求、技术研发脱节。
资源系统化的必要性主要体现在以下几个方面:
统筹资源开发利用,确保与运营、技术研发协调一致;
确保提供满足质量和成本要求的服务;
明确各类资源管理的要点,提高资源使用率;
结合服务发展需求,确保能及时更新资源,提高资源的使用率和使用质量。
# 服务生命周期
IT 服务生存周期是指 IT 服务从战略规划、设计实现、运营提升到退役终止的演变。
战略规划是指从组织战略出发,以需求为中心,参照 ITSS 对 IT 服务进行战略规划,为 IT 服务的设计实现做好准备,以确保提供满足供需双方需求的IT服务。(规划为实现做准备)
设计实现是指依据战略规划,定义 IT 服务的体系结构、组成要素、要素特征以及要素之间的关联关系,建立管理体系、部署专用工具以及服务解决方案。(实现以规划为依据)
运营提升是指根据服务实现情况,采用过程方法实现业务运营与 IT 服务运营相融合,评审 IT 服务满足业务运营的情况以及自身缺陷,提出优化提升策略和方案,对 IT 服务进行进一步的规划。
退役终止是指对趋近于退役期的 IT 服务进行残余价值分析,规划新的 IT 服务部分或全部替换原有的 IT 服务,对没有可利用价值的 IT 服务停止使用。
# 战略规划
# 1. 规划活动
服务战略规划是组织整个 IT 服务发展和能力体系建设的首要之事。在该阶段,需要考虑服务目录、组织架构和管理体系、指标体系和服务保障体系,以及内部评估机制等。
(1)基于组织的 IT 服务发展目标和业务规划,确保可以提供良好稳定的 IT 服务,可以结合自身业务能力、客户需求以及内外部环境策划服务目录。服务目录定义了服务供方所提供服务的全部种类以及服务目标,这些服务包括正在提供的和能够提供的内容。
(2)需规划如何建立相应的组织架构和服务保障体系来支持服务目录所列出服务内容的实施。组织架构与提供的服务内容密切相关,不同的组织架构在管控、成本、创新和效能方面存在巨大差异,需要根据组织总体战略目标和组织治理架构确立,组织架构稳定的周期相对较长,不会频繁调动,这就需要确保一定时期内对 IT 服务能力的支撑情况。通常可以通过两种方式实现:一是在定义服务内容的时候,参照了组织当前的组织结构;二是根据业务目标确定服务内容以后,设立或优化组织当前的组织架构。
(3)在适合的组织架构基础上,组织需要根据总体的治理理念和思想,确定必要的制度保障,固化对 IT 服务保障能力。这里的制度体系包括组织级的制度,如质量、财务、安全、职业健康、人力资源、商务等;也要包括 IT 服务本身的制度,如行为规范、数据质量等。对人员、资源、技术和过程四要素所涉及的策划内容,也应包含在服务保障体系之中。同时,结合组织整体的质量管理要求,应建立 IT 服务能力审核、监督和检查计划。
(4)对于任何 IT 服务,服务绩效都可以通过绩效指标来衡量,通过制定服务指标体系,作为衡量 IT 服务实施的绩效,检查供方是否达到目标。
建立服务指标体系,大致可以包括:
制定各项 IT 服务目标,如质量目标、过程目标、能力目标和财务目标等;
制定目标实施的检查机制(包括评估、检查、报告、测量等方法)并测量其有效性,注意必要时需要对目标进行变更;
制定服务实施结果的测量指标,例如与目标的偏离度、客户满意度调查等可以适当地考虑相关的测量、评估工具。
战略规划阶段的关键成功因素主要包括:
确保全面考虑业务战略、团队建设、管理过程、技术研发、资源储备的战略规划;
确保战略规划的内容和结果得到决策层、管理层的承诺和支持;
确保战略规划的内容和结果得到相关干系人的理解和支持;
对战略规划的内容和结果进行测量、分析、评审和改进。
# 2. 规划报告
战略规划报告是战略规划阶段的核心成果之一,主要针对已确定的服务目录、服务级别和业务需求来确立相应的组织架构、服务保障体系和能力要素建设等,进而保持相应的业务能力、IT 服务能力和资源能力,确保实际的 IT 服务能够满足服务目录和服务级别的要求,保证在总体战略指导下有计划性地组织、建设、调整和配比各项能力,满足当前和未来的 IT 服务需求。
战略规划报告的目标主要包括:
确保经过业务需求和成本合理分析的 IT 服务能力管理;
确保战略规划和实施在要求时间内满足当前和将来 IT 服务的需求,避免因为资源能力缺乏、发展预期产生的技术以及人员准备不足等而造成的突发事件;
识别需要监测的 IT 服务内容,定义监测方法和可测量的能力指标;
保证能够及时识别服务能力的不足,并且及时设计并采取相应的纠正措施弥补不足;
采集能力数据,对资源的能力参数进行监控,产生监控数据记录和报告;
定期生成战略实施报告,对能力监控数据进行总结和评估;
对服务战略定期进行检查评审、维护和改进,不断提高 IT 服务质量和效能水平,并调整以适应不断发展的 IT 服务能力需求。
战略规划报告的确立、发布和实施常遵循的原则主要包括:
必须遵从政策法规的要求,满足相应的法规和过程、技术标准、行业规范以及指导组织意见;
关键业务优先级原则,有限的能力要素必须保证关键业务过程的支持和恢复;
风险管理原则,树立风险无处不在的意识,有效地分析和管理风险;
面向体系化的管理原则,制定和实施完善的能力管理,并遵从过程进行活动和管理;
质量管理原则,遵循计划、实施、检查、改进的质量管理周期过程;
成本合理原则,能力要素总是有限的,尤其对于能力管理,更要考虑做到成本和能力的平衡、需求与提供之间的平衡;
战略规划过程中,组织治理、运维交付、质量管理、人力资源管理、技术研发等部门应共同参与。
服务战略应涵盖的方面主要包括:
IT 服务的整体战略、发展方针以及阶段性目标策划;
对需方的需求预测;
对于人员、资源、技术和过程的能力进行预测和规划;
对现有服务人员、资源、技术、过程能力进行评估、优化、改进和计划性储备;
规定定期形成能力监控和分析报告;
对外部服务能力进行规划以及对将来需求的预测;
规定监控对外部提供服务的实施能力及其 SLA(服务等级协议)达成能力等参数;
依据服务战略及标准的要求建立相适应的指标体系;
依据服务战略及标准的要求建立计划和指标体系的考核方法及考核准则;
规定 IT 服务能力管理的管理指标、考核体系和配套的管理制度,具有明确的量化指标,包括人员绩效考评、服务项目管理考评、服务交付指标等方面;
规定服务保障体系,具有服务保障制度、岗位设置和匹配岗位需求的人员技术能力。
# 设计实现
# 1. 服务设计
组织需要基于业务战略、运营模式及业务流程特点,设计与开发满足业务发展需求的服务,以确保服务提供及服务管理过程满足需方的需求,在进行服务设计的过程中,需要考虑的主要因素包括以下几个方面:
客户对 IT 服务的相关要求;
基于信息服务分类(参考 GB/T29264-2012)确定的管理方法;
组织所确定的关于服务的关键要求;
服务设计活动的特性、周期和复杂性;
组织承诺遵守的标准或行业准则;
所设计的 IT 服务的特性以及失败的潜在后果;
客户和其他相关方对服务设计过程期望的控制程度;
服务设计过程所需的内部和外部资源;
设计过程中的组织方式,包括人员和各小组的职责和权限。
为确保服务设计活动有序且高效,组织需要对服务设计过程进行适当的控制,主要包括以下几个方面:
服务设计活动完成的结果是明确定义的,并且应便于后续服务的交接和提供,以及相关的监视和测量;
服务设计过程中遇到的问题必须在服务交付和运营之前得到有效处置;
遵循在战略规划所确定的服务设计准则和流程;
服务设计的输出结果满足相关的目标和约束条件;
在整个服务设计过程及后续任何对服务的变更设计中,保持适当的变更控制和配置管理。
组织在服务设计过程中,需要注意识别和控制风险,主要包括:技术风险、管理风险、成本风险和不可预测风险等。
技术风险包括技术工具的确认、技术支持过程的确认、技术要求的变更、关键技术人员的变更等。
管理风险包括资源及预算是否到位、服务范围是否可控、服务边界是否清晰、服务内容是否充分满足需方需求、服务终止标准是否可衡量可达到等。
成本风险包括人力、技术、工具及设备、环境、服务管理等成本是否可控。
不可预测风险包括火灾、自然灾害、重大信息安全事件等。
# 2. 服务部署
服务部署的主要内容和活动包括以下几个方面:
确定服务交付所需的组织结构、人员能力或资格、职责和权限;
确保所需资金、设备设施、信息资源和供方资源的可用性和连续性;
确定与组织内部和外部服务相关人沟通的过程并保持相关记录;
评价新的或变更的服务对 IT 服务管理体系的影响,确保 IT 服务管理体系的有效性;
必要时获得表述部署活动的操作程序或作业指导书;
建立部署计划,确保部署活动可被跟踪、验证,并且在必要的情况下可回退;
识别、记录与部署活动有关的预期偏差和风险,适宜时采取纠正措施;
确定可监视和测量的服务部署移交过程和要求,例如:文件信息移交、知识移交、技能移交、基线移交和模拟环境移交。
服务部署的目标是协调组织组成服务的所有组件,以及与之有关的其他个人、部门或组织,在满足设计环节的要求和限制的前提下,在可接受的时间、成本和质量标准内,确保服务目标和服务需求在组织环境里得到满足;在部署实施期间,确保需方、IT 终端用户及服务团队等各方面的满意度,服务目标和服务需求与需方的业务组织、业务流程顺利衔接,服务目标和服务需求实现以后是可以正常运转且可以被有效管理的,同时使需方对其有更明确的、合理的期望。
通常情况下,部署实施可分为计划、启动、执行和交付四个阶段。
组织制定的服务部署计划内容,通常包括以下几个方面:
服务部署的实施主体及相关方的责任和权限;
服务部署过程中的沟通机制,包括与相关方的沟通;
所需资金、设备设施、信息资源的可用性和连续性;
对服务部署过程中所需的组织结构、人员能力或资格有明确的要求;
服务部署的风险评估与应对措施;
服务部署成功的验证标准;
服务部署过程的实施内容,必要时获取表述部署活动的操作程序或作业指导书。
组织在服务部署过程中,需要注意识别和控制风险,主要包括:
评价新的或变更的服务对服务管理体系的影响,确保服务管理体系的有效性。
对新的或变更的服务进行评审,评审内容包括时间、地点、实施步骤、人员、技术、资源的安排,新的或变更的服务对现有服务提供的风险及风险应对措施,新的或变更的服务成功部署验证标准、失败的应对措施等。保持评价过程的相关记录。
制定标准部署活动的操作程序或作业指导书,可以被相关人员访问及使用。
识别、记录与部署活动有关的预期偏差和风险,包括新的或者变更的服务对现有服务、现有生产运营环境、相关干系人和部署实现目标等产生影响。
通过进行测试或者试运行,以减少过程风险和对生产运营环境的影响,如进行压力测试、用户测试、应急演练等。
对服务部署过程的风险评估并制定合理的应对措施,确保服务部署过程的完成。
服务部署的关键成功因素主要包括:
确定可度量的里程碑和交付物以及交付物的验收标准;
对服务资源的准确预测并确保资源的可用性和连续性;
管理和统一服务相关干系人的期望;
服务目标清晰;
形成标准操作程序或作业指导书。
# 运营提升
服务运营的关键成功因素主要包括:
服务交付结果满足业务运营需求;
服务促进了需方业务价值的提升;
服务质量的一致性及标准化能力;
全面跟踪和理解需方需求变更;
具有有效运行的知识管理体系;
具有有效信息安全管理方法、手段和工具。
# 1. 运营活动
组织根据服务部署情况,全面管理服务运营的要素,持续监督与测量服务,控制服务的变更以及服务运营的风险,以确保服务的正常运行,相关活动主要包括:
根据服务部署的成果,持续实施管理活动,输出符合要求的服务;
建立正式的、非正式的沟通渠道,获取用户的反馈并保留相关记录文档;
持续控制服务范围、服务级别协议、关键里程碑、交付物要求等;
建立服务运营的投诉管理机制,包括投诉接收、处理、反馈及相关记录等;
建立服务交付成果及交付质量评价机制,并分析和记录;
与外部供方明确技术要求、资源要求、质量要求、交付时间要求等。
# 2. 要素管理
组织对主要人员、过程、技术、资源等服务运营相关要素进行持续管理。要素管理的相关活动主要包括:
根据岗位职责的要求完成人员细化管理并开展培训,通过绩效考核制度确保人员具备应有的能力;
采用适宜的手段对服务涉及的技术进行管理,包括前瞻性研究、知识显性化管理、自主研发或购买能提高服务效率或效果的工具、技术评估和优化等;
有效提供、配置、评估、优化和维护各类资源,确保资源的合理利用;
对服务过程实施监控、测量、评估和考核,并对服务过程产生的记录文件进行有效管理。
# 3. 监督与测量
组织需要对服务运营的目标和计划达成状况进行监督、测量、分析和评价。监督和测量的相关活动主要包括:
确定测量的方式、标准、频率、时间及地点;
采用适宜的手段监督服务的过程和结果,包括建立监督组织和岗位职责、建立服务相关阈值或基线,采用适宜的工具或手段采集数据,建立预警或提示机制,建立纠正措施的启动机制等;
对测量结果进行分析,提出改进建议;
定期根据分析和改进成果评价服务。
# 4. 风险控制
组织需要通过风险控制对服务运营做出正确的决策,实现服务运营的目标。风险控制的相关活动主要包括:
识别服务运营中人员、资源、技术和过程的风险和机遇;
识别可能导致服务中断的风险,制定应对措施,确保服务连续性;
对服务运营中的风险采用必要的措施,降低对服务运营的影响;
控制风险,对服务级别协议的完成情况进行监视,对不达标条款进行分析,提出解决方案,转移、回避或者接受风险。
# 退役终止
组织因某种因素制约,不再继续提供某项服务时,可进行服务终止操作,服务终止应及时通知需方及相关方,做好服务终止风险控制,处理好终止后的事务。
组织如果要终止服务,往往需要有书面的服务终止计划,其主要内容通常包括:
终止适用的条件;
终止的目标与成功要素;
其他各方执行流程的控制;
所有相关各方的角色与职责,如需方、外部供方和内部团队;
约束、风险与问题;
里程碑和交付物;
活动分解和每个活动的描述;
约定的服务终止与责任终止的完成标准;
服务对需方不再有效的时间和服务终止的时间;
要终止的服务和其他服务之间的接口将如何由其他服务处理;
安排信息安全审查,包括敏感信息的删除等;
确保任何悬而未决的事件、问题、用户请求和变更请求的具体内容已与需方达成共识,与需方的协议包括由此产生的任何行动。
# 服务标准化
# 服务产业化
IT 服务的产业化进程分为产品服务化、服务标准化和服务产品化三个阶段。
(1)产品服务化。软硬件服务化已成为 IT 产业发展的主要方向之一,特别是云计算、物联网、移动互联网等新模式、新技术的不断出现,改变了软硬件的 营销、生产和交付模式。软件即服务、平台即服务、基础设施即服务等业态的出现,促使软硬件组织以产品为基础向服务转型。
(2)服务标准化。标准化是确保服务实现专业化、规模化的前提,也是规范服务的重要手段。在服务标准化的过程中,标准化的核心作用是确定服务的范 围和内容,规范组成服务的各种要素,从而为服务的规模化生产和消费奠定基础。
(3)服务产品化。产品化是实现产业化的前提和基础,只有需方对服务产品达到一致认识的前提下,服务的规模化生产和消费才能成为可能。
总的来说,产品服务化是前提,服务标准化是保障,服务产品化是趋势。
# 1. 产品服务化
产品服务化的特征主要包括以下几个方面:
产品服务化是以产品为主线,服务依附于产品而存在;
产品服务化在服务过程中,常对服务没有明确的考核;
产品与服务是不可分割的两部分,两者往往融合在一起。
产品服务化的价值可以分别从需方和供方角度来看:
从需方的角度。产品的交付和使用是为了有效支撑需方业务运营,一般是通过供方为需方提供服务来实现的,包括以产品本身和增值服务方式提供的服务,从而实现产品的作用和价值的最大化。
从供方的角度。新产品或新的解决方案,需要通过研发和应用的有效互动来持续改进,并在提供服务的过程中不断提升产品, 在为需方创造价值的同时,实现供方的发展战略。
# 2. 服务标准化
服务标准化的特征主要包括以下几方面:
建立了标准的过程、实施规范以及相关制度;
具有明确的有形化产出物描述及相关模板;
实施服务的过程有记录,此记录可进行追溯且可审计;
建立完善的服务质量考核指标体系。
服务标准化的价值分别从需方和供方角度来看:
从供方的角度:服务标准化使服务规模化成为可能;
从需方的角度:在接受服务的过程中更有效地获得满足需求的服务。
# 3. 服务产品化
随着组织对 IT 的依赖,IT 服务需求不断增加,并从附属于硬件和软件的从属地位中逐渐独立出来,成为增长速度最快的领域。 但是,由于服务的无形性、不可存储性等特殊性,如何衡量 IT 服务质量和成本、评价服务绩效已成为 IT 服务发展过程中的关键技术难题。因此,需要借鉴针对传统产品的方式,实现服务产品化,即将所提供的服务通过可衡量的质量要求、可视化的服务体系、清晰的服务定价机制和统一的服务标准来体现,形成具有特定属性的服务产品,并具有产品规范化、可视化、数字化特性。
服务产品化的特征主要包括:
服务产品化具有清晰的服务目录;
具有独立的价值、明确的功能和性能指标;
对具体的服务有相应的服务级别要求;
对服务有明确的考核指标;
对服务产品实施全生命周期管理。
服务产品化的价值可以分别从供方和需方角度来看:
从服务需方角度。服务产品化之后,需方能够以产品组合的形式定制规范化服务,具有清晰的标准、预期的服务质量和服务收益。
从服务供方角度。将服务进行产品化,能够满足需方不同阶段的服务需求,以产品的方式对需方提供统一、规范的服务交付内容、交付过程及交付界面,有效地提升了服务的工作效率和服务级别协议的达成率,使需方得到统一、规范、专业的服务,获得更大的满意度。
# 服务标准
# 1. 建设目标
ITSS (信息技术服务标准) 的建设目标主要聚焦在支撑国家战略、引导产业高质量发展、促进新技术应用创新、指导 IT 服务业务升级、确保标准化工作有序开展等方面。
# 2. 价值定位
对 IT 服务需方/供方的价值收益主要包括:提升服务质量、优化服务成本、强化服务效能、降低服务风险等。
# 3. 体系框架
形成标准体系的主要方式有层次和并列两种,层次是指一种方向性的等级顺序,彼此存在着制约关系和隶属关系;并列是指同一层次内各类或各标准之间存在的方式和秩序,ITSS 标准体系通过并列方式列出各类和各项标准。
ITSS 标准体系的建立原则主要包括目标明确、整体性强,整个体系是有序的,并具有开放性、动态性特点等。
ITSS5.0 标准体系框架是在数字中国建设、产业高质量发展、新发展格局构建以及自主创新的国家战略和市场需求的双轮驱动下,以基础服务标准为底座,以通用标准和保障标准为支柱,以技术创新服务标准和数字化转型服务标准为引领,共同支撑业务融合的实现。
# 服务质量评价
# 相关方模型
IT 服务涉及服务的开发、提供和消费等环节,并涉及服务的需方、供方和第三方等服务相关方,在特定条件下的服务交互过程。
# 互动模型
服务的需方和供方之间是通过服务质量特性来进行互动的。
在需方部分,期望质量也就是需方对供方服务所提出的服务质量要求,感知质量就是供方在提供服务过程中被需方感受到的服务质量。
这二者都将通过服务质量特性的评价指标去量化体现。其中期望质量与感知质量的差异将影响到服务需方满意度,期望质量大于感知质量,服务需方不满意;期望质量小于或等于感知质量,服务需方满意。
在供方部分,服务质量特性决定于服务供方的服务要素质量和服务生产质量应满足的服务质量要求。服务要素质量涉及人员、过程、技术、资源等方面。服务生产质量就是供方提供服务的过程,覆盖了服务的全生命期。服务要素质量支撑服务生产质量,服务生产质量依赖服务要素质量并通过服务质量特性的评价影响需方的感知质量。
# 质量模型
质量模型用于定义服务质量的各项特性,分为 5 大类:安全性、可靠性、响应性、有形性和友好性。
每个大类服务质量特性进一步细分为若干子特性。这些特性和子特性适用于定义各类 IT 服务的评价指标。
# 服务集成与实践
服务集成是在传统意义上信息系统集成关注技术融合的基础上,更加强调数据融合共享条件下的 “敏态” 集成能力建设,是信息系统软硬件面向 ”稳态” 集成后,面向各行业领域数字化转型和服务化发展的新型实践。
服务集成基于服务核心四要素:需方、供方、环境和过程,与单项服务活动相比,多元服务的集成更加关注通过业务战略一致性管控(服务集成价值与需方发展战略的深度融合)、服务敏捷与创新、服务能力与服务生态一致性建设,满足需方复杂需求(尤其是隐性需求)以及具备弹性的价值与成效要求等。
# 第四章 信息系统架构
# 架构基础
架构的本质是决策,是在权衡方向、结构、关系以及原则各方面因素后进行的决策。信息系统项目可基于项目建设的指导思想、设计原则和建设目标等展开各类架构的设计。
# 2. 设计原则
太多的原则会降低架构的灵活性,许多组织倾向于只界定更高级别原则,并通常将数目限制在 4-10 项。
# 3. 建设目标
信息系统集成架构服务于各项建设目标的达成,各项业务目标都是为建设目标而服务的。
# 4. 总体框架
信息系统体系架构总体参考框架由四个部分组成,即战略系统、业务系统、应用系统和信息基础设施。这四个部分相互关联,并构成与管理金字塔相一致的层次。
# 系统架构
# 1. 架构定义
信息系统架构伴随技术的发展和信息环境的变化,一直处于持续演进和发展中,不同的视角对其定义也不尽相同,常见的定义主要有:
① 软件或计算机系统的信息系统架构是该系统的一个(或多个)结构,而结构由软件元素、元素的外部可见属性及它们之间的关系组成。
② 信息系统架构为软件系统提供了一个结构、行为和属性的高级抽象,由构成系统元素的描述、这些元素的相互作用、指导元素集成的模式及这些模式约束组成。
③ 信息系统架构是指一个系统的基础组织,它具体体现在系统的构件、构件之间、构件与环境之间的关系,以及指导其设计和演化的原则上。
对信息系统架构的定义描述,可以从以下 6 个方面进行理解:
架构设计师通常将架构的重点放在软件部分。
# 2. 架构分类
信息系统架构通常可分为物理架构与逻辑架构两种:
物理架构是指不考虑系统各部分的实际工作与功能架构,只抽象地考察其硬件系统的空间分布情况。
逻辑架构是指信息系统各种功能子系统的综合体。
1. 物理架构
按照信息系统在空间上的拓扑关系,其物理架构一般分为集中式与分布式两大类。
2. 逻辑架构
对于一个生产组织的管理信息系统,从管理职能角度划分,包括采购、生产、销售、人力资源、财务等主要功能的信息管理子系统。一个完整的信息系统支持组织的各种功能子系统,使得每个子系统可以完成事务处理、操作管理、管理控制与战略规划等各个层次的功能。在每个子系统中可以有自己的专用文件,同时可以共享信息系统中各类数据,通过网络与数据等规范接口实现子系统之间的联系。与之相类似,每个子系统有各自的应用程序,也可以调用服务于各种功能的公共程序以及系统模型库中的模型等。
3. 系统融合
在信息系统开发与集成建设中,强调各子系统之间的协调一致性和整体性。要达到这个目的,就必须在构造信息系统时注意对各种子系统进行统一规划,并对各子系统进行整体融合。常见的融合方式包括横向融合、纵向融合和纵横融合。
横向融合是指将同一层次的各种职能与需求融合在一起,例如,将运行控制层的人事和工资子系统综合在一起,使基层业务处理一体化。
纵向融合是指把某种职能和需求的各个层次的业务组织在一起,这种融合沟通了上下级之间的联系,如组织分支机构会计系统和整体组织会计系统融合在一起,它们都有共同之处,能形成一体化的处理过程。
纵横融合是指主要是从信息模型和处理模型两个方面来进行综合,做到信息集中共享,程序尽量模块化,注意提取通用部分,建立系统公用数据体系和一体化的信息处理系统。
# 3. 一般原理
架构包含两个基本部分:组成成分和组成成分之间的关系。
在外界环境方式变化时架构中组成成分和关系有些可能是不变的,有些则可能要产生很大的变化。在信息系统中,析出相对稳定的组成成分与关系,并在相对稳定部分的支持下,对相对变化较多的 部分进行重新组织,以满足变化的要求,就能够使得信息系统对环境的变化具有一定的适应能力,即具有一定的柔性,这就是信息系统架构的基本原理。
# 4. 常用架构模型
常用架构模型主要有单机应用模式、客户端/服务器模式、面向服务架构(SOA)模式、组织级数据交换总线等。
# 4-1. 单机应用模式
准确地讲,单机应用(Standalone)系统是最简单的软件结构,是指运行在一台物理机器上的独立应用程序。当然,该应用可以是多进程或多线程的。这种复杂的单机系统还有很多,它们大多都是专业领域的产品,如 AutoCAD、Photoshop 等。
# 4-2. 客户端/服务器模式
下面介绍四种常见的客户端/服务器的架构。
(1)两层 C/S
两层 C/S 结构通俗地说就是人们常说的 “胖客户端” 模式。在实际的系统设计中,该类结构主要是指前台客户端 + 数据库管理系统。两层 C/S 结构实际上就是将前台界面与相关的业务逻辑处理服务的内容集成在一个可运行单元中了。
(2)三层 C/S 与 B/S 结构
三层 C/S 结构,其前台界面送往后台的请求中,除了数据库存取操作以外,还有很多其他业务逻辑需要处理。三层 C/S 的前台界面与后台服务之间必须通过一种协议(自开发或采用标准协议)来通信(包括请求、回复、远程函数调用等)。
目前最典型的基于三层 C/S 结构的应用模式便是人们最熟悉、较流行的 B/S(Brower/Server,浏览器/服务器)模式。Web 浏览器是一个用于文档检索和显示的客户应用程序,并通过超文本传输协议 HTTP(Hyper Text Transfer Protocol)与 Web 服务器相连。该模式下,通用的、低成本的浏览器节省了两层结构的 C/S 模式客户端软件的开发和维护费用。
应该强调的是 B/S 模式的浏览器与 Web 服务器之间的通信仍然是 TCP/IP,只是将协议格式在应用层进行了标准化。实际上 B/S 是采用了通用客户端界面的三层 C/S 结构。
(3)多层 C/S 结构
多层 C/S 结构一般是指三层以上的结构,在实践中主要是四层,即前台界面(如浏览器)、Web 服务器、中间件(或应用服务器)及数据库服务器。
多层客户端/服务器模式主要用于较有规模的组织信息系统建设,其中中间件一层主要完成以下几个方面的工作:
① 提高系统可伸缩性,增加并发性能;
② 中间件/应用层专门完成请求转发或一些与应用逻辑相关的处理,具有这种作用的中间件一般可以作为请求代理,也可作为应用服务器;
③ 增加数据安全性。中间件的存在,可以隔离 Web 服务器对组织数据库的访问请求:Web服务器将请求先发给中间件,然后由中间件完成数据库访问处理后返回。
(4)模型-视图-控制器模式
模型-视图-控制器(ModeLView-Controller,MVC)的概念在目前信息系统设计中非常流行,严格来讲,MVC 实际上是上述多层 C/S 结构的一种常用的标准化模式,或者可以说是从另一个角度去抽象这种多层 C/S 结构。
在 J2EE 架构中,View 表示层指浏览器层,用于图形化展示请求结果;Controller 控制器指 Web 服务器层;Model 模型层指应用逻辑实现及数据持久化的部分。
MVC 主要是要求表示层(视图)与数据层(模型)的代码分开,而控制器则可以用于连接不同的模型和视图来完成用户的需求。从分层体系的角度来讲,MVC 的层次结构,其控制器与视图通常处于 Web 服务器一层,而根据 “模型” 有没有将业务逻辑处理分离成单独服务处理,MVC 可以分为三层或四层体系。
# 4-3. 面向服务架构
(1)面向服务架构
如果两个多层 C/S 结构的应用系统之间需要相互进行通信,那么就产生了面向服务架构(Service Oriented Architecture,SOA)。
在 SOA 的概念中,将由多层服务组成的一个结点应用看作是一个单一的服务。在 SOA 的定义里,服务是指向提供一组整体功能的独立应用系统。
所谓独立应用系统是指无论该应用系统由多少层服务组成,去掉任何一层,它都将不能正常工作,对外可以是一个提供完整功能的独立应用。这个特征便可以将面向服务架构与多层单服务体系完全区分开来。
两个应用之间一般通过消息来进行通信,可以互相调用对方的内部服务、模块或数据交换和驱动交易等。
在实践中,通常借助中间件来实现 SOA 的需求,如消息中间件、交易中间件等。面向服务架构在实践中又可以具体分为异构系统集成、同构系统聚合、联邦体系结构等。
(2)Web Service
面向服务架构体现在 Web 应用之间,就成为了 Web Service,即两个互联网应用之间可以相互向对方开放一些内部 “服务”(这种服务可以理解为功能模块、函数、过程等)。目前,Web 应用对外开放其内部服务的协议主要有 SOAP(简单对象访问协议)与 WSDL(Web 服务描述语言)。
Web Service 是面向服务架构的一个最典型、最流行的应用模式,但除了由 Web 应用为主而组成的特点以外,Web Service 最主要的应用是一个Web 应用向外提供内部服务,而不像传统意义上 SOA 那样有更加丰富的应用类型。
(3)面向服务架构的本质
面向服务架构的本质是消息机制或远程过程调用(RPC)。虽然其具体的实现底层并不一定是采用 RPC 编程技术,但两个应用之间的相互配合确实是通过某种预定义的协议来调用对方的 “过程“ 实现的。
# 4-4. 组织级数据交换总线
实践中,还有一种较常用的架构,即组织级数据交换总线,即不同的组织应用之间进行信息交换的公共通道。关于数据总线本身,其实质应该是一个称之为连接器的软件系统(Connector),它可以基于中间件(如:消息中间件或交易中间件)构建,也可以基于 CORBA/IIOP 协议开发,主要功能是按照预定义的配置或消息头定义,进行数据(data)、请求(request)或回复(response)的接收与分发。
如果采用 CORBA 为通信协议,交换总线就是对象请求代理(ORB),也被称为 “代理(Agent)体系“。另外,在交换总线上挂接的软件系统,有些也可以实现代理的功能,各代理之间可以以并行或串行的方式进行工作,通过挂接在同一交换总线上的控制器来协调各代理之间的活动。
# 5. 规划与设计
1. 集成架构演进
对任何组织来说,其信息系统集成架构随其业务发展、数字化转型成熟度和信息技术发展等持续演进和变化。以工业企业为例,其集成架构演进常为:以应用功能为主线架构、以平台能力为主线架构和互联网为主线架构。采用不同的主线架构,本质上取决于企业业务发展的程度,表现为企业数字化转型的成熟度。
(1)以应用功能为主线架构
对于中小型工业企业或者处于信息化、数字化发展初级阶段的工业企业来说,其信息系统集成建设的主要目标是提高工作效能、降低业务风险。同时,受制于自身信息化队伍和人才的不足,以及业务体系对信息化、数字化理解得不深入等,企业往往采用 “拿来主义“ 来构建其信息系统,即直接采购成套且成熟的应用软件,并基于应用软件的运行需求,建设相关的基础设施。
企业发展在该阶段重点关注的是组织职能的细化分工以及行业最佳实践的导入。因此组织的信息化建设往往以部门或职能为单元,核心关注点是信息系统的软件功能,如财务管理、设备管理、资产管理等,从而进行信息系统规划、设计、部署和运行等。同时,通过成套软件的部署,强化自身的管理或工艺水平等。应用软件或模块间的集成融合,主要通过系统的软件接口来完成。企业往往采用统一规划、分步实施的方式进行,即需要什么功能,部署上线什么功能。
(2)以平台能力为主线架构
随着工业企业发展,其组织规模和数字化转型能力成熟度往往会得到持续提升,企业会逐步从直接获取行业最佳实践,逐步进入自主知识沉淀和自主创新的发展时期。以平台能力为主线的系统集成架构起源于云计算技术的发展和云服务的逐步成熟。其核心理念是将 “竖井式” 信息系统各个组成部分,转化为 “平层化“ 建设方法,包括数据采集平层化、网络传输平层化、应用中间件平层化、应用开发平层化等,并通过标准化接口和新型信息技术,实现信息系统的弹性、敏捷等能力建设。
(3)以互联网为主线架构
以互联网为主线的系统集成架构,强调将各信息系统功能最大限度地 App 化(微服务),如把采购管理中的编码管理作为一项 App 存在。以互联网为主线的系统集成架构,就是把组织的各项业务职能和工艺活动等进行细化拆分,并实施数字化封装,从而通过云、边、端的融合,实现对职能或工艺活动的动态重组和编排,达到对不同成熟度组织的适配以及组织各项能力的敏捷组合与弹性变革。
2. TOGAF 架构开发方法
TOGAF(The Open Group Architecture Framework)是一种开放式企业架构框架标准,它为标准、方法论和企业架构专业人员之间的沟通提供一致性保障。
(1)TOGAF 基础
该框架旨在通过以下四个目标帮助企业组织和解决所有关键业务需求:
确保从关键利益相关方到团队成员的所有用户都使用相同语言。这有助于每个人以相同的方式理解框架、内容和目标,并让整个企业在同一页面上打破任何沟通障碍。
避免被 “锁定” 到企业架构的专有解决方案。只要该企业在内部使用 TOGAF 而不是用于商业目的,该框架就是免费的。
节省时间和金钱,可以更有效地利用资源。
实现可观的投资回报(ROI)。
TOGAF 9 版本包括六个组件:架构开发方法(核心)、ADM 指南和技术、架构内容框架、企业连续体和工具、TOGAF 参考模型、架构能力框架。
TOGAF 框架的核心思想是:模块化架构、内容框架、扩展指南、架构风格、TOGAF 的关键是架构开发方法,它是一个可靠的、行之有效的方法,能够满足商务需求的组织架构。
(2)ADM 方法
架构开发方法(ADM)为开发企业架构所需要执行的各个步骤以及它们之间的关系进行了详细的定义,同时它也是 TOGAF 规范中最为核心的内容。ADM 方法是由一组按照架构领域的架构开发顺序排列成一个环的多个阶段构成。通过这些开发阶段的工作,设计师可以确认是否已经对复杂的业务需求进行了足够全面的讨论。TOGAF 中最为著名的一个 ADM 架构开发的全生命周期模型如下图。此模型将 ADM 全生命周期划分为预备阶段、需求管理、架构愿景、业务架构、信息系统架构(应用和数据)、技术架构、机会和解决方案、迁移规划、实施治理、架构变更治理等十个阶段,这十个阶段是反复迭代的过程。
ADM 形成了 3 个级别的迭代概念:基于 ADM 整体的迭代、多个开发阶段间的迭代、在一个阶段内部的迭代。
# 6. 价值驱动的体系结构
价值模型核心的特征可以简化为三种基本形式:价值期望值、反作用力和变革催化剂。
价值期望值表示对某一特定功能的需求,包括内容(功能)、满意度(质量)和不同级别质量的实用性。例如,汽车驾驶员对汽车以 60 公里每小时的速度进行急刹车的快慢和安全性有一种价值期望值。
系统部署实际环境中,实现某种价值期望值的难度,通常期望越高难度越大,即反作用力。例如,汽车以 60 公里每小时的速度进行紧急刹车的结果如何取决于路面类型、路面坡度和汽车重量等。
变革催化剂表示环境中导致价值期望值发生变化的某种事件,或者是导致不同结果的限制因素。
反作用力和变革催化剂称为限制因素,这三个统称为价值驱动因素。
# 应用架构
应用架构的主要内容是规划出目标应用分层分域架构,根据业务架构规划目标应用域、应用组和目标应用组件,形成目标应用架构逻辑视图和系统视图。从功能视角出发,阐述应用组件各自及应用架构整体上,如何实现组织的高阶 IT 需求,并描述主要目标应用组件之间的交互关系。
# 1. 基本原则
常用的应用架构规划与设计的基本原则有:业务适配性原则、应用聚合化原则、功能专业化原则、风险最小化原则和资产复用化原则。
业务适配性原则:应用架构应服务和提升业务能力,能够支撑组织的业务或技术发展战略目标,同时应用架构要具备一定的灵活性和可扩展性,以适应未来业务架构发展所带来的变化。
应用聚合化原则:基于现有系统功能,通过整合部门级应用,解决应用系统多、功能分散、重叠、界限不清晰等问题,推动组织集中的 “组织级” 应用系统建设。
功能专业化原则:按照业务功能聚合性进行应用规划,建设与应用组件对应的应用系统,满足不同业务条线的需求,实现专业化发展。
风险最小化原则:降低系统间的耦合度,提高单个应用系统的独立性,减少应用系统间的相互依赖,保持系统层级、系统群组之间的松耦合,规避单点风险,降低系统运行风险,保证应用系统的安全稳定。
资产复用化原则:鼓励和推行架构资产的提炼和重用,满足快速开发和降低开发与维护成本的要求。规划组织级共享应用成为基础服务,建立标准化体系,在组织内复用共享。同时,通过复用服务或者组合服务,使架构具有足够的弹性以满足不同业务条线的差异化业务需求,支持组织业务持续发展。
# 2. 分层分组
对应用架构进行分层的目的是要实现业务与技术分离,降低各层级之间的耦合性,提高各层的灵活性,有利于进行故障隔离,实现架构松耦合。应用分层可以体现以客户为中心的系统服务和交互模式,提供面向客户服务的应用架构视图。对应用分组的目的是要体现业务功能的分类和聚合,把具有紧密关联的应用或功能内聚为一个组,可以指导应用系统建设,实现系统内高内聚,系统间低耦合,减少重复建设。
# 数据架构
# 1. 发展演进
作为信息系统架构的组成,数据架构在不同时代其形态也是不一样,它是随着信息技术的不断发展而向前演进,主要经历了单体应用架构时代、数据仓库时代和大数据时代等。
# 2. 基本原则
# 技术架构
# 1. 基本原则
# 网络架构
网络是信息技术架构中的基础,不仅是用户请求和获取IT信息资源服务的通道,同时也是信息系统架构中各类资源融合和调度的枢纽。特别是云计算、大数据和移动互联网技术飞速发展的今天,网络更加成为实现这些技术跨越的重要环节。因此网络架构的设计在信息系统架构中有着举足轻重的地位。
# 1. 基本原则
# 2. 局域网架构
局域网指计算机局部区域网络,是一种为单一组织所拥有的专用计算机网络。其特点包括:
覆盖地理范围小,通常限定在相对独立的范围内,如一座建筑或集中建筑群内(通常在 2.5km 内);
数据传输速率高(一般在 10Mb/s 以上,典型 1Gb/s,甚至 10Gb/s);
低误码率(通常在
以下),可靠性高; 支持多种传输介质,支持实时应用。就网络拓扑而言,有总线、环形、星形、树状等类型。从传输介质来说,包含有线局域网和无线局域网等。局域网通常由计算机、交换机、路由器等设备组成。
# 2-1. 单核心架构
单核心局域网通常由一台核心二层或三层交换设备充当网络的核心设备,通过若干台接入交换设备将用户设备(如用户计算机、智能设备等)连接到网络中。
此类局域网可通过连接核心网交换设备与广域网之间的互联路由设备(边界路由器或防火墙)接入广域网,实现业务跨局域网的访问。
单核心网具有如下特点:
核心交换设备通常采用二层、三层及以上交换机;如采用三层以上交换机可划分成 VLAN,VLAN 内采用二层数据链路转发,VLAN 之间采用三层路由转发;
接入交换设备采用二层交换机,仅实现二层数据链路转发;
核心交换设备和接入设备之间可采用 100M/GE/10GE(1GE = 1Gb/s)等以太网连接。
优点:
网络结构简单,可节省设备投资。
需要使用局域网的分项组织接入较为方便,直接通过接入交换设备连接至核心交换设备空闲接口即可。
缺点:
网络地理范围受限,要求使用局域网的分项组织分布较为紧凑;
核心网交换设备存在单点故障,容易导致网络整体或局部失效;
网络扩展能力有限;
在局域网接入交换设备较多的情况下,对核心交换设备的端口密度要求高。
作为一种变通,对于较小规模的网络,采用此网络架构的用户设备也可直接与核心交换设备互联,进一步减少投资成本。
# 2-2. 双核心架构
双核心架构通常是指核心交换设备采用三层及以上交换机。核心交换设备和接入设备之间可采用 100M/GE/10GE 等以太网连接。
网络内划分 VLAN 时,各 VLAN 之间访问需通过两台核心交换设备来完成。网络中仅核心交换设备具备路由功能,接入设备仅提供二层转发功能。
优点:
核心交换设备具备保护能力,网络拓扑结构可靠;
在业务路由转发上可实现热切换;
接入网络的各部门局域网之间互访,或访问核心业务服务器,有一条以上条路径可选择,可靠性更高;
需要使用局域网的专项组织接入较为方便,直接通过接入交换设备连接至核心交换设备空闲接口即可;
所有业务服务器同时连接至两台核心交换设备,通过网关保护协议进行保护,为用户设备提供高速访问。
缺点:
设备投资相比单核心局域网高。对核心交换设备的端口密度要求较高。
# 2-3. 环形架构
环形局域网是由多台核心交换设备连接成双 RPR(Resilient Packet Ring)动态弹性分组环,构建网络的核心。核心交换设备通常采用三层或以上交换机提供业务转发功能。
典型环形局域网网络内各 VLAN 之间通过 RPR 环实现互访。通过与环上的交换设备互联的边界路由设备接入广域网。
优点:
RPR 具备自愈保护功能,节省光纤资源;
具备 MAC 层 50ms 自愈时间的能力,提供多等级、可靠的 QoS 服务、带宽公平机制和拥塞控制机制等;
RPR 环双向可用。网络通过两根反向光纤组成环形拓扑结构,节点在环上可从两个方向到达另一节点。每根光纤可同时传输数据和控制信号;
RPR 利用空间重用技术,使得环上的带宽得以有效利用。
缺点:
通过 RPR 组建大规模局域网时,多环之间只能通过业务接口互通,不能实现网络直接互通;
环形局域网设备投资比单核心局域网的高;
核心路由冗余设计实施难度较高,且容易形成环路。
# 2-4. 层次局域网架构
层次局域网(或多层局域网)由核心层交换设备、汇聚层交换设备和接入层交换设备以及用户设备等组成。
层次局域网模型中的核心层设备提供高速数据转发功能;汇聚层设备提供的充足接口实现了与接入层之间的互访控制,汇聚层可提供所辖的不同接入设备(部门局域网内)业务的交换功能,减轻对核心交换设备的转发压力;接入层设备实现用户设备的接入。
层次局域网网络拓扑易于扩展。网络故障可分级排查,便于维护。通常,层次局域网通过与广域网的边界路由设备接入广域网,实现局域网和广域网业务的互访。
# 3. 广域网架构
通俗来讲,广域网是将分布于相比局域网络更广区域的计算机设备连接起来的网络。广域网由通信子网与资源子网组成。通信子网可以利用公用分组交换网、卫星通信网和无线分组交换网来构建,将分布在不同地区的局域网或计算机系统互连起来,实现资源子网的共享。
广域网属于多级网络,通常由骨干网、分布网、接入网组成。在网络规模较小时,可仅由骨干网和接入网组成。在广域网规划时,需要根据业务场景及网络规模来进行三级网络功能的选择。
# 3-1. 单核心广域网
单核心广域网通常由一台核心路由设备和各局域网组成。核心路由设备采用三层及以上交换机。网络内各局域网之间访问需要通过核心路由设备。
网络中各局域网之间不设立其他路由设备。各局域网至核心路由设备之间采用广播线路,路由设备与各局域网互联接口属于对应局域网子网。核心路由设备与各局域网可采用 10M/100M/GE 以太接口连接。
优点:
该类型网络结构简单,节省设备投资;
各局域网访问核心局域网以及相互访问的效率高;
新的部门局域网接入 广域网较为方便,只要核心路由设备留有端口即可。
缺点:
核心路由设备存在单点故障容易导致整网失效的风险;
网络扩展能力欠佳,对核心路由设备端口密度要求较高。
# 3-2. 双核心广域网
双核心广域网通常由两台核心路由设备和各局域网组成。
双核心广域网模型,其主要特征是核心路由设备通常采用三层及以上交换机。核心路由设备与各局域网之间通常采用 10M/100M/GE 等以太网接口连接。网络内各局域网之间访问需经过两台核心路由设备,各局域网之间不存在其他路由设备用于业务互访。核心路由设备之间实现网关保护或负载均衡。
优点:
各局域网访问核心局域网以及它们相互访问可有多条路径选择,可靠性更高,路由层面可实现热切换,提供业务连 续性访问能力;
在核心路由设备接口有预留情况下,新的局域网可方便接入。
缺点:
设备投资较单核心广域网高;
核心路由设备的路由冗余设计实施难度较高,容易形成路由环路;
网络对核心路由设备端口密度要求较高。
# 3-3. 环形广域网
环形广域网通常是采用三台以上核心路由器设备构成路由环路,用以连接各局域网,实现广域网业务互访。
环形广域网的主要特征是核心路由设备通常采用三层或以上交换机。核心路由设备与各局域网之间通常采用 10M/100M/GE 等以太网接口连接。网络内各局域网之间访问需要经过核心路由设备构成的环。各局域网之间不存在其他路由设备进行互访。核心路由设备之间具备网关保护或负载均衡机制,同时具备环路控制功能。
优点:
各局域网访问核心局域网或互相访问有多条路径可选择,可靠性更高,路由层面可实现无缝热切换,保证业务访问连续性;
在核心路由设备接口有预留情况下,新的部门局域网可方便接入。
缺点:
设备投资比双核心广域网高,核心路由设备的路由冗余设计实施难度较高,容易形成路由环路;
环形拓扑结构需要占用较多端口,网络对核心路由设备端口密度要求较高。
# 3-4. 半冗余广域网
半冗余广域网是由多台核心路由设备连接各局域网而形成的。其中,任意核心路由设备至少存在两条以上连接至其他路由设备的链路。如果任何两个核心路由设备之间均存在链接,则属于半冗余广域网特例,即全冗余广域网。
优点:
半冗余广域网的主要特征是结构灵活、扩展方便;
部分网络核心路由设备可采用网关保护或负载均衡机制或具备环路控制功能;
网络结构呈网状,各局域网访问核心局域网以及相互访问存在多条路径,可靠性高;
路由层面的路由选择较为灵活;
网络结构适合于部署 OSPF(链路状态路由协议,链路短,速度快)等链路状态路由协议。
缺点:
网络结构零散,不便于管理和排障。
# 3-5. 对等子域广域网
对等子域网络是通过将广域网的路由设备划分成两个独立的子域,每个子域路由设备采用半冗余方式互连。两个子域之间通过一条或多条链路互连,对等子域中任何路由设备都可接入局域网络。对等子域广域网的主要特征是对等子域之间的互访以对等子域之间互连链路为主。网络中路由协议主要以动态路由为主。对等子域适合于广域网可以明显划分为两个区域且区域内部访问较为独立的场景。
优点:
对等子域之间可做到路由汇总或明细路由条目匹配,路由控制灵活。通常,子域之间链路带宽应高于子域内链路带宽。
缺点:
域间路由冗余设计实施难度较高,容易形成路由环路,或存在发布非法路由风险;
对域边界路由设备的路由性能要求较高。
# 3-6. 层次子域广域网
层次子域广域网结构是将大型广域网路由设备划分成多个较为独立的子域,每个子域内路由设备采用半冗余方式互连,多个子域之间存在层次关系,高层次子域连接多个低层次子域。层次子域中任何路由设备都可以接入局域网。
低层次子域之间互访需要通过高层次子域完成。子域之间链路带宽须高于子域内链路带宽。对用于域互访的域边界路由设备的路由转发性能要求较高。路由设备路由协议主要以动态路由为主,如 OSPF 协议。层次子域与上层外网互连,主要借助高层子域完成;与下层外网互连,主要借助低层子域完成。
优点:
层次子域的主要特征是层次子域结构具有较好扩展性。
缺点:
域间路由冗余设计实施难度较高,容易形成路由环路,存在发布非法路由的风险。
# 4. 移动通信网架构
移动通信网为移动互联网提供了强有力的支持,尤其是 5G 网络为个人用户、垂直行业等提供了多样化的服务。5G 常用业务应用方式包括:5GS(5G System)与 DN(Data Network,数据网络)互联、5G 网络边缘计算等。
# 4-1. 5GS 与 DN 互连
5GS 在为移动终端用户(User Equipment,UE)提供服务时,通常需要 DN 网络,如 Internet、IMS(IP Media Subsystem,IP多媒体系统)、专用网络等互连来为 UE 提供所需的业务。各式各样的上网、语音、AR/VR 工业控制和无人驾驶等 5GS 中 UPF 网元作为 DN 的接入点。5GS 和 DN 之间通过 5GS 定义的 N6 接口互连。
在 5GS 和 DN 基于 IPv4/IPv6 互连时,从 DN 来看,UPF 可看作是普通路由器。相反从 5GS 来看,与 UPF 通过 N6 接口互连的设备,通常也是路由器。换言之,5GS 和 DN 之间是一种路由关系。UE 访问 DN 的业务流在它们之间通过双向路由配置实现转发。
就 5G 网络而言,把从 UE 流向 DN 的业务流称之为上行(UL,Up Link)业务流;把从 DN 流向 UE 的业务流称为下行(DL,Down Link)业务流。UL(上行业务流)业务流通过 UPF 上配置的路由转发至 DN;DL(下行业务流)业务流通过与 UPF 邻近的路由器上配置的路由转发至 UPF。
此外,从 UE 通过 5GS 接入 DN 的方式来说,存在两种模式:透明模式和非透明模式。
(1)透明模式
在透明模式下,5GS 通过 UPF 的 N6 接口直接连至运营商特定的 IP 网络,然后通过防火墙(Firewall)或代理服务器连至 DN(即外部 IP 网络),如 Internet 等。UE 分配由运营商规划的网络地址空间的 IP 地址。UE 在向 5GS 发起会话建立请求时,通常 5GS 不触发向外部 DN-AAA(data network-authenticatior,authorization,accounting,DN-AAA)服务器发起认证过程。UE 访问某个Internet 网络时,UE 级别的配置仅在 UE 和 Internet 网络之间独立完成,这对 5GS 而言是透明的。
(2)非透明模式
作为 UE 会话建立的一部分,5GS 中 SMF(会话管理功能)通常通过向外部 DN-AAA 服务器(如 Radius,Diameter 服务器)发起对 UE 进行认证。在对 UE 认证成功后,方可完成 UE 会话的建立,之后 UE 才可访问 Internet/ISP 的服务。
# 4-2. 5G 网络边缘计算
5G 网络的边缘计算(Mobile Edge Computing,MEC)支持在靠近终端用户 UE 的移动网络边缘部署 5G UPF 网元,结合在移动网络边缘部署边缘计算平台(Mobile Edge Platform,MEP),为垂直行业提供诸如以时间敏感、高带宽为特征的业务就近分流服务。于是,一来为用户提供极佳服务体验,二来降低了移动网络后端处理的压力。
从业务连续性来说,5G 网络可提供:
SSC 模式 1(在用户移动过程中用户会话的 IP 接入点始终保持不变)
SSC 模式 2(用户移动过程中网络触发用户现有会话释放并立即触发新会话建立)
SSC 模式 3(用户移动过程中在释放用户现有会话之前先建立一个新的会话)供业务提供者 ASP(Application Service Provider)或运营商选择。




















































































































































