容错策略源码分析（容错技术）

金生 11-21 151

默认

摘要： 大数据都需要学什么学习大数据需要掌握的内容较为广泛，涵盖基础技术、离线计算、流式计算、内存计算以及机器学习算法等多个方面，具体如下：基础技术 Linux操作基础：Linux是常见...

大数据都需要学什么

学习大数据需要掌握的内容较为广泛，涵盖基础技术、离线计算、流式计算、内存计算以及机器学习算法等多个方面，具体如下：基础技术 linux 操作基础：Linux是常见大数据平台的基础，如Hadoop、spark及其商用系统都基于Linux。

编程语言：JAVA和Python是大数据领域最常用的编程语言。Java在大数据开发领域占据重要地位，而python则因其简洁性和强大的数据分析库（如Pandas、NumPy等）在大数据分析领域广受欢迎。计算机网络：了解基本的网络通信过程，包括网络通信层次结构和安全相关内容，对于大数据从业者来说也是必要的。

我认为大数据技术主要学这些：学习的课程主要有：《程序设计基础》、《Python程序设计》、《数据分析基础》、《Linux操作系统》等。是结合国家大数据、人工智能产业发展战略而设置的新兴专业。是将大数据分析挖掘与处理、移动开发与架构、软件开发、云计算的前沿技术相结合的“互联网+前沿科技专业。

大数据分析需要学习的内容包括可视化分析、数据挖掘算法、预测性分析能力、语义引擎、数据质量和数据管理。具体如下：可视化分析：大数据分析的使用者包括大数据分析专家和普通用户，二者对于大数据分析最基本的要求是可视化分析。因为可视化分析能够直观地呈现大数据特点，简单明了且容易让人接受。

将所学知识应用于实际场景中。综上所述，大数据开发工程师需要掌握的内容非常广泛且深入，包括java语言基础、前端技术、javaweb和数据库、Linux&Hadoop体系、实战项目、Spark生态体系、storm生态体系以及大数据分析—AI等多个方面。只有不断学习和实践，才能成为一名优秀的大数据开发工程师。

学习大数据涉及的知识范围较广，主要包括以下内容：Java编程技术Java是大数据学习的基础，作为强类型语言，具有极高的跨平台能力，可用于编写桌面应用程序、web应用程序等。目前，Java是大数据工程师最常用的编程工具，掌握Java对学习大数据至关重要。Linux命令许多大数据开发工作在Linux环境下进行。

两年前端双非二本,科班出身面经分享(已拿阿里,头条,pdd,快手 offer)_百...

双非二本科班出身，两年中厂加两个月小厂经验，成功拿到阿里、头条、PDD、快手等大厂offer的面经分享如下：前期面试情况最初面试阿里A部门、字节A部门、滴滴、抖音、蚂蚁等大厂时几乎全军覆没，主要原因是缺乏大厂面试经验。

双非二本科班出身，两年前端开发经验，成功获得阿里、头条、PDD、快手等大厂offer的面经分享如下：前期准备技术储备：掌握前端基础，包括但不限于vue、PHP、jq、Node等技术栈。持续学习，平时偷摸看文章，刷算法题，提升技术深度和广度。

双非二本科班出身，两年经验斩获阿里、头条、PDD、快手等大厂offer的面经总结如下：基础准备：前端八股文与深度理解核心知识点：JS基础：原型链、继承实现、数据类型、var/const/let对比、new过程、this指向、bind/call/apply实现、闭包、事件循环、类型判断、手写 Promise。

九、Flink 源码 解析-创建和启动JobMaster

1、创建 JobMaster 启动 Akka RPC 服务器 JobMaster 通过 Akka RPC 服务器与集群中的其他组件进行通信。端点配置为：endpoint = JobMster actors = akka：//flink/user/rpc/jobmanager_2。

2、每个RpcEndpoint（如ResourceManager、JobMaster、TaskExecutor）在Flink中均对应一个Pekko Actor，消息通过Pekko的ActorSystem进行路由和传递。若未配置Pekko RPC Service，这些核心组件将无法创建对应的Actor实例，导致分布式环境初始化失败。

3、Flink内部的两阶段提交机制与上述原理类似，使用JobMaster作为协调者，处理节点作为执行者。当JobMaster触发开始检查点命令，源头节点产生Barrier消息，处理节点执行本地检查点并发送ACK信息给JobMaster。当所有节点完成检查点后，JobMaster收到所有节点的ACK信息，表示完成一次完整的检查点。

4、在Flink中的应用：使用JobMaster作为协调者，处理节点作为执行者。当触发检查点时，源头节点产生Barrier消息，处理节点执行本地检查点并发送ACK信息给JobMaster。所有节点完成后，JobMaster通知检查点完成，实现精确一次处理的保障。

5、Flink的两阶段提交流程在JobMaster（CheckpointCoordinator）定期向每个source task发送开始快照（trigger checkpoint）命令时启动。source task接收命令后产生Barrier并通过广播发送至下游。当所有节点完成Checkpoint n，JobMaster收到所有节点的确认（ack）时，表示Checkpoint n完成。

dubbo之Cluster(容错)

1、Cluster层的容错主要通过几种常用的容错机制配合负载均衡，保证最终通过Cluster暴露可用的Invoker；而且，dubbo在保证Invoker可用性前提下，要求尽可能均衡负载，过程会多次执行负载均衡策略。注：dubbo源码版本1，欢迎指正。

2、Dubbo的集群容错答案：Dubbo提供了多种集群容错策略，用于处理服务调用过程中的异常情况。FaiLover Cluster：失败自动切换，当出现失败时，重试其他服务器。通常用于读操作，但重试会带来更长延迟。可通过retries=2来设置重试次数（不含第一次）。

3、Dubbo是一款高性能、轻量级的开源Java RPC框架，提供服务治理、远程调用、集群容错、服务注册与发现等核心功能，适用于分布式服务架构场景。核心组件与分层架构Dubbo采用分层架构设计，各层职责明确，通过组件协作实现服务治理与远程调用：Service（业务层）包含业务代码与接口实现，是服务提供方的核心逻辑层。

dubbo源码解读

基础知识：对Java和Dubbo的基本概念有一定的了解，如Java的类加载机制、Dubbo的架构设计等。源码的核心模块分析：dubbo-COMmon：公共工具模块，提供工具类、URL和SPI（ExtensionLoader）等关键概念。

dubbo：//，dubbo 协议是默认的协议，自定义二进制协议；单个长连接节省资源；基于 tcp，架构于 netty 之上，性能还算可以；协议设计上没有足够的前瞻性，不适合做 service-mesh 谈不上多么优雅，但是好歹风风雨雨用了这么多年，周边也有不少配套组件例如 dubbojs， dubbo-go， dubbo-cpp，一定程度解决了多语言的问题。