news 2026/5/12 6:34:24

HDFS源码(一)

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
HDFS源码(一)

Hadoop RPC框架原理

RPC(Remote Procedure Call,远程过程调用)是一种通过网络从远程计算机程序上请求服务而不需要了解底层网络技术的协议,通过RPC 能让应用层可以像调用本地方法一样调用远程方法。Hadoop中各个节点之间的通信就是通过RPC 进行通信。

RPC 采用Client/Server模式,请求程序就是Client客户端,服务提供程序就是Server服务端。客户端首先发送带参数的调用请求到服务器,然后等待服务器的响应,在服务器端,一旦有调用请求到达,服务提供程序会执行请求,计算结果,并向客户端发送响应信息,然后等待下一个调用请求,最终,客户端成功接收服务器发回的响应信息,一次远程调用完成。

Rpc工作原理图如下:

Client Function:客户端请求程序,可以像调用本地方法一样调用 Client Stub程序,也能接受Stub程序的响应信息。
Client Stub:客户端Stub程序,当客户端调用时会通过通信模块将信息发送给服务器,同时会等待服务器的响应信息。
socket:网络通信模块,用于传输RPC请求和响应。
Server Stub:服务端Stub程序,会接收客户端发送的请求和参数,根据响应信息触发对应的服务程序,然后将结果返回给客户端。
Server Function:服务端服务程序,会接受服务端Stub程序的调用请求并执行对应的逻辑返回结果。
HadoopRPC实现方式类似上图,代码位于hadoop-common中的org.apache.hadoop.ipc包下,HadoopRPC由3个类组成:RPC、Client和Server,这里不再深入查看相关源码,这里我们通过简单的例子来模拟RPC客户端和服务端通信。

定义接口协议(Protocol)及实现

RPC通信中有Client和Server端,由于在客户端可以像调用本地方法一样调用远程服务端方法并能解析做出响应,我们可以把这些方法抽象到一个接口中形成统一的接口协议。即:接口协议是一种“结构层次的协议”,通过定义一组接口和方法来规范客户端和服务端之间的通信,我们可以把接口和接口中的方法称为协议,客户端和服务端只要实现这些接口中的方法就可以进行通信。如下图示:

创建并启动Server服务

定义类创建并启动RPC Server服务:

/** * RPC Server */ public class RpcServer { public static void main(String[] args) throws IOException { //创建 RPC 框架 RPC.Builder builder = new RPC.Builder(new Configuration()); //绑定地址 builder.setBindAddress("localhost"); //绑定端口 builder.setPort(8888); //绑定协议 builder.setProtocol(RpcProtocol.class); //调用协议实现类 builder.setInstance(new RpcProtocolImpl()); //创建RPC Server 服务 RPC.Server server = builder.build(); //启动RPC Server 服务 server.start(); System.out.println("服务端启动成功~"); } }

创建Client服务调用远程服务

NameNode启动源码

启动NameNode HttpServer

加载fsimage和editslog

创建NameNode RpcServer并启动

检测集群是否处于安全模式

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/12 6:33:34

《Foundation 下拉菜单》

《Foundation 下拉菜单》 引言 随着互联网技术的飞速发展,前端开发已经成为网站建设的重要组成部分。在众多前端框架中,Foundation 是一款非常受欢迎的响应式前端框架。它提供了一系列丰富的组件,其中下拉菜单(Dropdown Menu)是其中之一。本文将详细介绍 Foundation 下拉…

作者头像 李华
网站建设 2026/5/12 6:24:00

AI安全新维度:PacifAIst基准如何测试大模型在利益冲突下的行为对齐

1. 项目概述:为什么我们需要一个“AI和平主义者”的测试场?在过去的几年里,我们见证了大型语言模型(LLM)从单纯的文本生成器,演变为能够执行复杂任务、甚至具备一定自主决策能力的“智能体”。从帮你写邮件…

作者头像 李华
网站建设 2026/5/12 6:23:59

EDA技术支持:从概念到实践,如何评估与高效利用

1. 从“能用”到“好用”:为什么卓越的技术支持是EDA产品的胜负手在电子设计自动化这个行当里干了十几年,我见过太多团队在工具选型上的纠结。大家往往把目光聚焦在功能列表、性能跑分和价格标签上,反复对比产品A和产品B的规格参数&#xff0…

作者头像 李华
网站建设 2026/5/12 6:20:39

CC2530项目实战:用OLED屏做个简易温湿度显示器(基于DHT11传感器)

CC2530实战:基于DHT11的OLED温湿度监测系统开发指南 在嵌入式开发领域,将传感器数据可视化是物联网项目的核心技能之一。CC2530作为一款经典的51内核单片机,搭配0.96寸OLED屏幕和DHT11温湿度传感器,可以构建一个低成本但功能完整的…

作者头像 李华