新闻  |   论坛  |   博客  |   在线研讨会
浅谈HPC中的Lustre
天翼云开发者 | 2023-06-16 15:47:27    阅读:103   发布文章

本文分享自天翼云开发者社区《浅谈HPC中的Lustre》,作者:n****m

https://www.ctyun.cn/developer/article/423548282736709

1. 什么是 lustre?

Lustre 体系结构是一个为集群设计的存储体系结构。 其核心组件是运行在 Linux 操作系统上、 支持标准的 POSIX* UNIX 文件系统接口、 并遵循 GPL2.0 许可的 Lustre 文件系统。 据 IDC 的统计, Lustre 是在 HPC 领域应用最广的文件系统, 世界上最快的 50 个超算网站有 60%都使用 Lustre。

2. Lustre 的文件系统有哪些组件?

Lustre 文件系统的主要组件有: MDS、 MDT、 OSS、 OST、 Client。 各个组件间的关系如下图。

image.png 

3. MDS、 MDT、 OSS、 OST 是什么?

MDS(Metadata Server): MDS 负责管理 Lustre 文件系统的文件名、 目录、 权限、 文件结构等元数据信息, MDS 生成的元数据存储在一个或者多个 MDT 上, 并为每个 Client提供服务。 MDS 可以有多个, 但只有一个为主 MDS, 其余 MDS 工作在备份模式。

MDT(Metadata Target): 每个文件系统都有一个 MDT, MDT 可以是 MDS 本地硬盘(只有一个 MDS 时)、 也可以是远端存储的一个 LUN 设备。 一个 MDT 可以通过同时映射给两台主机, 供多个 MDS 进行访问, 但同一时刻只能有一个 MDS 进行访问, 通过这种方式可以实现 MDS 的高可用性。

OSS(Object Storage Servers): OSS 为 Client 提供文件 I/O 服务, 客户端从 MDS 获取元数据信息后, 从 OSS 访问文件数据, 文件数据最终存储在与 OSS 相连的 OST 上。

OST(Object Storage Target): 用户文件存储在一个或者多个对象中, 每个对象对应一个独立的 OST, 每个文件可以存储在一个 OST 上, 也可以跨越多个 OST 进行存储。 一个OST 可以通过同时映射给两台主机实现 OSS 的高可用性。

 


*博客内容为网友个人发布,仅代表博主个人观点,如有侵权请联系工作人员删除。

参与讨论
登录后参与讨论
天翼云提供云主机、CDN、云电脑、大数据及AI等全线产品和场景化解决方案。
最近文章
Consul简介
2024-11-19 15:06:06
推荐文章
最近访客