Alluxio官方版是款虚拟分布式存储系统。Alluxio正式版架起了计算框架和存储系统之间的桥梁,使计算应用能够通过一个通用接口连接到众多的存储系统。并且Alluxio还可以通过挂载功能实现不同存储系统之间的高效数据管理。
-
5.11 中文版查看
-
0.1.9 电脑版查看
-
官方版查看
-
20.03 电脑版查看
-
1.48.0 官方版查看
Alluxio软件介绍
Alluxio最新版是一款专业的虚拟分布式存储系统,它架起了计算框架和存储系统之间的桥梁,使计算应用能够通过一个通用接口连接到众多的存储系统,Alluxio项目起源于加州大学伯克利分校AMPLab的一个名为Tachyon的研究项目,该项目是伯克利数据分析栈(BDAS)的数据层。
Alluxio(虚拟分布式存储系统)的主要功能是为计算框架和存储系统之间搭建一个桥梁,通过一个通用接口即可连接到多个储存系统之中。系统混合多云远程数据的高级分析和AI,使数据本地化,无论是HDFS还是S3部署在本地还是云端,都可以通过多种方式访问文件和对象。
Alluxio软件特色
1、灵活的文件API:Alluxio的本地API类似于java.io.File类,提供了 InputStream和OutputStream的接口和对内存映射I/O的高效支持。我们推荐使用这套API以获得Alluxio的完整功能以及最佳性能。
2、兼容Hadoop HDFS的文件系统接口:基于这套接口Hadoop MapReduce和Spark可以使用Alluxio代替HDFS。
3、可插拔的底层存储:Alluxio支持将内存数据持久化到底层存储系统。Alluxio提供了通用接口以简化对接不同的底层存储系统。目前Alluxio支持Microsoft Azure Blob Store,Amazon S3,Google Cloud Storage,OpenStack Swift,GlusterFS, HDFS,MaprFS,Ceph,NFS,Alibaba OSS,Minio以及单节点本地文件系统,后续也会支持更多其他存储系统。
4、Alluxio层级存储:Alluxio可以管理内存和本地存储如SSD和HDD,以加速数据访问。如果需要更细粒度的控制,分层存储功能可以用于自动化管理不同层之间的数据,确保热数据在更快的存储层上。自定义策略可以方便地应用到Alluxio,而且pin(钉住)的概念允许用户显式地控制数据的存放位置。
5、统一命名空间:Alluxio可以通过挂载功能实现不同存储系统之间的高效数据管理。并且,透明命名机制在持久化存储对象到底层存储系统时可以保留存储对象的文件名和目录层次结构。
6、Web UI:用户可以通过Web UI浏览文件系统。在调试模式下,管理员还可以查看每一个文件的详细信息,包括存放位置,检查点路径等。
7、命令行:用户也可以通过./bin/alluxio fs与Alluxio交互,例如:实现将数据从文件系统拷入拷出。
Alluxio软件优势
Alluxio居于传统大数据存储和大数据计算框架(如Spark,Hadoop Mapreduce)之间;
在大数据领域,最底层的是分布式文件系统,如Amazon S3、Apache HDFS等,而较高层的应用则是一些分布式计算框架,如Spark、MapReduce、Hbase、Flink等。
Alluxio更新日志:
1.将bug扫地出门进行到底
2.有史以来最稳定版本