ORC（Optimized Row Columnar）是一种优化的列式存储格式，用于存储和处理大规模数据。它是一种被广泛使用的数据存储格式，特别适用于大数据处理框架，如Apache Hive和Apache Spark。
ORC的设计目标是在存储和处理效率方面提供高性能，同时保持数据压缩率和查询速度的平衡。以下是ORC的一些主要特点和优势：
-
列式存储：ORC将数据按列存储，而不是按行存储。这样做可以提高查询效率，因为只需要读取需要的列，而不必读取整行的数据。同时，列式存储还有助于数据压缩，因为相同类型的数据在列中连续存储，有更高的压缩效果。
-
数据压缩：ORC支持多种压缩算法，包括Snappy、LZ4、Zlib等。通过压缩可以显著减少存储空间，并且在查询时减少磁盘I/O和网络传输的开销。
-
列式存储索引：ORC使用多级索引来加速查询。它维护了一个索引结构，以便在读取数据时能够快速定位到需要的行。这大大提高了查询的效率。
-
数据类型支持：ORC支持包括整型、浮点型、字符串、日期、时间戳等各种数据类型。它还支持嵌套和复杂数据类型，如数组、映射和结构体。
-
数据统计和分区：ORC在文件头中存储了一些统计信息，如最大值、最小值、总行数等，这些信息可以被查询优化器使用来加速查询。此外，ORC还支持数据分区，可以将数据按照一定的规则进行划分，以提高查询效率。
总的来说，ORC是一个高效的列式存储格式，它可以在大数据处理场景下提供较高的性能和较小的存储开销。由于它广泛应用于大数据框架中，它可以有效地支持数据分析、数据仓库和查询等任务。