分类目录归档:数据库

永远膜拜James Gray

sstable入门阶段——HFile(version1)结构解析与c++读实现

【摘要】最近学习了索引底层实现,多数系统如cassandra、HBase、BigTable以及其他分布式存储、查询系统的底层存储都采用SStable的思想。网上不少有用的资料(HFile: A Block-Indexed File Format to Store Sorted Key-Value Pairs),有开源的代码,比如HBase采用的HFile。我没有直接看源码,在阅读HFile文件组织图了解大概后,就草率的开始编码,事倍功半啊。改天再看开源的源码是怎么实现的吧。

发表在 C/Cplusplus, NoSQL, 分布式系统 | 标签为 , | 留下评论

Big Data技术综述[zz]

转载自:http://www.programmer.com.cn/7624/ 文/蒋杰 Big Data是近来的一个技术热点,但从名字就能判断它并不是什么新词。毕竟,大是一个相对概念。历史上,数据库、数据仓库、数据集市等信息管理领域的技术,很大程度上也是为了解决大规模数据的问题。被誉为数据仓库之父的Bill Inmon早在20世纪90年代就经常将Big Data挂在嘴边了。 然而,Big Data作为一个专有名词成为热点,主要应归功于近年来互联网、云计算、移动和物联网的迅猛发展。无所不在的移动设备、RFID、无线传感器每分每秒都在产生数据,数以亿计用户的互联网服务时时刻刻在产生巨量的交互……要处理的数据量实在是太大、增长太快了,而业务需求和竞争压力对数据处理的实时性、有效性又提出了更高要求,传统的常规技术手段根本无法应付。 在这种情况下,技术人员纷纷研发和采用了一批新技术,主要包括分布式缓存、基于MPP的分布式数据库、分布式文件系统、各种NoSQL分布式存储方案等。

发表在 数据库, 转载 | 一条评论