雅虎公布Omid更新 旨在为HBase提供事务处理支持
日期:2015-10-23 / 人气: / 来源:网络
Omid是雅虎在2011年为Apache HBase推出的开源事务处理系统。雅虎在公司内部也使用Omid支撑其搜索业务。
雅虎10月1日发布的Omid更新标志着Omid的稳定性和规模化应用性都上了一个新台阶,速度也比2011年最初发布时快10倍。
雅虎工作人员表示希望Hadoop和HBase生态系统能够开始使用Omid。雅虎公司希望Omid跟随雅虎走出的Hadoop的轨迹并最终成为Apache的官方项目。为了更好地向开源社区介绍Omid,雅虎公司将在未来几周发布一系列关于Omid使用和部署的博客文章。
HBase本身是不符合ACID原则的,Omid则希望用事务的概念扩展HBase的键值存储使用户能够在HBase上的读写操作符合ACID原则。
Omid试图弥合传统关系型数据库和NoSQL数据库之间的间隙,但雅虎还欠缺为HBase所开发的增量处理系统。谷歌开发了Percolator来解决增量更新的问题,但Percolator并不开源。某种程度上我们也可以把Omid当作是一个开源的Percolator。
之前我们已经提到雅虎内部使用Omid来支撑自己的搜索业务。其实雅虎的搜索引擎就是一个PB级别的HBase数据库,里面存储着数十亿文件。Omid在雅虎的搜索引擎中每秒处理数万个事务请求。
尽管已经有了Apache Phoenix,雅虎的工程师依然表示Omid对于其他应用也将提供很多帮助。任何需要实时增量处理的系统也可以使用Omid,并且对系统的规模没有任何要求。
对于雅虎来说,开源最大的好处就是获得来自社区的帮助。开源Hadoop使雅虎尝到了甜头因此希望开源Omid能够复制Hadoop的成功。雅虎工程师表示Hadoop开源之后公司获益颇多。开源也能够帮助雅虎与其所收购的公司更好地进行技术集成,因为被收购的公司很可能已经在使用Hadoop了。
查看Omid代码请移步至GitHub。
原文链接:Yahoo’s Open Source Omid Project Brings Scalable Transaction Processing
To HBase(译者/刘旭坤 审校/朱正贵、刘崇鑫 责编/仲浩)
HBase概要介绍- 使用HBase处理海量数据系列 Part1
如何使用HBase的shell工具从命令行简单直接访问数据,了解HBase的深度技术架构,学习基础的Java API,并且了解如何避免用SQL的方式来设计HBase结构。
HBase,海量数据处理
作者:管理员
推荐内容 Recommended
- 江苏飞浩信息科技期待您的加入07-20
- 江苏飞浩科技欢迎您07-19
相关内容 Related
- 江苏飞浩信息科技期待您的加入07-20
- 江苏飞浩科技欢迎您07-19