偶数科技提前布局,实现“东数西算”下的存算分离
上个月,国家东数西算战略正式启动,国家发展改革委、中央网信办、工业和信息化部、国家能源局联合印发文件,同意在京津冀、长三角、粤港澳大湾区、成渝、内蒙古、贵州、甘肃、宁夏等8地启动建设国家算力枢纽节点,并规划了10个国家数据中心集群。至此,全国一体化大数据中心体系完成总体布局设计。 东数西算的核心思想其实就是因地制宜,在合适的地理环境中实现数据存储和计算的最优解。这与数据库存算分离架构的思想不谋而合。
《ANCHOR:区分 “湖仓一体” 和 “湖仓分体” 的锚》(附全文下载)
随着企业数字化转型进入深水区,越来越多的企业视湖仓一体为数字变革的重要契机,湖仓一体也受到了前所未有的关注。当然,关注度越高市场上的声音也就越嘈杂,很多过时甚至错误的湖仓一体技术和理念不胫而走,很有可能将转型中的企业引入歧途,推高数据孤岛,造成资源浪费甚至错过数字化转型的战略时机。 伪湖仓一体自然是我们不愿看到的,而想要理解什么是真正的湖仓一体,则需要对技术背景及其演进历程有清晰的认知,当然这对多数读者都很挑战,因此笔者尝试从技术背景和发展脉络的角度给出湖仓一体的终极答案。
人柱力和佩恩六道,谁才是湖仓一体的终极形态?
很多小伙伴一直搞不懂什么是湖仓一体,查阅很多资料得到的都是基于不同厂商的产品和方案介绍,而非清晰的概念与行业共识,所以笔者特别策划了一篇湖仓一体的比较分析,通过《火影忍者》中两个重要角色的类比帮你瞬间搞懂湖仓一体。 想必火影老粉对九尾人柱力和佩恩六道这两个角色的印象应该非常深刻,不过在此还是先给不熟悉火影的读者快速科普下。
数据中心“碳中和”不应只关注硬件
2021年是碳中和元年,同年10月26日,国务院印发《2030年前碳达峰行动方案》,放眼全球,微软、AWS、Google等拥有大型数据中心的企业均表示在2030年实现碳中和。
云计算的出现不是偶然
云计算如今已经悄无声息地渗透进我们生活的各个角落中了,已然有一种不可替代的地位,那么,你知道“云计算”是如何坐稳这个地位的吗?
偶数AI小课堂:主流机器学习算法大盘点(收藏向)
通过这篇文章,大家将对监督学习中最流行的机器学习算法以及它们之间的关系有进一步理解。 随着机器学习算法不断涌现,纷繁复杂的算法名让人眼花缭乱,但只要抓住命名的核心,即可轻松了解算法本质及其使用场景。
新一代极速云数仓 OushuDB 存储缓存实战
在云环境下,大量弹性的计算资源支持了数据库集群快速地扩容或缩容计算资源,这也就使得“计算和存储分离” 必然是大势所趋。当存储资源和计算资源不在同一个节点的时候,远程读是一个不可忽略的问题。由于建立远程连接和数据读取的高延迟和存算集群之间的带宽瓶颈,导致每次读取操作性能低于本地磁盘读取,从而造成查询性能下降。
如何迁移传统 Hive 到新一代极速云数仓 OushuDB
OushuDB作为一款高性能云数仓,支持访问标准的ORC文件,并且具备高可扩展,遵循ANSI-SQL标准,具有极速执行器,提供PB级数据交互式查询能力,可以作为替换hive的首选产品。OushuDB不仅解决了大数据量下计算性能的问题,同时兼容标准ORC格式文件并且语法遵循ANSI-SQL标准为快速迁移提供了技术上的支持。
偶数 AI 小课堂:集成学习的 Boosting 技术(二)
大家好,又到了偶数AI小课堂的时间了。上节课我们讲到了集成学习中的Boosting技术和AdaBoost算法,这节课我们对其来对Boosting进行延伸,引入梯度提升及GBDT。
探秘“数据管理”70年:从人工管理到人工智能
身处大数据时代,每个人都被数据环绕着、影响着。耳濡目染之下,即便不是相关行业的从业者,很多人也都对数据领域内的重要概念有了一定的认识,但这种认识基本也仅限于“知道这个概念很重要”,既不了解它们因何而重要,更不用说了解它们的前世今生,就比如说数据管理。