前言:20世纪50年代,计算机数据存储引来了独开生面的变革。1951年,磁带首次被用于计算机上存储数据,在UNIVAC计算机上作为主要的I/O设备,称为UNIVACO,这是商用计算机史上的第一台磁带机。1956年,由IBM公司制造的世界上第一块硬盘(350RAMAC)诞生。两者本质上都采用电磁感应原理,但却被分为鲜明的两派,并日后在存储量、读写速度、性价比上展开了角逐,由此展开了一场改变人类历史的数据存储的大战。
数据被视为21世纪的石油,其蕴含的价值正不断被人们开采,甚至有人提出,数据应用水平已经成为数字时代左右企业成功的胜负手。但遗憾的是,数据每天都处在一边产生一边流失的状态,不仅让数据价值挖掘的工作一筹莫展,而且这些损失无法用准确的数字进行估算。
让数据能够安全及稳定地存储、备份,在应用时能够被快速调取、恢复,已经成为各行各业数字化转型中的共同挑战。正如70年前一样,时代正在呼吁数据存储的变革。富士胶片(中国)记录媒体事业部总经理骆琤表示,转型中的产业呼唤着技术创新,打破传统存储的枷锁。
富士胶片(中国)记录媒体事业部总经理骆琤
数字化时代存储的难题
你也许知道,每年存储的数据正在以30%-40%的速度在增长。
但你可能不知道,存储硬件容量增长的速度却不到数据的一半。
这意味着,数据与存储之间的矛盾仍然会是悬在各行各业数字化转型头顶上的达摩克利斯之剑。
那么除了硬盘之外,还有其他更完美的选择吗?答案是有的,磁带便是其中之一。在很早之前,磁带便被用于存储,包括电影、银行、保险、国家档案、石油勘探等重要数据,随着这些方案不断积累,技术也在不断的创新中。
富士胶片便是致力于不断提升磁带存储能力的代表性企业之一,去年对外推出采用钡铁氧技术的 LTO8 数据流磁带,单盘容量达到压缩后 30TB,并宣称将在2030年推出400TB的磁带产品,这些信息在行业中如同在平静的水面中投下的重磅炸弹,引发出前所未有的震动。面对数字化趋势,安防行业亦到了转型的分岔口,不仅面临着智能技术升级的压力,而且还面临着数据存储方案选择的难题:
一是安防产业正在积极推进自身的智能化转型,这意味着如果还是延续传统的的方式,将无法真正地进行创新;二是安防数据不仅多样而且海量,对于存储的性价比的需求日趋强烈;三是国家与用户对于社会稳定、信息安全、网络安全的重视程度不断提升,甚至对有些数据提出了永久保留的需求,对于目前的行业主流存储介质(如硬盘)而言,由于自身的结构束缚,存在着不小的压力。
“对于安防方案供应商而言,如果大家都采用’ HDD+SSD’存储模式,无疑会减少方案的竞争性。在存储方面,能给用户提供更多的存储方案选择,以更合适的价格享受安防数据服务,才能强化方案的竞争力。因此对于方案供应商和用户而言,磁带都会是最优的选择。” 骆琤如此说道。
不「过时」的磁带存储技术
那么,数据流磁带存储解决方案会是智能存储需求下的最优解吗?要回答这个问题,首先还是要回到磁带存储技术本身的特征上,总结起来磁带存储有着不同于主流在线存储介质的三大特性:
第一是存储密度高。现在最新的数据流磁带产品上涂布的是纳米级磁性颗粒,不仅是磁颗粒变小,而且物理性能更加的稳定。简单地说,正是因为单位面积的颗粒变多,使得存储数据的容量变大。从理论上而言,目前单盘容量可达400TB,与硬盘相比,容量的瓶颈几乎为零;
第二是成本优势。磁带与硬盘相比,其扩容成本更低。一个磁带驱动器可以对应大量的磁带产品,当用户需要扩展容量时,磁带方案只需考虑存储介质的成本,但硬盘无法做到这点。同时不少数据显示,在日常使用的功耗上,硬盘存储的成本远远超过磁带;
第三是长久保存的稳定性。磁带记录的稳定性已经多次在极端的环境下得到验证,并且磁带存储已经被证明每读写1万PB数据量后才有可能出现一次故障,同时也提供WORM磁带(一次写入,多次读取)使数据无法被覆写也无法被修改,这样的特性让其在重要的数据保存场景中得到用户的青睐。
其次换个角度看,技术持续创新,产品不断迭代,才能真正促进产业的升级,如果仅仅是昙花一现的技术,那么只会留下更多的泡沫。作为历史悠久的技术,磁带存储从未停止过对创新的追逐,并在单盘容量,总拥有成本和故障率等多方面取得了令人瞩目的成就。
在富士胶片创新性地将磁带存储中的钡铁氧体(BaFe)进化为锶铁氧体(SrFe)后,磁带将获得了更高的存储密度,而且性能属性也大大提升。之前硬盘磁录密度每年以40%的速度提升,但在最近几年受到物理学的限制(在给定区域存储的数据越多,每一个Bit能调配的空间就会越小),导致近几年降到了10-15%。而当前磁带存储每年仍保持30%的增长速度,平均2.5年容量即可翻一番。除了介质本身的潜质外,目前磁带机与磁带库产品基本都是资深IT生产商在生产,如IBM等,因此在无论是生态建设,还是解决方案技术发展的推动上,磁带技术仍然充满着不断向上的生长力。
最后看看实战效果。 2011年,谷歌因为软件升级,误删了4万个Gmail帐户的邮件信息。虽然谷歌当时在硬盘中存储了数据,并放在多个数据中心中,但还是让信息丢失了。最后在磁带中,谷歌才从备份中恢复了数据。近期,微软也对外宣布,Azure Archive Storage系统用到了IBM磁带存储装置……在互联网时代,因为软硬件的漏洞,往往会被黑客所攻击,导致数据泄露与丢失,更安全更稳定的存储保证已经迫在眉睫,而磁带存储已经成为互联网巨头共同的选择。
综合起来看,采购成本、扩充成本、运维成本与数据安全可靠性均已具备,那么磁带存储能否借助这股优势在安防行业中进行一场“疾如风,侵掠如火”的存储变革呢?骆琤认为,未来磁带与硬盘会以共存的方式在行业中发展下去。“也许在某些应用中两者依然是竞争的关系,但是更多的情况两者是共生的。磁带作为重要的存储补充方案,最终的选择权都归属于用户,任何的技术都在不断的优化,很大程度上用户的推动力是最大的,多样化的解决方案能让用户在存储方案的选择上更加灵活。”
虽然目前硬盘主要用于在线存储,磁带更多聚焦离线存储,两者各有聚焦,但从容量上来看,磁带目前已经可以达到400TB,而硬盘最多仅到20TB,如果硬盘要再往上拓展,必须借助热辅助技术,这意味在成本下降和技术突破方面将难以再有优势。
“既然选择专注B端产品,我们更加聚焦于自身技术的深耕和创新,确保产品质量和性能能够符合今后的场景需求,用户自然会认可我们的产品。” 骆琤在回应市场用户的认可上显得信心满满。
LTO数据流磁带
「冷」数据市场的「热」角力
国际数据公司IDC曾预测,全球数据圈将从2018年的33ZB增至2025年的175ZB,中国届时将成为全球最大的数据圈。2020年,国内新基建建设已经按下了加速键,5G、AI、大数据、云计算、物联网等加速发展将产生海量数据,数据存储将成为相关领域重要的基础性环节。
人们习惯将访问频次较高的数据称为“热数据”,访问频次较低的称为“冷数据”,后者时延要求低,但数量庞大,约占全球数据总量的70%以上。磁带作为全球冷数据存储的主要介质,其价值往往被人们所误判,认为只是进行无用价值的存储而已。
“业界认为对于数据而言最重要的三个元素是算法、算力、存储,数据存储是前两者不断提升的重要保证。现在属于数据爆炸的时代,无论是‘无人驾驶’还是‘双十一’,数据都可能在瞬间剧增,达到峰值。一些新的应用产生的数据的价值可能暂时仍未能清楚该如何使用,虽然会被视为冷数据存储起来,但随着算力及算法的发展,它们的价值可能便会被挖掘。” 骆琤如此说道。
骆琤笃信,任何数据都有其独特的价值。“热数据需要满足交互速度快的需求,因此用户可能能用固态硬盘,那些不常用的数据,可以放在冷存储中,长久保留下去。冷数据市场的容量规模已经备受关注,从而带动人们了解磁带的价值,并意识到在某些应用场景中其重要性已经超越了硬盘。”
目前国内外不少知名互联网企业已经在开始大量使用磁带存储解决方案。这让磁带开始走出传统的金融、电信、电视台等场景,获得更高的曝光率。在国内,骆琤透露,经过双方多次交流探讨,百度智能云已经选择磁带存储解决方案。以无人驾驶应用场景为例,其需要存储大量的数据(每辆车每天能生成的数据大于10TB),百度目前拥有300辆这样的车,如果将这些数据全部存储在硬盘中,成本非常的昂贵。另外一方面,原来百度的数据源涌入之后,会先存在硬盘里,再迁移进磁带库里,在这个流程中,用户最大的感受是硬盘的缓存速度很慢,经过排查他们发现硬盘的实测迁移速度为200MB/s,而磁带的实测传输速率为600MB/s,数据迁移的瓶颈恰恰在于硬盘。
“百度开始担心这些数据存储的问题,积极寻找将数据快速归档到磁带库的方法。目前改进方式是将固态硬盘代替之前的机械硬盘,直接连接磁带库,大大提升了效率。这是比较创新的方式,体现了成熟的技术在新应用中能无缝地嵌入。除了百度之外,富士胶片已经开始与众多云服务商进行合作,让数据量磁带技术充分展现出其价值,目前在医疗、科研、网络生活等各种领域都得到了广泛的应用。” 骆琤补充说道。
百度云的需求仅仅是国内产业数字化、信息化转型的冰山一角,5G、AI、无人驾驶、新基建等应用,将再次引发数据的“爆炸性”增长,在用户存储预算受限的前提下,磁带容量与技术的不断提升,对于各行各业而言都是一个好消息。展望未来,骆琤表示一方面富士胶片将不断深耕本地,了解中国市场的实际需求,展现产品的价值,另一方面也会积极寻找国内高价值的合作伙伴,共同拥抱新基建,推进数字化解决方案的落地。
野火烧后,新木丛生。在胶卷逐步退出历史舞台之时,富士胶片运用着当年积淀的胶卷技术,践行着二次创业,并迅速在影像存储、文件处理、医疗健康&高性能材料等领域占据了领先的地位。当人们在追捧新兴技术的时候,传统技术的潜力往往会被低估。但在新技术深入行业应用场景腹地之后,因为缺乏行业的深刻理解,总会遇到难以攻克的关卡。而传统的技术在时光的长河中稳健发展,通过拥抱新的应用,得以进化与演变。技术无新旧之分,只有不断磨练自身新的思维,保持对社会需求的敏感,才可实现赋能产业创新最佳实践。