AI落地如火如荼，AI团队召唤精灵施工队，挨家挨户去敲比较传统企业的大门……但他，这是一种相当不高效的做法。第四范式创始人兼CEO戴文渊博士的洞察是：“然后再听从AI的要求制定标准和规范，实现程序规模化。”第四范式的定位一直不是SaaS产品公司，其核心能力只是相对而言PaaS层，AI应用的构建和学习积累都向平台集中发力。回忆一下五年的产品发展路径，第四范式联合创始人、首席研究科学家，陈雨强说说《亲爱的数据》：“第一代、第二代产品的时候，AI对人才的要求而且高，需要相当强的统计学和编程功底，特别是C++底层编程，又要python编程和组件代码能力。先知平台(Sage)的出现，用一个爱磨蹭拽的界面，先建模，后上线，方便啊了数据科学家。2015年，在建成先知平台的同时，(我们)科学技术部做了两件事情，第一，高维机器学习模型，只要效果。第二，AutoML技术，不依赖感于大量科学家手工精金模型。归根到底，三个字，降门槛。”AI的原始社会，自己杀他、生活富足。AI的现阶段，陈雨强反诘：“以后就不会这样了，都要太麻烦的AI应用。”原始社会吃水果得从烧制陶器做盛水器皿又开始，现代社会瓶装水3元一瓶，这是趋势。AI进化时，第四范式思考出一套“心法”。2017年库伯去学习圈(HyperCycle)。这个阴历于1984年的理论在AI时代释放者了新能量。取象再体验怎么学习的四大步骤(综合反馈、反思、理论、行动)，又填写(数据采集、数据标注、机器学习、机器模型)，闭环结构实现程序对接和循环。用人类学习过程具体例子机器学习的过程，用一个熟悉事物的相似原理，去明白新鲜事物的规律。这个可以那样的话说，解释了库伯自学圈，就再理解了简版AI原理，沿着数学与编程的大山。2019年，第四范式曾用「1+N」问企业转型怎么用AI统合竞争力。「1」代表企业的核心业务是需要用AI把事情做到极致，「N」属於企业的各大场景要用AI大规模行动落地。“心法”救走普通人，“做法”救无数亟需解决再转型的传统企业。2020年的发布会转述出，第四范式想做的是，“心法”+“做法”的加持智慧，这些都需要一个平台属性的产品去承载。什么是数据形式?过去的五年里，第四范式也有用高人工成本为合同项目填坑的事情，客户老是并不进行建议的方法论。陈雨强说：“我们的经验无论是于踩坑，但不是100%的客户都认可。也没人配合数据改造，苦正坐在超过的数据垃圾堆上，龟速前行，(项目)花了三年才全部完工。”2020年，越来越多的解决方案精确瞄准AI整个生命周期。AI模型开发从启动到结束了，以及数据准备、模型训练、模型测试、模型下线等环节。每一个环节把事情做到极致，整个周期才有可能又高效。在规模化和标准化中极致的追求，有一般东西非常重要——标准化。图片、文本、日志，数据的形式类型众多，要如何标准化管理?相同的业务场景，有所不同项目的数据平台，要如何标准规范化?AI应用不需要切断数据，第四范式就再推出了“数据形式”。正所谓“不定义法，无数据”，数据咋来、到哪去、类型、结构、关系……打算标准化，应该是全方位地定义法标准与格式。这些工作并不是三个新概念，叫天“数据治理”。数据形式是数据治理的终点。又开始，好象是IT工程师对数据治理有深刻体会，也是他们率先意识到数据治理的重要性，但是数据治理结果是在IT层面落地。而后，AI工程师也感同生受了。数据问题和IT问题高度充斥。第四范式是一家AI公司，甚至强大一家IT公司全栈人才，与IT公司一摸一样的人才配置。AI公司集体来吐槽：“假如三个AI应用工作量是100%，那95%也是在数据上面。”陈雨强吐槽：“定义不明白的话，AI生命周期后面大部分环节，所有的的人都会明显脱离，这都是做AI那你难的原因之一。根本就做不到，AI科学家跑回每个细节去，跟你是哪工程师讲，我想知道为什么这个数据可以这样编码，我想知道为什么这些数据需要这样去拿，应该是做IT的人前提是懂了AI，才能把这样的事情完全做对。”一场嵌入式的革命，工程化、集成化随处可见，烦Skr人。让三个新事物融合在一起损毁的体系是高难度、精细化的工作，也有人管这些过程叫，企业「智能化改造」。AI从空中落下不是真正的科学先发明，是一个本身时代代表性的复杂工程，背后藏着什么扑天盖地的工程细节。数据治理就君不见是建筑物的横向地基。数据形式就君不见万里长城上的砖、天坛祈年殿里的榫卯、宫苑凉亭里劈成条的竹篾，它们是藏在中国建筑里的灵魂。从另外一种角度讲，数据形式是藏在AI技术里的灵魂。“数据形式”口气帮忙解决了三个问题。那个，数据缺闭环，建模过程没有反馈机制。例如，人是环境的函数，人的成长要有外部环境坚持了不停地强烈的刺激(教育)。数据断的供给，模型不断迭代。第二个，数据不匹配。建议使用线下的数据建模，到了线上模型效果不好，原因是线下的数据在了通过BI思路的ETL，会造成在用了和虚无飘渺的线上数据不对应的离线模式数据。错误`的数据训练出来的模型到了线上，其实效果不好。陈雨强用了一个比喻，他说：“要想富，先修路，但问题只在于AI和BI的路是不一样的的，开火车得铺铁轨，马车也不能在高速公路上疾奔。”第三个，数据无时序。AI数据没有时间属性就做不了时序特征。例如，最近半年共买了3件东西：鼠标、键盘、显示器，消费物品数量为3。数据有了时间的属性，才能解释买东西的先后顺序。算法能够决定更好的特征来心里盘算消费者近期、中期和远期的行为。人的行为在变化，冬天买棉衣，夏天买T恤。统计数据不要的，AI数据需要。第四范式AIOS产品负责人黄缨宁回答了一个例子。数据形式大概不需要三类knowhow(功能多知识)：第一，模型不需要什么东西样的数据，业务的knowhow。第二，都有那些数据从APP里面直接取，都有那些数据可以从数据仓库取，IT的knowhow。第三，这些个数据里面，哪些是行为数据，哪些是反馈数据，数据怎摸用，AI的knowhow。知识都被标准封装进了“数据形式”，封装复杂性，是AI平台解决问题的方法的广泛办法。数据形式是根据数据治理环节提议的标准，浓缩而成了二十多个业务场景中数据治理环节的经验沉淀，一键备份可以打开就能进入到或则业务场景的AI应用，.例如我推荐场景、反欺诈场景。有了它，实时自动与离线状态数据就能以互成标准接入。有了它，能能够做到“一键备份解开”。有了它，就绪的数据，从三类knowhow上解耦出去。另外客户，甚至还根本不会就不要知道它是怎末你做到的，只需要明白，这个东西能绝对的保证数据一致性，可靠效果也都很好。数据形式也不是什么一蹶而就的，数据泄水由分布式文件系统HDFS共同负责，实时地特征由数据库(RtiDB)负责，任务管理与调度由AI的操作系统搞掂。那个拿来的操作系统那就是AIOS。AIOS是什么?哪怕一台笔记本电脑都会有三个桌面，竟像太阳一天从东方升起。IT知识拥有生活常识，这出自于1990年，比尔盖茨说：“微软公司的使命，是让每个家庭的桌上都有吧一台电脑。”陈雨强说：“我们希望每个企业都用上三个SageAIOS。”哪怕另一个新世界，是会有个入户门。用户直接进入AI的世界要三个易操作的桌面，AIOS精确瞄准了这种痛点。SageAIOS这个可以理解为一个AI版的Windows，很多产品功能都可以不类比。数据形式直接类比Windows的文件格式。AIOS的众多App具体例子Windows桌面上的其它应用软件。App也可以统称两类：一类是业务应用，就可以提供某个场景的解决方案;一类是工具类应用，给数据科学家和开发者利用统合AI应用。怎么分辨使用者和开发者，两者都如偿所愿。HyperCycle套件(ML、CV、NLP)直接类比开发工具VisualStudio，用来库伯怎么学习圈理论，帮助客户门槛较低的参与AI应用最终形成。陈雨强说：“库伯自学圈(HyperCycle)产品，给业务人员用，不不需要建模能力，不需要代码能力。”假如说“降门槛”是第四范式团队出发到达时就立下的庄严承诺，那就带HyperCycle前缀的三款产品，就是五年后对约定的未兑现。AIOS外型形状怪异Windows，颜值高，使用者有天然植物亲切感。AI独角兽向PC时代霸主借势，向那一次的PC王者表示致敬。AIOS的独白：“AI时代的Windows桌面，享不享受模一的乐趣。”要比之前的先知平台，AIOS会不会仅转变了外观呢?答案是绝对否定的，这是两次产品理念的升级，AIOS+App是一种产品理念。他是一名不合格的操作系统，要有各种各样的软件，还得解决的办法资源调度与全面处理数据管理。在黄缨宁看样子，AIOS是两个桥梁。对上，把文件、设备、任务、进程和线程给管理呀了过来。对下，AIOS把所有的算力管理了过来，和CPU、GPU、内存这些个算出资源硬件。存储和计算这两件事情，一个是文件格式，一个是计算的资源管理和调度。两件事情都改好了，应用就也能更容易地在操作系统上统合。简单点理解为，第四范式把很多东西装在AIOS里来卖，一堆企业级的管理应用，一套资源调度管理的工具，有个数据中台。我的电脑，还在桌面数据中台是比较热门词汇，确实业界对数据中台的定义还也没达成共识，厂家和专家对数据中台的标准和意见也都不大相同。有专家认为，数据中台一定得统一作为的服务。往上拓宽思维也能提高数据应用的价值和赋能业务。往下发展起来能能提高性能，保障数据的应用能力。第四范式的数据中台确实是这等。向下，第四范式的数据中台的第一任务是做3C(同一、时序、闭环)的数据治理，数据经标准化一次性处理成为数据形式，数据形式可以不可以提供给完全没有个AIOS上的APP。“数据中台”举例说明Windows的系统文件，说得委婉一点，只要你你买了AIOS就给从网上下载数据中台，这样，数据治理的能力含在了AIOS里面。数据形式在数据中台上，只不过训练框架是需要数据输入输入。有些有用的组件也跑在数据中台与资源调度上，训练框架不需要算力调度支持。“我的电脑”在Windows桌面上屹立不倒，它在AIOS版里，是“数据中台”。“用软件定义算力”，第四范式是怎摸做的?“我们的第一行代码，是写在GDBT上的。”第四范式副总裁郑曌帮帮《亲爱的数据》。这里的GDBT，全称是“GeneralDistributedBrilliantTechnology”，自研的小规模机器学习框架。这样的话问题来了，为么第四范式的第一行代码也不是写在推荐算法里?很多AI解决方案提供给商应该有软硬一体的优化方案。可谓八仙过海各显神通。可惜，很多企业的软件框架是把开源的代码拿来改一改，甚至连有的连修改的能力都还没有。到最后的结果就是是向业务退让，先放弃一些做不到的场景。业界有人感叹一声，现在是什么东西时代，是算法定义算出的时代。无非，AI应用场景数千，特点各有不同，实现方法到最后应用落地的开源软件无论功能那就性能，尤其在极大规模方面与自身需求有减小的距离，众多AI厂商束手无措。自研的机器学习框架，能为软硬一体的优化方案给他独特优势，应该是独门秘籍。底层实现程序方法不一样的，效果上有较高区别。越是量身定做，效果越好。另一方面，市场上流行深度学习框架，帮忙解决的是偏语音和图像类的问题，是对决策性问题深度学习的效果并非而且好。陈雨强如此解释：“企业再产生价值这种事情，关键是要抓着决策，企业的主要任务是经营。”郑曌谈道，开源没法支持什么海量特征抽取，也支持不了小规模。所以，有很多企业可能会中,选择牺牲业务。肯定不能你做事中，就做这件事。比如说，银行跨境交易事后全过程反欺诈，这时候，没法慢。不但要和时间赛跑，又要和秒表赛跑。受害人刷卡消费时，银行系统当时就能准不识别这是大笔欺诈，刷卡后一刹那就阻挡住。这件事分析则更加佛性，先让他刷，刷完了之前我来总结，认定为极其交易，启动追责……这时候，犯罪分子有可能早携巨款跳上开往北京公海的船只，想跑路了。动态实时的价值在这些例子中比较典型。事中阻断的难度比事后大部分了，这就是在很多企业内部，一类“要妥协让步，做不到”的业务场景。算力浪费了的一部分原因是企业还没有能力优化，利用率不高。AI发展中速求硬件的升级，传统硬件产品难以在基础能力上不满足密集地的线性代数计算出和海量大数据高吞吐的需求。AI算法必须对无线网络连接权重接受三次变动，也要很高的计算能力的支撑。问题上级主管部门到企业经营中变会变的“钱没少花”。郑曌告诉《亲爱的数据》：“一个一点不懂算法的人，会很难预计三个机器学习任务要会消耗多少内存，用不多少算力，这需要打开系统日志，手工地去按照资源设置。举个例子，你随便一把抓住个第四范式办公室里不路过的AI工程师，忽然间问他，上周如实汇报的word版《工作周报》能量消耗了笔记本电脑多少内存?他也会一脸懵圈，原因是没法算上。而，分布式执行引擎应具备自适应调度功能尤为重要。”所以我，第四范式2020年也推出了两个分布式调度系统，HyperScheduler(以下是由HS)。没有资源调度会怎么样啊?“一核有难，八核围观者”，利用率不高，浪费。利用率太高，不容易挂了。所以我，是需要Sage AIOS的“HS”，举例说明Windows“进程调度器”。是从自动资源只能猜测、容器动态调度等，让用户不感知力资源细节。按照资源共享、虚拟化等，让集群算力利用率最大化。”GDBT、HS和实时自动内存数据库(RTiDB)在AI全生命周期中扮演着核心引擎的角色，其所能支撑的能力，反正是正向行为数据与反馈数据的手动数据处理、手动特征组合，肯定正向模型训练的算法自动启动探索它、超参自动调节，那些个工作，都在算力消耗中占到了如此大比例。底层框架任何一点三个微小的技术利用，给全生命周期给了的影响都会大幅度提升变小。所以我，越是底层的能力，越需要极致、入微的优化。第四范式还有一三个系列组合拳：PWS任务调度系统，设计定制X86机器学芯片，自研机器学习使用说明速度卡，数据压缩算法，FPGA可重构速度芯片计算出力调度。2019年的产品发布会上公布的数据显示，而言大多数服务器，SageOne软硬一体解决方案可利用高维模型构建过程的6-12倍速度，TCO减低到1/2到1/3。“2020年，(我们)把TCO降低到了1/10。”郑曌如此解释。在《亲爱的数据》的确，当一部分AI企业还在卖算法的时候，第四范式修建了另一个端到端的平台，从很拖拉拽，到模型也可以再上游戏。2020年，第四范式并且了产品升级，产品升级的说法也不准，毕竟不止是产品迭代了，产品理念也怎么升级了，而整体的产品形态是AIOS+App。AIOS是学习积累了五年的AI应用的底座，AIOS是另一个唤起无数数据形式与应用的操作系统。第四范式“Sage”产品下，反展出Sage AIOS、Sage Studio、Sage HyperCycle ML等。二十多个组件也都很灵活，这它取决于客户的实际需求。市场竞争还只在在Sage Studio带有功能的阶段，第四范式却已直接进入到AI桌面应用的广阔天地，再次进入到AIOS+App的产品理念，向着那个思路，未来有庞大无比的想象空间。AI是个崭新的的市场，在做得好前的，先再做得对。这是确定生与死的一退。五年前，第四范式就早就向北出发。2018年，下一界AI独角兽。2020年，第四范式始终是一家创业公司，落地之前8000+客户，包裹12000+场景。2020年8月20日，主题为“万悟赋能，商业生花”的新产品发布会在上海举办，一个“悟”字，既除了AI落下时方法论在经验摸索中“忽然开窍”，也隐意产品理念在“弄明白”中生级。灵感刺眼的光，领悟即将降临。AI落下时没有会永远对的的答案，且行且思，且行且悟。