创邻科技Galaxybase打破国际基准委员会官方审计测试记录

近日，国际关联数据基准委员会官方网站宣布，该公司通过了LDBC-SNB（关联数据基准委员会-社交网络基准）测试。在三个不同大小的数据集（30G、100G和300G）中，独立研发在系统稳定性、可用性、结果正确性、事务支持和恢复性方面完成了LDBC-SNB测试认证，所有性能均达到国际领先水平。通过使用相同的系统配置，Galaxy base将先前宣布的最大记录吞吐量提高了70%，平均查询性能提高了6倍以上，最大查询性能提高了72倍。该测试由LDBC-SNB委托的第三方评估人员使用标准云系统进行，测试环境的准备、测试数据的生成和导入、测试示例程序的安装和运行以及测试结果的有效性验证均符合LDBC-SNB的规范。为确保测试结果的可靠性和公正性，LDBC执行委员会对测试代码进行了详细审核，并在LDBC网站上公布了测试环境和整个测试过程。

创始人CEO张晨博士于6月17日在美国夏季11am、北京23pm在SIGMOD2022数据管理上发布了New BC SNB基准记录by Galaxybase more than6times Faster and70%er throughput，首次公布了测试结果。看看这个链接。

关于LDBC和SNB测试LDBC是图形数据库领域权威基准指南的制定者和测试标准的发布者，汇集了甲骨文、英特尔等软硬件巨头以及全球图形数据库领域的专家学者，以衡量图形数据库管理系统的公平性、完整性。我们将开发一套可比的方法和机制，共同推动这一尖端技术的发展。社交网络基准（Social Network Benchmark，SNB）是由关联数据基准委员会（LDBC）开发的面向图形数据库基准（Benchmark）之一，可分为交互式查询（Interactive）和商务智能（BI）两种方案。SNB提供了一系列模拟真实社交网络场景的测试，并通过交互式和商业智能查询来衡量图形数据库的性能。与基于单一测试的评估方法相比，LDBC-SNB不仅更接近实际的业务查询场景，而且对图形数据库系统的并行执行能力和事务处理能力提出了更高的要求。了解更多关于测试的信息我们的创新技术使用LDBC-SNB提供的交互式查询任务来验证和测试结果准确性、事务、系统恢复性和性能指标，如测试超时、吞吐量和响应时间。因此，Galaxybase通过了与LDBC提供的第三方图形数据库测试相同的有效性测试。LDBC审计显示，Galaxy Base测试结果已达到序列化水平，交易验证超出标准。同时，Galaxybase通过了可恢复性验证，在基准运行2小时后关闭并重新启动，最后插入到LDBC日志中的测试项数据将完全保存在图形数据库中。在性能测试中，Galaxybase采用了48个客户端并行请求方式，超过了LDBC请求5%以内的超时，实现了零超时。30G，预热30分钟，测试2小时（6，000万点，5亿边），100G在三个数据集（3亿点、18亿边缘）和300G（8亿点、53亿边缘）中，Galaxybase的吞吐量打破了LDBC创下的最高纪录（由TuGraph保持），性能提高了70%，查询性能平均提高了6倍以上。此外，当请求发送频率更高时，Galaxy的平均响应时间（50分钟、90分钟、95分钟和99分钟）比之前的记录保持者都快。其中，平均响应时间为41倍，90分钟左右响应时间为72倍。无论是在同一个测试下查询不同数据量，还是在不同测试复杂度的查询中，Galayxbase都表现出了优异的性能，而且这种优势随着数据集规模的增大而增加，充分体现了Galayxbase在处理大数据方面的出色支持能力。表1Galaxybase在不同数据级别上的测试数据测试查询操作数吞吐量查询及时率SF-SF-3002h07m26.944s639881078501.21100.00注：SF-30、SF-100和SF-300的原始数据集大小分别为30G、100G和300G。SF-1002h05m24.645s639896698370.52100.00创邻科技CTO周研表示，Galaxybase可以同时支持在线事务处理（OLTP）和在线分析处理（OLAP），与其他图形数据库产品相比，响应时间短、吞吐量大、支持分布式水平扩展。可以满足企业在相关数据分析中越来越高的实时需求。它是一个国内高性能的图形数据库，用于大数据。Galaxybase图形数据库由Java和C++语言混合组成，充分利用了C++语言的性能和内存控制优势，以及Java语言在复杂可靠系统开发中的编码效率和故障排除优势。在存储设计上，Galaxy Base采用了完全自主开发的原生图形数据存储结构，对图形数据的无索引邻接进行了特别优化，可以非常高效地完成点边查询。由于核心存储引擎不依赖于第三方开源组件，因此它使图形查询和图形计算更好地与底层存储层协同工作，同时确保自主控制。在查询执行层中，专有的内存分配和管理机制使内存中的数据更加紧凑，并且使用非堆内存大大减少了JVM的GC时间。在并行控制中，Galaxybase提供并行迭代的图形遍历，使用多版本控制减少锁争用，并可根据相邻迭代的数量自适应地分配并行迭代的线程数，从而实现系统资源的最佳利用。Galaxybase提供了丰富的开发和查询接口，完全支持描述性OpenCypher查询语言，并且可以使用OpenCypher编写LDBC-SNB基准测试的完整测试用例。在这次审计中，我们完成了OpenCypher对图形数据库的耐久性测试。Galaxybase提供了多种编程语言接口，包括Java、Python和Golang，这些接口可以通过各自的驱动程序包连接到图形数据库进行开发。在部分系统资源占有和对执行性能要求很高的情况下，Galaxybase还提供了PAR（Parameterized Algorithm Routine） API接口，允许用户通过Java代码实现在服务器端执行的定制进程和函数，获得对查询执行进程的更好控制，追求最终的性能。在实际使用中，用户可以根据不同的场景和需求，考虑易用性、开发人员、系统资源、性能要求等诸多因素，选择最合适的解决方案。Neighbor Technology成立于2016年，是国内领先的高性能图形数据库制造商，核心产品Galaxy原生分布式并行图形平台复杂相关查询性能比现有同类技术提高了100%，核心代码100%自研、安全自主可控。在此之前，创立科技与中山大学团队合作，依托国家超算广州中心环境，完成5万亿点交易数据智能挖掘性能测试，打破全球最大的图形处理记录。目前，创科技正积极推动图形技术在不同场景下的应用，并已被金融、能源、互联网、公安等行业众多重点客户所采用，成功落地防欺诈、智能调度、IT维护等复杂大数据实时决策场景。我们使客户能够通过联通数据资产释放大数据的价值。