热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

京都大学超级计算机备份期间丢失77TB数据

京都,大学,超级,计算机,备份,期间,

根据外媒 The Stack 的报道,日本京都大学由于其惠普超级计算机的备份系统出现错误,导致约 77TB 的研究数据被删除。

京都大学目前使用 Hewlett Packard Cray 计算机系统和 DataDirect ExaScaler 存储系统,这两个系统被许多研究小组用于各种用途。

该事件发生在 2021 年 12 月 14 日至 16 日,共计 14 个研究小组的 3400 万份文件从系统和备份文件中被抹去。在进行调查以确定损失的影响后,京都大学得出结论,四个受影响研究小组的数据已无法通过备份系统恢复。

超级计算机系统供应商 HPE 发表了一份日文声明,声称对数据丢失“承担 100% 的责任”。

从 HPE 的声明可以看到,此次事件发生在更新了超级计算机使用的备份脚本之后,而此次更新旨在“提高可见性和可读性”。具体来说就是,备份脚本包含的 find 命令可用于删除超过 10 天的日志文件,随着脚本功能的改进,传递给 find 命令的删除过程的变量名也有所改变,以提高可见性和可读性。

然而,负责备份这个超级计算机系统的存储的程序出现了一个缺陷,HPE 补充道:“这个修改后的脚本的发布程序缺乏考虑。原脚本(bash 脚本)仍在运行期间我们就发布了新的脚本(shell 脚本),因此导致在执行过程中重新加载修改后的 shell 脚本,从而导致出现未定义的变量,结果,/LARGE0(备份磁盘存储)中的原始日志文件被删除,但没删除保存在日志目录的文件。”

事件发生后,备份过程已停止,预计 1 月底恢复备份。为防止数据再次丢失,京都大学已弃用备份系统,计划在 2022 年 1 月进行改进并重新引入新的备份系统。除了完整备份镜像之外,还会保留增量备份功能。


推荐阅读
  • 本文介绍如何在现有网络中部署基于Linux系统的透明防火墙(网桥模式),以实现灵活的时间段控制、流量限制等功能。通过详细的步骤和配置说明,确保内部网络的安全性和稳定性。 ... [详细]
  • Linux 系统启动故障排除指南:MBR 和 GRUB 问题
    本文详细介绍了 Linux 系统启动过程中常见的 MBR 扇区和 GRUB 引导程序故障及其解决方案,涵盖从备份、模拟故障到恢复的具体步骤。 ... [详细]
  • 本文详细记录了在银河麒麟操作系统和龙芯架构上使用 Qt 5.15.2 进行项目打包时遇到的问题及解决方案,特别关注于 linuxdeployqt 工具的应用。 ... [详细]
  • VSCode与Gitee集成:项目提交的高效实践
    本文介绍如何利用VSCode内置的Git工具将项目提交到Gitee,简化Git命令的使用,提升代码管理效率。同时分享一些常见的踩坑经验和解决方案。 ... [详细]
  • 微软Exchange服务器遭遇2022年版“千年虫”漏洞
    微软Exchange服务器在新年伊始遭遇了一个类似于‘千年虫’的日期处理漏洞,导致邮件传输受阻。该问题主要影响配置了FIP-FS恶意软件引擎的Exchange 2016和2019版本。 ... [详细]
  • 本文介绍了一款用于自动化部署 Linux 服务的 Bash 脚本。该脚本不仅涵盖了基本的文件复制和目录创建,还处理了系统服务的配置和启动,确保在多种 Linux 发行版上都能顺利运行。 ... [详细]
  • 本文探讨了如何在发布 XenApp 应用时,通过命令行参数实现启动时的参数传递。特别介绍了静态和动态参数传递的方法,并详细解释了 ICA 文件中两种参数传递方式的区别及安全检查机制。 ... [详细]
  • SVN日志查看时出现超时问题的解决方案
    本文详细描述了在使用SVN查看日志时遇到的超时问题,特别是涉及中文路径的情况。通过深入研究和测试,找到了有效的解决方法,并提供了优化建议。 ... [详细]
  • 本文深入探讨了 Redis 的两种持久化方式——RDB 快照和 AOF 日志。详细介绍了它们的工作原理、配置方法以及各自的优缺点,帮助读者根据具体需求选择合适的持久化方案。 ... [详细]
  • 通过Web界面管理Linux日志的解决方案
    本指南介绍了一种利用rsyslog、MariaDB和LogAnalyzer搭建集中式日志管理平台的方法,使用户可以通过Web界面查看和分析Linux系统的日志记录。此方案不仅适用于服务器环境,还提供了详细的步骤来确保系统的稳定性和安全性。 ... [详细]
  • 在本周的白板演练中,Apache Flink 的 PMC 成员及数据工匠首席技术官 Stephan Ewen 深入探讨了如何利用保存点功能进行流处理中的数据重新处理、错误修复、系统升级和 A/B 测试。本文将详细解释保存点的工作原理及其应用场景。 ... [详细]
  • 提升Tumblr爬虫效率与功能
    本文介绍了对之前开发的Tumblr爬虫脚本进行升级,整合了两个脚本的功能,实现了自动分页爬取博客内容,并支持配置文件以下载多个博客的不同格式文件。此外,还优化了图片下载逻辑。 ... [详细]
  • 科研单位信息系统中的DevOps实践与优化
    本文探讨了某科研单位通过引入云原生平台实现DevOps开发和运维一体化,显著提升了项目交付效率和产品质量。详细介绍了如何在实际项目中应用DevOps理念,解决了传统开发模式下的诸多痛点。 ... [详细]
  • MySQL PMM:MyISAM 和 Aria 存储引擎的性能优化
    本文探讨了 MyISAM 和 Aria 存储引擎在 MySQL 中的关键性能指标,包括密钥缓冲区效率、页面缓存读写性能以及事务日志同步策略。通过优化这些参数,可以显著提升数据库的整体性能。 ... [详细]
  • 深入解析Redis内存对象模型
    本文详细介绍了Redis内存对象模型的关键知识点,包括内存统计、内存分配、数据存储细节及优化策略。通过实际案例和专业分析,帮助读者全面理解Redis内存管理机制。 ... [详细]
author-avatar
瑞铭与我_109
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有