目录

mixi2的X存档导入工具将历史帖子导入日历和个人主页,同时避免推送到时间线、发送通知和更新连续发帖天数。技术上的主要挑战是,在保存记录的同时,控制创建数千条帖子带来的副作用。

要点#

  • 导入的帖子保留在X上的原始发布时间,并显示在日历的对应日期。
  • 大容量存档直接上传至S3,准备处理和帖子创建异步进行。
  • 帖子数据按每块最多1,000条拆分,每次导入逐块加入队列。
  • 通过防止重复,并分别统计成功、失败和跳过的数量,让重试更易于管理。

定义导入的含义#

导入的帖子应作为历史记录处理。mixi2会将其显示在日历和个人主页中,但不会推送到关注者的首页时间线、发送帖子通知或增加用户的连续发帖天数。计划也让这些帖子出现在搜索结果中,但发布时间的处理还需要进一步适配。

导入工具会排除回复和转帖。引用帖会转换为用户自己的正文和链接,不会重建原有的对话结构。X上的提及会保留为普通文本,因为即使在mixi2使用相同用户名,也可能是不同的人。将其转换为有效提及,可能会向错误的对象发送通知。

这些规则划定了实用的边界:复用现有的存储和媒体处理,同时明确控制创建帖子触发的所有行为。仅将发布时间设为过去,并不能阻止通知或时间线推送。

读取并规范化存档#

需要处理的存档文件包括data/tweets.js、所有匹配tweets-part*.js的文件,以及data/tweets_media/中的附件。虽然扩展名是.js,但帖子文件的内容是赋值给JavaScript变量的JSON数据。去除赋值语句的外层包装后,即可将记录解析为JSON。

每条记录包含X帖子ID、发布时间和正文。正文需要规范化:利用相关URL字段展开t.co链接,并解码&等HTML实体。对于开发过程中检查的图片,通过组合帖子ID与媒体URL中的文件名,可以找到存档中对应的文件。

对于视频,需要将候选URL与ZIP中实际存在的文件进行匹配。部分在X上显示为GIF的附件,在存档中是MP4文件。因此,不能根据显示标签判断格式,而应检查实际包含的文件。

分阶段处理大容量ZIP#

该设计面向数十GB的存档。来源中有用户报告,两次独立下载的估计大小分别为50 GB和15 GB。这为应对大容量文件提供了依据,但并不代表X官方保证的存档大小或拆分方式。

处理分为以下4个阶段。

1. 客户端通过分段上传将ZIP直接上传至S3,以便重新上传失败的分段。 2. 上传完成事件启动准备处理工作进程,即使用户关闭页面,处理也会继续。 3. 工作进程通过S3 Files和Go的zip.OpenReader访问ZIP,读取所需条目,无须将整个存档保存在应用内存中。 4. 将提取的媒体和规范化后的帖子数据保存至S3,并将帖子数据拆分为每个文件最多1,000条的JSONL文件。

JSONL的每一行代表一条帖子。分块可以限制单个任务创建的帖子数量和重试范围。最初只将第一个分块加入队列,完成后再加入下一个。这样可以防止单次大规模导入的所有分块占满共享队列,而整体并发数由工作进程侧控制。

在限制范围内保留记录#

据来源所述,mixi2的字数限制为149.3个字符。部分X帖子超出这一限制,因此需要缩短正文,并添加省略号和原帖链接。添加这两项后,总字数仍须在目标平台的限制内。

媒体另有大小和时长限制。如果附件不满足可提前检查的条件,导入工具会保留符合条件的正文和媒体,并添加原帖链接。即使有多个无法导入的附件,每条帖子也只添加一次链接。

这种替代处理保留了访问被省略内容的途径,但前提是原始X帖子仍可查看。处理过程中的媒体转换错误不会按已知的大小或时长限制处理,而会被视为失败。

支持安全重试,并明确呈现结果#

导入工具会记录每个X帖子ID与所创建的mixi2帖子ID之间的对应关系。重试时会检查这一对应关系,跳过同一用户已经导入的帖子。帖子创建与对应关系的插入在同一个数据库事务中执行,避免出现帖子已保存却没有导入记录的情况。

单条帖子失败不会导致后续所有帖子停止处理。成功、失败和跳过的数量分别统计,并在最后一个分块处理完毕后报告结果。因此,即使导入流程执行到了最后,也不代表所有记录都成功导入。

对发布时间的检查还需要覆盖下游系统。据来源所述,要让导入的帖子按原始日期排列在搜索结果中,仍需进一步适配。即使日历和个人主页的排序正确,也不代表搜索排序正确。

下一步#

在构建存档导入工具之前,先用表格整理导入帖子在时间、动态、通知、搜索和活跃度计数方面的行为。

来源: https://zenn.dev/mixi/articles/bcf2363e83b0a2

目录