跳转到正文

相关领域

LLM 的纠错建议先过奇偶校验,再进入 LDPC 译码器

LLM 为受损文本提出字符修复方案,LDPC 奇偶校验约束则决定哪些建议可以转化为传统译码器的软可靠性信息。

语义能够提出修复方案,却不能替它作证明

信道错误破坏自然语言消息后,大语言模型往往可以根据上下文猜出原本的字符。但直接采用这些猜测并不安全:一句看似更通顺的改写,可能改变发送端从未传输过的比特。通信接收机需要利用语义上下文,同时又不能让语言上的“合理”压过信道编码的代数约束。

一篇新预印本把大语言模型与低密度奇偶校验(LDPC)码译码结合起来,并用校验子验证约束两者之间的接口。语言模型先对受损字符提出修复建议,接收机再把对应的比特变化代入 LDPC 奇偶校验方程,只接受通过验证规则的候选修改。

通过验证的猜测只作为软证据

即使修复建议通过验证,系统也不会把它直接写死到译码结果中。相反,这些信息被转换为对信道对数似然比的软更新,原始信道观测仍然保留。随后的一轮置信传播把新增证据沿奇偶校验图扩散出去,使传统译码器有机会修复语言模型没有触及的残余错误,而不只处理被改动的字符。

摘要报告,在 2.0 dB 条件下,这套方法相较传统译码器把比特错误率降低了 73%;若只把传统译码器的迭代次数增加一倍,使计算预算相当,降幅为 21%。即使语言模型会给出错误建议,被注入修复的精度仍保持在 0.88 以上。这些结果来自论文仿真,具体表现会受到编码、信道、文本分布、模型和验证参数的影响。

这套设计最值得注意的是职责划分。语言模型提供从语义中得到的结构化先验,奇偶校验继续裁定编码一致性,置信传播再把它与物理信道证据结合。这种层级关系比让生成模型直接重写接收文本更稳妥。公开摘要没有说明码长、语料范围、计算开销、端到端时延或非文本负载上的表现,因此实际适用范围仍需更完整的评估。

研究札记

LLM-Assisted LDPC Decoding via Syndrome-Verified Semantic Priors

  • 作者: Sojeong Park、Hyeonsu Lyu、Jaehyun Choi、Hyun Jong Yang
  • 公开记录: arXiv
  • 已确认内容: LLM 提出字符修复建议,LDPC 校验子负责筛选,通过验证的建议先更新对数似然比,再进入新一轮置信传播。
  • 报告结果: 在 2.0 dB 的仿真中,相较传统译码器,比特错误率降低 73%;把传统迭代数加倍到相同预算时,降幅为 21%;注入修复的精度保持在 0.88 以上。
  • 阅读边界: 摘要没有给出码长、语料细节、运行开销、端到端时延或非文本测试。