介绍 英文题目：EHR Coding with Multi-scale Feature Attention and Structured Knowledge Graph Propagation 中文题目：基于多尺度特征关注和结构化知识图传播的 EHR 编码 论文地址：https://sci-hubtw.hkvisa.net/10.1145/3357384.3357897 领域：自然语言处理，生物医疗，ICD 编码 发表时间：2019 作者：Xiancheng Xie 等，复旦大学 出处：ACM CIKM 被引量：25 阅读时间：2022.06.16 读后感 很好地结合了现有的资源和方法：利用编码的内在关系，结合了注意力机制，知识图谱，密连接网络等方法。 泛读 针对问题：ICD 自动编码 核心方法： 通过对每个词上下文邻居的 n-gram，选择多尺度特征 利用 ICD 标签的语义：编码越相近，含义越相近，利用图卷积网络捕捉 ICD 编码的层次关系和语义 基于 ICD 标签的注意力；结合多尺度特征，用注意力选择信息量最大的 n-gram 特征 理解程度： 一个半小时精读，又花了约两 ...

介绍 英文题目：Code Synonyms Do Matter: Multiple Synonyms Matching Network for Automatic ICD Coding 中文题目：自动 ICD 编码的同义词匹配网络 论文地址：https://export.arxiv.org/pdf/2203.01515.pdf 领域：自然语言处理、生物医疗 发表时间：2022 作者：Zheng Yuan 等，清华大学，阿里巴巴 出处：ACL 代码和数据：https://github.com/GanjinZero/ICD-MSMN 阅读时间：2022.06.14 读后感 通过代入外部资源 UMLS，论文收集了每个编码的同义词，从而弥补了电子病历与 ICD 编码描述中同义不同词的问题。 其算法并没有像之前一些模型那么精巧，但引入外部资源后，效果的确提升不少。 泛读 针对问题：ICD 编码中一义多词问题 核心方法： 提出了多同义词匹配网络 (MSMN) 使用LSTM+ 多头注意力 将编码的同义词作为 query 以关注描述中的不同短语，从而生成与 ICD 编码相关的表示。 使用双仿射的 ...

介绍：ELECTRA 由 Manning 联合谷歌发布，后来哈工大讯飞联合实验室训练了相应的中文模型。精减后的模型效果和 BERT 差不太多，而模型大小只有 BERT 的 1/10，ELECTRA-small 只有 46M。 代码&模型下载&详细说明：https://github.com/ymcui/Chinese-ELECTRA 使用：LTP 使用它为基础模型。 原理：使用生成对抗网络训练自然语言模型，时间短，参数少。模型分为两部分：生成器和判别器，生成实现 MLM，判别器用于识别每一个单词是否为模型生成。 效果：以中文阅读理解为例，其效果对比如下，其它实验详见 github Pasted image 20220620181324.png

介绍 英文题目：BEVSegFormer: Bird’s Eye View Semantic Segmentation From Arbitrary Camera Rigs 中文题目：BEVSegFormer: 基于任意相机的鸟瞰图语义分割 论文地址：https://arxiv.org/abs/2203.04050 领域：机器视觉,自动驾驶 发表时间：2022 年 3 月 作者：来自上海的自动驾驶创业公司 Nullmax 阅读时间：2022.05.28 其它相关网文：https://blog.csdn.net/Yong_Qi2015/article/details/124311369 介绍 之前从摄像机视图转成 BEV 的方法多以 IPM 为主，该方法需要知道摄像机的内外参数以及位置信息。在有遮挡及距离比较远的情况下，都无法达到很好的效果。近年来更多应用了深度学习方法。 优点 不需要摄像机的参数 有效聚合多摄像头数据 优化了图像分割效果 核心算法 （论文正文第 3 页） 三个步骤： 从一个共享 Backbone 处理各摄像机，输出 Feature map。 基于 Transfor ...

介绍 英文题目：A Knowledge-driven Generative Model for Multi-implication Chinese Medical Procedure Entity Normalization 中文题目：知识驱动的多含义中文医疗实体规范化生成模型 论文地址：https://www.aclweb.org/anthology/2020.emnlp-main.116.pdf 领域：自然语言处理，实体规范化，医疗 发表时间：2020 作者：Jinghui Yan 等，北京交通大学，中国科学院，繁宇科技有限公司 出处：EMNLP 被引量：4 阅读时间：22.06.04 针对问题：中文 ICD9 手术名称的规范化 结果：支持手术名称一对多规范化 核心方法：使用生成模型；利用知识约束；用子类数据精调模型 读后感 如果单纯依赖数据和模型，极可能产生一些完全不靠谱的匹配，文本规范化优化方法，多是针对这一问题的改进，比如代入知识。论文使用生成模型解决文本规范化问题，想法比较有意思，另外，使用约束的方式把知识代入了深度学习模型。 介绍 命名实体规范化（Named entity ...

介绍 英文题目：How Powerful are Graph Neural Networks？ 中文题目：图神经网络有多强大？ 论文地址：https://arxiv.org/pdf/1810.00826.pdf 领域：图神经网络，知识表示 发表时间：2018 作者：Keyulu Xu 等，MIT，斯坦福大学 出处：ICLR 被引量：1506 阅读时间：22.06.11 读后感 这也是一篇引用量很大的图神经网络精典论文。之前研究方法着重于表示节点，引文着眼于表征图的结构。作者认为之前方法难以区分不同的图结构，并提出了一种基于 GNN 的方法 GIN，它的区分效果与 WL-Test 效果相当。 介绍 一般情况下一个节点的表式通过聚合它 k 跳之内的邻近节点计算，而全图的表示则通过对所有节点的池化计算。 近年来新型 GNN 的设计主要基于经验直觉、启发式和实验试错法，而对神经网络的性质和局限性的理论较少。文中提出理论框架来分析 GNN 的能力，这里主要是评价模型是否能够区分网络结构。 文中使用了 WL-test 方法，即图同构测试，它是一个区分网络结构的强效方法，也是通过迭代聚合邻居的方法来 ...

介绍 英文题目：BEVFormer: Learning Bird's-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers 中文题目：BEVFormer: 通过时空 Transformers 从多摄像头图像学习鸟瞰图表示 论文地址：https://arxiv.org/pdf/2203.17270v1.pdf 领域：机器视觉，自动驾驶 发表时间：2022 年 3 月 作者：Zhiqi Li 等 出处：南京大学，上海人工智能实验室，香港大学 代码和数据：https://github.com/zhiqi-li/BEVFormer 阅读时间：2022.05.22 读后感 文中方法和特斯拉视频（特斯拉2021人工智能日AI Day完整视频）架构相似。比较有意思的地方是在BEV 层面结合了时间和空间信息。 介绍 在 3D 感知领域，雷达已取得了很好效果，机器视觉近几年也受到关注，除了成本低，相对雷达，它还能感知远距离物体，以及识别道路标识。 BEV 鸟瞰图从多个摄像头信息计算表征，用于描述周 ...

介绍 英文题目：CBLUE: A Chinese Biomedical Language Understanding Evaluation 中文题目：CBLUE：中文生物医学语言理解评价基准 论文地址：https://arxiv.org/pdf/2106.08087.pdf 领域：自然语言处理，知识图谱 发表时间：2021 年 作者：Ningyu Zhang，医渡云、平安医疗科技、阿里夸克、鹏城实验室、北京大学、哈尔滨工业大学 (深圳）、同济大学、郑州大学等共同协办 出处：ACL（自然语言处理顶级会议） 被引量：3 数据：https://tianchi.aliyun.com/dataset/dataDetail?dataId=95414 (需要提交申请) 代码：https://github.com/CBLUEbenchmark/CBLUE 阅读时间：2022.05.09 读后感 训练和评测数据非常全面，还可以在天池打榜。 介绍 之前生物医学方面数据以英文为主，本文收集了真实世界的生物医学数据，提出了第一个中文生物医学语言理解评估标准 CBLUE。其内容覆盖命名实体识别，知识抽取，诊断标 ...

读后感 文中的一个重要思想是：认为被对齐的图中的知识都是不完备的，所以在图间对齐时，主要对齐对些能齐上的，忽略那些对不上的；同时结构了自注意力模型，对不同关系分配不同权重。 多类型实体的图对齐 _CGMuAlign 英文题目：Collective Multi-type Entity Alignment Between Knowledge Graphs 中文题目：基于知识图的集合多类型实体对齐 论文地址：https://assets.amazon.science/ff/7a/b96282984a0fbe5e31a8fcf68d17/scipub-1202.pdf 领域：知识图谱，实体对齐 发表时间：2020 年 作者：Qi Zhu，伊利诺伊大学，亚马逊 出处：the web conference 被引量：17 代码和数据：https://github.com/GentleZhu/CG-MuAlign 阅读时间：2022.04.25 介绍 实体对齐的目标是识别不同图中的同一实体。不同的图在建构的时候由于目标不同，各有偏重。比如图 -1 中的左右两张图： Pasted image 202 ...

1 介绍 英文题目：Pre-Training with Whole Word Masking for Chinese BERT 中文题目：中文 BERT 的全词掩码预训练 论文地址：https://arxiv.org/pdf/1906.08101.pdf 领域：自然语言处理 发表时间：2019 作者：Yiming Cui，社会计算和信息检索研究中心，哈工大，讯飞 出处：第二届“讯飞杯”中文机器阅读理解评测，CMRC 2018 被引量：255 代码和数据：https://github.com/ymcui/Chinese-BERT-wwm 阅读时间：2022.05.10 2 读后感 中文和英文不同，一般通过词而非字来表意，而分词也有难度，BERT 以字单位建模，这样损失了词义。文中将之前用于英文的全词 MASK 方法应用于中文，文中没什么公式，原理也简单，但对中文确实是一个重要的方法，该模型也被广泛使用。 3 介绍 BERT(2019) 利用 Transformer，未标注的数据，综合上下文信息，使模型达到很好效果，之后，BERT 的作者又提出升级版 WWM，它利用全词 MASK 进一步提 ...