介绍 英文题目：BEVSegFormer: Bird’s Eye View Semantic Segmentation From Arbitrary Camera Rigs 中文题目：BEVSegFormer: 基于任意相机的鸟瞰图语义分割 论文地址：https://arxiv.org/abs/2203.04050 领域：机器视觉,自动驾驶 发表时间：2022 年 3 月 作者：来自上海的自动驾驶创业公司 Nullmax 阅读时间：2022.05.28 其它相关网文：https://blog.csdn.net/Yong_Qi2015/article/details/124311369 介绍 之前从摄像机视图转成 BEV 的方法多以 IPM 为主，该方法需要知道摄像机的内外参数以及位置信息。在有遮挡及距离比较远的情况下，都无法达到很好的效果。近年来更多应用了深度学习方法。 优点 不需要摄像机的参数 有效聚合多摄像头数据 优化了图像分割效果 核心算法 （论文正文第 3 页） 三个步骤： 从一个共享 Backbone 处理各摄像机，输出 Feature map。 基于 Transfor ...

介绍 英文题目：A Knowledge-driven Generative Model for Multi-implication Chinese Medical Procedure Entity Normalization 中文题目：知识驱动的多含义中文医疗实体规范化生成模型 论文地址：https://www.aclweb.org/anthology/2020.emnlp-main.116.pdf 领域：自然语言处理，实体规范化，医疗 发表时间：2020 作者：Jinghui Yan 等，北京交通大学，中国科学院，繁宇科技有限公司 出处：EMNLP 被引量：4 阅读时间：22.06.04 针对问题：中文 ICD9 手术名称的规范化 结果：支持手术名称一对多规范化 核心方法：使用生成模型；利用知识约束；用子类数据精调模型 读后感 如果单纯依赖数据和模型，极可能产生一些完全不靠谱的匹配，文本规范化优化方法，多是针对这一问题的改进，比如代入知识。论文使用生成模型解决文本规范化问题，想法比较有意思，另外，使用约束的方式把知识代入了深度学习模型。 介绍 命名实体规范化（Named entity ...

介绍 英文题目：How Powerful are Graph Neural Networks？ 中文题目：图神经网络有多强大？ 论文地址：https://arxiv.org/pdf/1810.00826.pdf 领域：图神经网络，知识表示 发表时间：2018 作者：Keyulu Xu 等，MIT，斯坦福大学 出处：ICLR 被引量：1506 阅读时间：22.06.11 读后感 这也是一篇引用量很大的图神经网络精典论文。之前研究方法着重于表示节点，引文着眼于表征图的结构。作者认为之前方法难以区分不同的图结构，并提出了一种基于 GNN 的方法 GIN，它的区分效果与 WL-Test 效果相当。 介绍 一般情况下一个节点的表式通过聚合它 k 跳之内的邻近节点计算，而全图的表示则通过对所有节点的池化计算。 近年来新型 GNN 的设计主要基于经验直觉、启发式和实验试错法，而对神经网络的性质和局限性的理论较少。文中提出理论框架来分析 GNN 的能力，这里主要是评价模型是否能够区分网络结构。 文中使用了 WL-test 方法，即图同构测试，它是一个区分网络结构的强效方法，也是通过迭代聚合邻居的方法来 ...

介绍 英文题目：BEVFormer: Learning Bird's-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers 中文题目：BEVFormer: 通过时空 Transformers 从多摄像头图像学习鸟瞰图表示 论文地址：https://arxiv.org/pdf/2203.17270v1.pdf 领域：机器视觉，自动驾驶 发表时间：2022 年 3 月 作者：Zhiqi Li 等 出处：南京大学，上海人工智能实验室，香港大学 代码和数据：https://github.com/zhiqi-li/BEVFormer 阅读时间：2022.05.22 读后感 文中方法和特斯拉视频（特斯拉2021人工智能日AI Day完整视频）架构相似。比较有意思的地方是在BEV 层面结合了时间和空间信息。 介绍 在 3D 感知领域，雷达已取得了很好效果，机器视觉近几年也受到关注，除了成本低，相对雷达，它还能感知远距离物体，以及识别道路标识。 BEV 鸟瞰图从多个摄像头信息计算表征，用于描述周 ...

介绍 英文题目：CBLUE: A Chinese Biomedical Language Understanding Evaluation 中文题目：CBLUE：中文生物医学语言理解评价基准 论文地址：https://arxiv.org/pdf/2106.08087.pdf 领域：自然语言处理，知识图谱 发表时间：2021 年 作者：Ningyu Zhang，医渡云、平安医疗科技、阿里夸克、鹏城实验室、北京大学、哈尔滨工业大学 (深圳）、同济大学、郑州大学等共同协办 出处：ACL（自然语言处理顶级会议） 被引量：3 数据：https://tianchi.aliyun.com/dataset/dataDetail?dataId=95414 (需要提交申请) 代码：https://github.com/CBLUEbenchmark/CBLUE 阅读时间：2022.05.09 读后感 训练和评测数据非常全面，还可以在天池打榜。 介绍 之前生物医学方面数据以英文为主，本文收集了真实世界的生物医学数据，提出了第一个中文生物医学语言理解评估标准 CBLUE。其内容覆盖命名实体识别，知识抽取，诊断标 ...

读后感 文中的一个重要思想是：认为被对齐的图中的知识都是不完备的，所以在图间对齐时，主要对齐对些能齐上的，忽略那些对不上的；同时结构了自注意力模型，对不同关系分配不同权重。 多类型实体的图对齐 _CGMuAlign 英文题目：Collective Multi-type Entity Alignment Between Knowledge Graphs 中文题目：基于知识图的集合多类型实体对齐 论文地址：https://assets.amazon.science/ff/7a/b96282984a0fbe5e31a8fcf68d17/scipub-1202.pdf 领域：知识图谱，实体对齐 发表时间：2020 年 作者：Qi Zhu，伊利诺伊大学，亚马逊 出处：the web conference 被引量：17 代码和数据：https://github.com/GentleZhu/CG-MuAlign 阅读时间：2022.04.25 介绍 实体对齐的目标是识别不同图中的同一实体。不同的图在建构的时候由于目标不同，各有偏重。比如图 -1 中的左右两张图： Pasted image 202 ...

1 介绍 英文题目：Pre-Training with Whole Word Masking for Chinese BERT 中文题目：中文 BERT 的全词掩码预训练 论文地址：https://arxiv.org/pdf/1906.08101.pdf 领域：自然语言处理 发表时间：2019 作者：Yiming Cui，社会计算和信息检索研究中心，哈工大，讯飞 出处：第二届“讯飞杯”中文机器阅读理解评测，CMRC 2018 被引量：255 代码和数据：https://github.com/ymcui/Chinese-BERT-wwm 阅读时间：2022.05.10 2 读后感 中文和英文不同，一般通过词而非字来表意，而分词也有难度，BERT 以字单位建模，这样损失了词义。文中将之前用于英文的全词 MASK 方法应用于中文，文中没什么公式，原理也简单，但对中文确实是一个重要的方法，该模型也被广泛使用。 3 介绍 BERT(2019) 利用 Transformer，未标注的数据，综合上下文信息，使模型达到很好效果，之后，BERT 的作者又提出升级版 WWM，它利用全词 MASK 进一步提 ...

实战 _ 用 TF/IDF 算法对比相似度 原理 TF/IDF 方法于 1983 年题出，它先计算每个单词出现的频率，然后适当归一化。利用 TF-IDF 方法将任意长度的文档缩减为固定长度的数字列表，然后对比文本相似度，gensim 工具包提供该方法。 简单复习一下具体算法： 词频 TF \[ tf_{i,j}=\frac{n_{i,j}}{\sum_kn_{k,j}} \] 其中 n 是句中词，i 是词的索引号，j 是文章索引号，k 是文章中所有词，上式计算的是词 i 在本篇出现的比率。请注意：在短文本的情况下，绝大多数词只出现一次，tf 就只和文章长短有关了。 逆向文档频率 IDF \[ idf_{i}=log \frac{|D|}{|j:t_i\in d_j|} \] 其中分母是文章总数，分子是包含词 i 的文章数。 TF/IDF \[ tfidf_{i,j}=tf_{i,j} \times idf_{i} \] tfidf 值反映的是每个词在文档中的重要程度。请注意：这是一种基于计数的方法，不直接使用词义。 该算法的优点在于算法简单，计算量小；而缺点在于无法处理对同一概念的不同 ...

论文阅读 _ 中文医学预训练模型 _MC-BERT 介绍 英文题目：Conceptualized Representation Learning for Chinese Biomedical Text Mining 中文题目：中文生物医学文本挖掘中的概念化表征学习 论文地址：https://arxiv.org/pdf/2008.10813.pdf 领域：自然语言处理，知识抽取 发表时间：2020 作者：Ningyu Zhang，阿里巴巴 被引量：14 代码和数据：https://github.com/alibaba-research/ChineseBLUE 模型下载：https://drive.google.com/open?id=1ccXRvaeox5XCNP_aSk_ttLBY695Erlok 阅读时间：2022.05.07 我的收获 获得了现成可用的医学 BERT 模型，以及大量带标注的数据集。 针对问题 医疗数据集与普通数据集分布不同，医疗词汇的长尾分布也很难从普通语料中学习，中文的词和短语更复杂一些。需要训练一个类似 BERT 的针对医疗的中文预训练模型。 本文贡献 提出了 ...

介绍 英文题目：Inductive Representation Learning on Large Graphs 中文题目：基于大图的归纳表示学习 论文地址：https://arxiv.org/abs/1706.02216 领域：知识图谱，知识表征 发表时间：2017 作者：William L. Hamilton，斯坦福大学 出处：NIPS 被引量：2398 代码和数据：https://github.com/williamleif/GraphSAGE，pyg 和 dgl 均有对该方法的支持 阅读时间：2022.05.03 读后感 学习大图、不断扩展的图，未见过节点的表征，是一个很常见的应用场景。GraphSAGE 通过训练聚合函数，实现优化未知节点的表示方法。之后提出的 GAN（图注意力网络）也针对此问题优化。 文中提出了：传导性问题和归纳性问题，传导性问题是已知全图情况，计算节点表征向量；归纳性问题是在不完全了解全图的情况下，训练节点的表征函数（不是直接计算向量表示）。 图工具的处理过程每轮迭代（一次 propagation）一般都包含：收集信息、聚合、更新，从本文也可以更好地理解 ...