学习笔记 Unsupervised Domain Adaptive Re-Identification: Theory and Practice

文章目录

  • 0 摘要
  • 1 intro
    • 1 第一假设:协变量假设:
    • 2 第二假设:Separately Probabilistic lipschitzness:单独概率的平滑smooth:
    • 3 第三假设:权重比
    • self-train框架
  • 2 符号定义
  • 3 假设、域自适应的可学习性
    • 定义1 协变量移位假设
    • 定义2 单独的概率平滑SPL
    • 定义3 权重比
  • 4 加强假设
    • 4.1 加强SPL 单独概率平滑
    • 4.2 加强权重比例 假设
    • 4.3 整个算法流程
      • (a)它不需要簇的数量作为输入
      • (b)能够避免对低置信度
      • (c)它具有足够的可扩展性
      • 参数设置
  • 5 实验结果
    • 数据集
    • 5.1 Person reid
    • 5.2 Vehicle REID
  • 6 结论和未来工作

在这里插入图片描述
在这里插入图片描述

0 摘要

提取特征空间上引入假设,并有假设推导出loss,用伪标签预测并迭代自训练的框架,提高跨域reid的模型性能

1 intro

文献[3]:[3] Shai Ben-David and Ruth Urner. Domain adaptation-can quantity compensate for quality? Annals of Mathematics and Artificial Intelligence, 70(3):185-202, Mar 2014. 数量能补偿质量吗
假设成对数据输入

1 第一假设:协变量假设:

两个域之间 特征对的分类标准是相同的。

2 第二假设:Separately Probabilistic lipschitzness:单独概率的平滑smooth:

指特征对可以分簇
对于单独概率Lipschitzness假设,我们希望最小化簇内和簇间的距离。
然后将样本选择问题转化为数据聚类问题,将最小损失函数转化为寻找数据的距离度量。

3 第三假设:权重比

即两个域的所有特征中存在重复特征的概率.
将两个度量结合在一起,我们就有了一个距离来评估猜测标签的置信度。

self-train框架

DBSCAN聚类根据距离的阈值生成数据聚类。通过在目标域选择的数据簇使用伪标签,用tripletloss 进行训练。

2 符号定义

3 假设、域自适应的可学习性

在这一节中,我们首先介绍一些关于源域与目标域交互的假设。在这些假设下,我们证明了非监督域自适应re-ID的可学习性。

定义1 协变量移位假设

第一个假设是协变量移位,即源域和目标域的数据对分类标准是相同的。换句话说,对于分类任务,我们有loss_s(x) =loss_t(x),同样,我们可以在提取的特征空间上定义re-id任务的协变量移位。

定义1(协变量移位)。如果源和目标分布具有相同的标记函数,即l_s(x1, x2) =l_t(x1, x2),则表示源和目标分布满足协变位移假设。
在这里插入图片描述

定义2 单独的概率平滑SPL

另一个假设是受到“概率Lipschitzness”的启发,“概率Lipschitzness”最初是在[28]的半监督学习中提出的,随后在[3]的领域适应任务中进行了研究。这个假设抓住了在分类任务中,数据可以被划分成标签同构的簇,并被低密度区域分开的直觉。然而,在re-id任务中,标记函数是一个多变量函数,因此原来的概率Lipschitzness是不适用的。请注意,re-id任务的直觉是类似的对可以形成一个集群。也就是说,举例来说,可以将相似的数据划分为一个簇,簇与数据空间以低密度间隔分离。数学上,我们有以下定义。
在这里插入图片描述

定义3 权重比

为了保证域适应任务的易学性,我们仍然需要一个关键的假设,即源域和目标域之间有多少重叠。我们再次遵循[3]中关于源和目标分布的假设,即两个分布之间的点态密度比的松弛。在这里插入图片描述

4 加强假设

在上一节中,我们展示了在提取特征空间上的一些假设下,无监督域自适应是可学习的。因此,我们关心的是如何训练一个特征提取器,即编码器,满足上述假设。

简单地说,我们首先根据假设推导出几个损失函数,然后通过自训练框架迭代训练编码器使损失函数最小化。

4.1 加强SPL 单独概率平滑

4.2 加强权重比例 假设

4.3 整个算法流程

到目前为止,除了聚类方法的细节外,对加强假设的一般概述都进行了阐述。在我们的框架中,一个好的聚类方法应该具备以下特性:

(a)它不需要簇的数量作为输入

因为一个簇实际上意味着一个恒等式,而恒等式的数量是微不足道的未知的;

(b)能够避免对低置信度

即允许一些不属于任何簇的点;

©它具有足够的可扩展性

以纳入我们的理论推导的距离度量。我们采用的聚类方法叫做DBSCAN[7],经过了时间的考验,确实具有上述优点。

现在我们提供一些领域自适应re-ID算法的其他实际细节。在开始时,一个编码器x(0)在S上训练得很好,所有对都用公式11.

接下来,我们描述如何设置阈值来控制是否应该使用一对进行训练。
直观地看,阈值应该与任务无关,因为d的尺度因任务而异。所以在我们的方法中,我们首先对所有的从小到大的距离进行排序,将最大的pN对的平均值设为阈值r,其中N为可能对的总数和pi的百分比。

在这些带有伪标签的数据上,用triplet loss对编码器进行训练。算法I总结了我们的整个框架。
在这里插入图片描述

参数设置

源域训练IDE+triplet
目标域聚类 triplet loss
在这里插入图片描述

5 实验结果

数据集

在这里插入图片描述

5.1 Person reid

在这里插入图片描述

5.2 Vehicle REID

在这里插入图片描述
与person re-ID不同,目前还没有针对车辆re-ID设计的无监督域适应算法。因此,我们使用现有的解决方案进行person re-ID的比较。如表3所示,不仅再次验证了person re-ID的结论,而且显示了我们方法的泛化能力。我们发现,比较后的SPGAN生成了相当不错的图像,我们将这些图像作为补充材料,但准确率仍然低于自训练的基线,更不用说我们提出的方法了。

6 结论和未来工作

热门文章

暂无图片
编程学习 ·

SpringBoot解决跨域

第一种:书写解决跨域的类public class AccessControlAllowOriginFilter implements Filter {@Overridepublic void init(FilterConfig filterConfig) throws ServletException {}@Overridepublic void doFilter(ServletRequest req, ServletResponse res, FilterChain chain) …
暂无图片
编程学习 ·

GPS卫星位置计算(卫星位置计算小程序)

目录一、准备以及结果图二、数据三、计算四、全部代码附:一、准备以及结果图软件:eclipse(2020-6版本)带有WindowBuilder插件编程语言:Java结果图:二、数据t0e星历的基准时间单位:秒a_sqrt轨道半长轴的平方根单位:米e1轨道离心率单位:无量纲i0倾角(在 t0e时)单位:r…
暂无图片
编程学习 ·

无线传输技术有哪些?

什么是ZigBee? ZigBee,也称紫蜂,是一种低速短距离传输的无线网上协议,底层是采用IEEE802.15.4标准规范的媒体访问层与物理层。主要特色有低速、低耗电、低成本、支持大量网上节点、支持多种网上拓扑、低复杂度、快速、可靠、安全。 三大特征、八大优势 特征一 ZigBee能源消…
暂无图片
编程学习 ·

前端项目如何管理

前端项目的管理分为两个维度:项目内的管理与多项目之间的管理。1. 项目内的管理在一个项目内,当有多个开发者一起协作开发时,或者功能越来越多、项目越来越庞大时,保证项目井然有序的进行是相当重要的。一般会从下面几点来考证一个项目是否管理得很好:可扩展性:能够很方便…
暂无图片
编程学习 ·

CentOS系统安装好之后输入ifconfig指令无法查看ip解决办法

CentOS系统安装好之后输入ifconfig指令无法查看ip解决办法 第一次使用虚拟机安装CentOS系统,安装完之后想要通过Xshell连接Linux系统,在输入ifconfig指令后,无法查看到ip地址,也就无法通过ip地址连接Linux系统 本人经过多次百度,找了很多的解决办法都无法解决问题,但也发现了无…
暂无图片
编程学习 ·

【游记】2020联合省选

说在前面 今年的省选是在本校考的,非常幸运。但俗话说得好,祸福相依。 day  0\tt day\;0day0 最后一个突击冲刺的夜晚,天上一颗星星也没有。机房里是几个年轻人,其中的一位正在复习 NTT\tt NTTNTT ,他还没有意识到将要到来的考试是个灭顶之灾。 我们的教练显然并不相信临…
暂无图片
编程学习 ·

VMware上安装达梦数据库8.0

VMware上安装达梦数据库8.0 VMware上安装达梦数据库8.0 本文指导达梦数据库8.0版本的安装,安装环境为中标麒麟7操作系统 第一步: 操作系统界面右键进入终端控制台,如下图所示:第二步: 规划dm8安装路径:首先,查看磁盘信息是否满足,如下图所示;2. 新建dm8安装目录,如下…
暂无图片
编程学习 ·

linux重要知识清单:进程管理

相关的系统调度fork(): 用于创建进程,Linux中进程的创建者与被创建者是父子关系clone():克隆,真正实现创建进程的操作,fork()是不带参数的,clone()是带参数的,通过不同的参数后,可以不仅仅做fork(),也能做其他的创建进程的方式exec():加载外部存储器的一段代码,把一个可…
暂无图片
编程学习 ·

一起Talk Android吧(第二百五十五回:Android中的Toolbar标题一)

各位看官们大家好,上一回中咱们说的是Android中Toolbar的例子,这一回咱们继续说该例子。闲话休提,言归正转。让我们一起Talk Android吧! 看官们,我们在前面章回中介绍完了Toolbar的导航,本章回中将介绍Toolbar的标题。标题位于导航右侧,用来提示程序的内容或者当前页面的…
暂无图片
编程学习 ·

Java学习篇2_入门程序说明、注释、关键字、标识符

上一篇博客:JDK、JRE、JVM三者之间的联系目录 关于一些小补充 入门程序说明 注释 关键字 标识符命名规则 命名规范开始一、关于一些小补充 Java语言的发展历史1995年Sun公司发布Java1.0版本 1997年发布Java 1.1版本 1998年发布Java 1.2版本 2000年发布Java 1.3版本 2002年发布…
暂无图片
编程学习 ·

HCL实验8:NAT搭建私有网络

NAT 通过NAT技术,进行私有网络的搭建 拓扑图先对路由器的端口进行配置 R1 [H3C]sys R1 [R1]INT G0/0 [R1-GigabitEthernet0/0]ip address 192.168.56.1 24 [R1-GigabitEthernet0/0]undo shutdown [R1-GigabitEthernet0/0]quit [R1]int s1/0 [R1-Serial1/0]ip address 100.100.…
暂无图片
编程学习 ·

u-boot2020.04移植(1、u-boot的编译)

最近公司项目用到了xilinx的zynq7000 soc,开发方式有所不同,驱动的数据都是通过设备树来提供,以前没接触过,所以想系统的学习一下相关的内容,但是手头只有一块三星的s5pv210开发板,使用的u-boot和linux系统不支持设备树,只好自己移植,以此记录一下移植过程,加深理解与…
暂无图片
编程学习 ·

基于小程序请求接口 wx.request 封装的类 axios 请求

基于小程序请求接口 wx.request 封装的类 axios 请求Introductionwx.request 的配置、axios 的调用方式源码戳我 feature支持 wx.request 所有配置项支持 axios 调用方式支持 自定义 baseUrl支持 自定义响应状态码对应 resolve 或 reject 状态支持 对响应(resolve/reject)分别…
暂无图片
编程学习 ·

mysql服务无法启动,报服务正在启动或停止中,请稍后片刻再试一次

这个错误我尝试了网上好多得方法最后只能卸载重装是最简单得。 于是我后面就是卸载重装了。后面就不上图了。希望有朋友碰到这个问题能给我一个解决方法。 在这里特此说明,我写得所有博客都是小编自己实际操作得。碰到得问题记录和写下解决方法得。小编也验证了很多网上别人得…
暂无图片
编程学习 ·

python从入门到放弃8.1选举小程序升级版v.1

马上又要12点了–-–,唉,终于完成选举小程序升级版1了。感觉很happy,但是还是有点脑热,因为,有一些内核总是装不上。。Java还没有正式启航。 一天天的,事是真的多。如果不出意外,我应该会持续升级版本,将这个程序做得越来越完善。不多说了,还是给截图。因为自己去实践才…
暂无图片
编程学习 ·

Vue + Alioss前端上传图片

Vue + Alioss前端上传图片准备工作安装依赖js工具类封装使用end 准备工作 需要注册一个ali云申请accesskeys,具体的操作请参考 link. 安装依赖 npm install ali-ossjs工具类封装 let OSS=require(ali-oss);let client=new OSS({accessKeyId: 你创建的Bucket时获取的accessKey…
暂无图片
编程学习 ·

《spring boot +spring security安全框架》2020

《spring boot +spring security安全框架》 1.简单篇: |-导入pom 依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-security</artifactId> </dependency>|-配置config *配置类添加@Enable…
暂无图片
编程学习 ·

SpringBoot+RabbitMQ,保证消息100%投递成功并被消费

一、先扔一张图说明:本文涵盖了关于RabbitMQ很多方面的知识点, 如:消息发送确认机制消费确认机制消息的重新投递消费幂等性, 等等 这些都是围绕上面那张整体流程图展开的, 所以有必要先贴出来, 见图知意二、实现思路简略介绍163邮箱授权码的获取编写发送邮件工具类编写RabbitMQ…
暂无图片
编程学习 ·

材料力学与弹性力学中讲到的 扭转

材料力学圆轴扭转、非圆截面扭转、开口薄壁杆件扭转、闭口薄壁杆件扭转 圆轴的塑性扭转1.非圆截面扭转矩形梁进行扭转,边缘处有最大切应力。在边缘上,最大切应力位于长边的中点处。 短边处的最大切应力τ1与长边处的最大切应力τ2都位于他们的中点处,但后者大于前者。 当h/b…