AI&IS部分知识点

RocheL
May 3, 2022
Last edited: 2022-9-5
type
Post
status
Published
date
May 3, 2022
slug
ai-io
summary
转置卷积,np问题
tags
AI
category
学习思考
icon
password
Property
Aug 2, 2022 02:15 AM
URL
ai或者自己研究方向中一些常识或者易弄混的tips

转置卷积

【机器学习】详解 转置卷积 (Transpose Convolution)
5.1 stride = 1 5.2 stride > 1 ☆ 通常，对图像进行多次卷积运算后，特征图的尺寸会不断缩小。而对于某些特定任务 (如 图像分割 和 图像生成 等)，需将图像恢复到原尺寸再操作。这个将图像由小分辨率映射到大分辨率的尺寸恢复操作，叫做 上采样 (Upsample) ，如下图所示： 上采样方法有很多，详见《 【图像处理】详解 最近邻插值、线性插值、双线性插值、双三次插值_闻韶-CSDN博客》。然而，这些上采样方法都是基于人们的先验经验来设计的，在很多场景中效果并不理想 ( 如 规则固定、不可学习 )。因此，我们希望神经网络自己学习如何更好地插值，即接下来要介绍的 转置卷积 。 曾经，转置卷积也被称为 反卷积 (Deconvolution)。与传统的上采样方法相比，转置卷积的上采样方式并非预设的插值方法，而是同标准卷积一样， 具有可学习的参数，可通过网络学习来获取最优的上采样方式 。 转置卷积在某些特定领域具有广泛应用，比如： 在 DCGAN[1]，生成器将随机值转变为一个全尺寸图片，此时需用到转置卷积。 在语义分割中，会在编码器中用卷积层提取特征，然后在解码器中恢复原先尺寸，从而对原图中的每个像素分类。该过程同样需用转置卷积。经典方法有 FCN[2] 和 U-net[3]。 CNN 可视化[4]：通过转置卷积将 CNN 的特征图还原到像素空间，以观察特定特征图对哪些模式的图像敏感。 标准卷积的运算操作 其实是对卷积核中的元素 与输入矩阵上对应位置的元素 进行逐像素的乘积并求和。然后，卷积核在输入矩阵上以步长为单位进行滑动，直到遍历完输入矩阵的所有位置。 假设，输入是一个 4×4 矩阵，使用
【机器学习】详解 转置卷积 (Transpose Convolution)
https://blog.csdn.net/qq_39478403/article/details/121181904
47.2 转置卷积是一种卷积【动手学深度学习v2】_哔哩哔哩_bilibili
动手学深度学习 v2 - 从零开始介绍深度学习算法和代码实现课程主页：https://courses.d2l.ai/zh-v2/教材：https://zh-v2.d2l.ai/, 视频播放量 19568、弹幕量 92、点赞数 634、投硬币枚数 388、收藏人数 248、转发人数 16, 视频作者 跟李沐学AI, 作者简介 ，相关视频：48 全连接卷积神经网络 FCN【动手学深度学习v2】，实验室花12万买了个电脑，四块3090显卡，动静太大了。，Windows 下安装 CUDA 和 Pytorch 跑深度学习 - 动手学深度学习v2，深度可分离卷积，"交叉熵"如何做损失函数？打包理解"信息量"、"比特"、"熵"、"KL散度"、"交叉熵"，万物皆可说话！堪比 BIG MOM魂魂果实能力的算法，有多离谱！CVPR2021，计算机视觉与深度学习 北京邮电大学 鲁鹏 清晰版合集（完整版），05 线性代数【动手学深度学习v2】，人工智能研究生现状，Transformer中Self-Attention以及Multi-Head Attention详解
47.2 转置卷积是一种卷积【动手学深度学习v2】_哔哩哔哩_bilibili
https://www.bilibili.com/video/BV1CM4y1K7r7?spm_id_from=333.999.0.0&vd_source=2389bab1e2b5df1e6b43b657a0e92199
47.2 转置卷积是一种卷积【动手学深度学习v2】_哔哩哔哩_bilibili
 

P问题，NP问题，NPC问题，NP-Hard问题

什么是P问题，NP问题，NPC问题，NP-Hard问题_weijian001的博客-CSDN博客
如果你觉着我的博客对你有帮助，麻烦点下喜欢和关注哦 ！ 最近组里重新分享关于优化的部分知识，其中涉及到复杂度的问题，又重新提起了被我扔掉很久的NP内容。不如一不做二不休，这里对整个NP问题内容再做一个梳理。这也是每个cs方面的同学必须了解的。 以下将提到： P问题 NP问题（Non-Deterministic Polynomial Problems） NPC问题 NP-hard问题 ...
什么是P问题，NP问题，NPC问题，NP-Hard问题_weijian001的博客-CSDN博客
https://blog.csdn.net/wj1066/article/details/81124954
什么是P问题，NP问题，NPC问题，NP-Hard问题_weijian001的博客-CSDN博客
npc问题导致在nlp领域做seq2seq，需要对候选seq做搜索时穷举不可行（指数复杂度），因此替换为贪心、束搜索
63 束搜索【动手学深度学习v2】
束搜索（beam search） 贪心搜索（greedy search） 在 seq2seq 中使用了贪心搜索来预测序列 （对于输出序列的每一时...
63 束搜索【动手学深度学习v2】
https://www.bilibili.com/read/cv16326172?from=note
63 束搜索【动手学深度学习v2】
在RL领域，蒙特卡洛模拟/树搜索也被广泛使用
蒙特卡洛树搜索最通俗入门指南
关于蒙特卡洛树搜索，国内真的很难找到特别好的入门资料，很多还是错的，本文是前段时间为了实现自己的一个 AI，在阅读了几十篇国内外文章之后根据自己的理解整合写的，主要参照 INT8 的一篇英语博文 Monte Carlo Tree Search - beginners guide Machine learning 。不过虽然已经尽力写得通俗，但是蒙特卡洛搜索树比博弈树要难两个等级，没太多算法基础的可以不用搞懂每一个细节。 在很长一段时间以来，学术界普遍认为，机器在围棋领域击败人类是完全不现实的，它被认为是人工智能的"圣杯"，尽管"深蓝"在二十年前已经击败了卡斯帕罗夫，但是在围棋上人工智能的表现还很弱。2016 年 3 月，由 google Deepmind 研发的 ALphaGo 程序 4-1 击败了李世石，并且在一年后 AlphaGo Zero 又以 100-0 击败了它的前辈--毫无疑问，人类世界已经没有他的对手，柯洁也差得远。 Alpha Go / Zero系统将几种方法组合成一个伟大的工程: 蒙特卡罗树搜索 残余卷积神经网络 - 用于游戏评估和移动先验概率估计的策略和价值网络 用于通过自我游戏训练网络的强化学习 在这篇文章中，我们将重点关注卡特蒙洛树搜索算法。 说到关注，我就想到下半年...中美合拍...文体两开花...多多关注... 棋局评判能力要求更高棋局的评判一般使用估值函数来评估，国际象棋的棋局局面特征比较明显，最容易想到的是可以给每个棋子和位置设置不同的分值，如果棋子之间的保护关系等特征，对局面的评价就已经很靠谱了。而对于围棋上述方法基本不起任何作用。 计算能力要求更高首先，国际象棋的棋盘大小为 64，围棋的大小为 361。由于棋盘大小的不同，每走一步国际象棋和围棋的计算量的要求是不一样的，围棋明显要求更高。这在博弈论中一般称之为分支因子，即平均每个落子后的合法走法，国际象棋的分支因子约为 35，而围棋大约是 250。另外一个可以说明计算能力要求不同的指标是搜索空间，在该指标上两者也存在指数级的差异，国际象棋是 10^50，而围棋是 10^171。 我们知道宇宙中的原子总数总共大约也才10^80，因此围棋的搜索空间绝对算是天文数字， 已经不能用千千万来形容了。不过说到千千万，我就想起孙悟空的头发...下半年...
蒙特卡洛树搜索最通俗入门指南
https://zhuanlan.zhihu.com/p/53948964
蒙特卡洛树搜索最通俗入门指南
 

VSS,VIS,VOS,VOD

一文看懂视频实例分割任务VIS和VOS MOTS等的区别
视频目标检测(VOD, Video Object Detection) 视频语义分割(VSS, Video Semantic Segmentation) 视频目标分割(VOS, Video Object Segmentation) 视频目标跟踪(VOT, Video Object Tracking) 多目标跟踪和分割(MOTS, Multiple Object Tracking and ...
一文看懂视频实例分割任务VIS和VOS MOTS等的区别
https://zhuanlan.zhihu.com/p/393216036
一文看懂视频实例分割任务VIS和VOS MOTS等的区别
学习思考
常用指令&操作DETR