Fork me on GitHub
小火箭的博客

愿世界和平!!!


  • 首页

  • 标签

  • 分类

  • 归档

  • 站点地图

  • 公益404

  • 留言板

  • 其他

ExpectationI2I 召回

发表于 2021-11-28 | 分类于 召回模型 , 算法总结 |
| 字数统计: 2.6k | 阅读时长 ≈ 10

1 引言

在推荐的发展历史中,Amazon 在 ItemCF 上进行了不少的探索。2003年,其在 IEEE INTERNET COMPUTING 发表的《http://Amazon.com Recommendations: Item-to-Item Collaborative Filtering》一文中提出了 ItemCF 推荐算法,引起了不小的波澜。其主要优势是:

  • 简单可扩展;
  • 可解释性强;
  • 实时性高;

在早期,ItemCF/UserCF 往往被用于推荐主算法,在当下一般作为召回算法。UserCF 适用于用户数的变化频率小于物品数的变化频率的场景,ItemCF 则相反。当今的互联网环境下确实是更适合 ItemCF 发挥。

而本文就是为了介绍其新提出的一种改进的 ItemCF 算法 ExpectationI2I,当然有的地方名字可能不一样。这是由 Amazon 在 2017 年的 IEEE INTERNET COMPUTING 上发表的文章《Two Decades of Recommender Systems at Amazon.com》中介绍的。

阅读全文 »

知识蒸馏简述(Knowledge Distillation)

发表于 2021-09-16 | 分类于 算法总结 |
| 字数统计: 2.4k | 阅读时长 ≈ 8

1 背景

目前有很多复杂的模型可以来完成不同的任务,但是部署重量级模型的集成在许多情况下并不总是可行的。有时,你的单个模型可能太大,以至于通常不可能将其部署到资源受限的环境中。这就是为什么我们一直在研究一些模型优化方法 ——量化和剪枝

2 Softmax的故事

当处理一个分类问题时,使用 softmax 作为神经网络的最后一个激活单元是非常典型的用法。这是为什么呢?因为softmax函数接受一组 logit 为输入并输出离散类别上的概率分布。比如,手写数字识别中,神经网络可能有较高的置信度认为图像为1。不过,也有轻微的可能性认为图像为7。如果我们只处理像[1,0]这样的独热编码标签(其中1和0分别是图像为1和7的概率),那么这些信息就无法获得。

阅读全文 »

深入浅出计算机组成原理——应用篇(52-55)

发表于 2021-08-21 | 分类于 学习笔记 , 计算机组成原理 |
| 字数统计: 2.2k | 阅读时长 ≈ 8

全文内容主要来自对课程《深入浅出计算机组成原理》的学习笔记。

52 | 设计大型DMP系统(上)

DMP:数据管理平台

DMP 系统的全称叫作数据管理平台(Data Management Platform),在搜索、推荐、广告领域使用很广。

DMP 可以简单地看成是一个键 - 值对(Key-Value)数据库,用来存储画像信息。期望的性能:

  • 低响应时间(Low Response Time);
  • 高可用性(High Availability);
  • 高并发(High Concurrency);
  • 海量数据(Big Data);
  • 可负担的成本(Affordable Cost)
阅读全文 »

深入浅出计算机组成原理——原理篇:存储与I/O系统(46-51)

发表于 2021-08-18 | 分类于 学习笔记 , 计算机组成原理 |
| 字数统计: 3.6k | 阅读时长 ≈ 12

全文内容主要来自对课程《深入浅出计算机组成原理》的学习笔记。

46 | SSD硬盘(上)

SSD 的读写原理

没有寻道,随机读写快。
缺点:耐用性(重复擦写)差。

SLC、MLC、TLC 和 QLC

一个电容,有无电压代表0、1,即1bit信息。这种方式为 SLC(Single-Level Cell) 颗粒。与 CPU Cache 类似,存储有限。

如果一个单元存储超过1bit呢?

于是发明了 MLC(Multi-Level Cell)、TLC(Triple-Level Cell)以及 QLC(Quad-Level Cell),分别可以存储2、3、4bit。

阅读全文 »

深入浅出计算机组成原理——原理篇:存储与I/O系统(40-45)

发表于 2021-08-12 | 分类于 学习笔记 , 计算机组成原理 |
| 字数统计: 2.7k | 阅读时长 ≈ 9

全文内容主要来自对课程《深入浅出计算机组成原理》的学习笔记。

40 | 理解内存(上)

虚拟内存地址究竟是怎么转换成物理内存地址?

简单页表

页表(Page Table):虚拟内存里面的页,到物理内存里面的页的一一映射。

一个内存地址分成页号(Directory)和偏移量(Offset)。

一页内存在物理层面是连续的,一般大小是 4K 字节(4KB),需要 20 位的高位,12 位的低位。

内存地址转换步骤:

  1. 虚拟内存地址,切分成页号、偏移量;
  2. 从页表,查询对应的物理页号;
  3. 物理页号+偏移量,就是物理内存地址。
阅读全文 »

深入浅出计算机组成原理——原理篇:存储与I/O系统(35-39)

发表于 2021-08-08 | 分类于 学习笔记 , 计算机组成原理 |
| 字数统计: 2k | 阅读时长 ≈ 7

全文内容主要来自对课程《深入浅出计算机组成原理》的学习笔记。

35 | 存储器层次结构全景

理解存储器的层次结构

寄存器:更像 CPU 本身的部分,空间极其有限,但速度非常快,
CPU Cache:CPU 高速缓存,我们常常简称为“缓存”,使用 SRAM 芯片。

SRAM

SRAM(Static Random-Access Memory),即静态随机存取存储器。只要处在通电状态,里面的数据就可以保持存在,一断电就丢失。

SRAM 中,1 bit 的数据,需要 6~8 个晶体管。存储密度不高,但电路简单,速度快。

阅读全文 »

深入浅出计算机组成原理——原理篇:处理器(30-34)

发表于 2021-08-03 | 分类于 学习笔记 , 计算机组成原理 |
| 字数统计: 3k | 阅读时长 ≈ 10

全文内容主要来自对课程《深入浅出计算机组成原理》的学习笔记。

30 | GPU(上)

GPU 的历史进程

GPU 是为了改善计算机渲染三维图像,先驱是 SGI(Silicon Graphics Inc.),即硅谷图形公司,创始人 Jim Clark 是斯坦福的教授,图形学专家。

最早 3D 是大神卡马克开发的著名 Wolfenstein 3D(德军总部 3D),从不同视角看到的是 8 幅不同的贴图,不是真正的3D。直到90年代中期,才出现实时渲染多边形。

图形渲染的流程

3D画面实际上是多边形组合出来的。

阅读全文 »

深入浅出计算机组成原理——原理篇:处理器(22-29)

发表于 2021-07-28 | 分类于 学习笔记 , 计算机组成原理 |
| 字数统计: 4.2k | 阅读时长 ≈ 15

全文内容主要来自对课程《深入浅出计算机组成原理》的学习笔记。

22 | 冒险和预测(一)

流水线设计需要解决的三大冒险:

  • 结构冒险(Structural Hazard);
  • 数据冒险(Data Hazard);
  • 控制冒险(Control Hazard)

结构冒险

本质上是一个硬件层面的资源竞争问题。

阅读全文 »

深入浅出计算机组成原理——原理篇:处理器(17-21)

发表于 2021-07-19 | 分类于 学习笔记 , 计算机组成原理 |
| 字数统计: 2.5k | 阅读时长 ≈ 9

全文内容主要来自对课程《深入浅出计算机组成原理》的学习笔记。

17 | 建立数据通路(上)

指令周期(Instruction Cycle)

一条指令的执行过程:

  1. Fetch:取得指令
  2. Decode:指令译码
  3. Execute:执行指令

(重复以上步骤)

上述的一个循环称为指令周期(Instruction Cycle)。

指令存在存储器,由控制器操作,通过 PC 寄存器和指令寄存器取出指令,控制器也控制解码过程。
指令执行则是由算术逻辑单元(ALU)操作的,简单的无条件地址跳转则在控制器内完成。

阅读全文 »

深入浅出计算机组成原理——原理篇:指令和运算(11-16)

发表于 2021-07-13 | 分类于 学习笔记 , 计算机组成原理 |
| 字数统计: 2.7k | 阅读时长 ≈ 10

全文内容主要来自对课程《深入浅出计算机组成原理》的学习笔记。

11 | 二进制编码

逢二进一

源码表示法(最左侧位的 0/1 代表整体正负):
$0011 = + 0 \times 2^2 + 1 \times 2^1 + 1 \times 2^0 = 3$
$1011 = - (0 \times 2^2 + 1 \times 2^1 + 1 \times 2^0) = -3$

ASCII 码(American Standard Code for Information Interchange,美国信息交换标准代码)但此时0可以表示成 0000 和 1000,一对多,不合适。

补码表示法(最左侧位仅表其位负):
$1011 = -1 \times 2^3 + 0 \times 2^2 + 1 \times 2^1 + 1 \times 2^0) = -5$

如此4位的话,可以表示-8到7这16个整数。

阅读全文 »
<123…8>

73 日志
14 分类
85 标签
RSS
GitHub E-Mail
© 2019 — 2025 小火箭
由 信仰 强力驱动
|
博客全站共314.2k字
访客数 人 总访问量 次