12930621226开头是什么银行行
点击联系发帖人
时间：2018-06-11 14:26
&p&RC3 版本对于 TiKV 来说最重要的功能就是支持了 gRPC，也就意味着后面大家可以非常方便的使用自己喜欢的语言对接 TiKV 了。&/p&&p&gRPC 是基于 HTTP/2 协议的，要深刻理解 gRPC，理解下 HTTP/2 是必要的，这里先简单介绍一下 HTTP/2 相关的知识，然后在介绍下 gRPC 是如何基于 HTTP/2 构建的。&/p&&h2&&b&HTTP/1.x&/b&&/h2&&p&HTTP 协议可以算是现阶段 Web 上面最通用的协议了，在之前很长一段时间，很多应用都是基于 HTTP/1.x 协议，HTTP/1.x 协议是一个文本协议，可读性非常好，但其实并不高效，笔者主要碰到过几个问题：&/p&&h2&&b&Parser&/b&&/h2&&p&如果要解析一个完整的 HTTP 请求，首先我们需要能正确的读出 HTTP header。HTTP header 各个 fields 使用 \r\n 分隔，然后跟 body 之间使用 \r\n\r\n 分隔。解析完 header 之后，我们才能从 header 里面的 content-length 拿到 body 的 size，从而读取 body。&/p&&p&这套流程其实并不高效，因为我们需要读取多次，才能将一个完整的 HTTP 请求给解析出来，虽然在代码实现上面，有很多优化方式，譬如：&/p&&ul&&li&一次将一大块数据读取到 buffer 里面避免多次 IO read&/li&&li&读取的时候直接匹配 \r\n 的方式流式解析&/li&&/ul&&p&但上面的方式对于高性能服务来说，终归还是会有开销。其实最主要的问题在于，HTTP/1.x 的协议是 文本协议，是给人看的，对机器不友好，如果要对机器友好，二进制协议才是更好的选择。&/p&&p&如果大家对解析 HTTP/1.x 很感兴趣，可以研究下 &a href=&https://link.zhihu.com/?target=https%3A//github.com/nodejs/http-parser& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&http-parser&/a&，一个非常高效小巧的 C library，见过不少框架都是集成了这个库来处理 HTTP/1.x 的。&/p&&h2&&b&Request/Response&/b&&/h2&&p&HTTP/1.x 另一个问题就在于它的交互模式，一个连接每次只能一问一答，也就是client 发送了 request 之后，必须等到 response，才能继续发送下一次请求。&/p&&p&这套机制是非常简单，但会造成网络连接利用率不高。如果需要同时进行大量的交互，client 需要跟 server 建立多条连接，但连接的建立也是有开销的，所以为了性能，通常这些连接都是长连接一直保活的，虽然对于 server 来说同时处理百万连接也没啥太大的挑战，但终归效率不高。&/p&&h2&&b&Push&/b&&/h2&&p&用 HTTP/1.x 做过推送的同学，大概就知道有多么的痛苦，因为 HTTP/1.x 并没有推送机制。所以通常两种做法：&/p&&ul&&li&Long polling 方式，也就是直接给 server 挂一个连接，等待一段时间（譬如 1 分钟），如果 server 有返回或者超时，则再次重新 poll。&/li&&li&Web-socket，通过 upgrade 机制显示的将这条 HTTP 连接变成裸的 TCP，进行双向交互。&/li&&/ul&&p&相比 Long polling，笔者还是更喜欢 web-socket 一点，毕竟更加高效，只是 web-socket 后面的交互并不是传统意义上面的 HTTP 了。&/p&&h2&&b&Hello HTTP/2&/b&&/h2&&p&虽然 HTTP/1.x 协议可能仍然是当今互联网运用最广泛的协议，但随着 Web 服务规模的不断扩大，HTTP/1.x 越发显得捉襟见肘，我们急需另一套更好的协议来构建我们的服务,于是就有了 HTTP/2。&/p&&p&HTTP/2 是一个二进制协议，这也就意味着它的可读性几乎为 0，但幸运的是，我们还是有很多工具，譬如 Wireshark， 能够将其解析出来。&/p&&p&在了解 HTTP/2 之前，需要知道一些通用术语：&/p&&ul&&li&Stream： 一个双向流，一条连接可以有多个 streams。&/li&&li&Message： 也就是逻辑上面的 request，response。&/li&&li&Frame:：数据传输的最小单位。每个 Frame 都属于一个特定的 stream 或者整个连接。一个 message 可能有多个 frame 组成。&/li&&/ul&&h2&&b&Frame Format&/b&&/h2&&p&Frame 是 HTTP/2 里面最小的数据传输单位，一个 Frame 定义如下（&a href=&https://link.zhihu.com/?target=http%3A//httpwg.org/specs/rfc7540.html%23rfc.section.4.1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&直接从官网 copy 的&/a&）：&/p&&p&+-----------------------------------------------+&br&|
Length (24)
|&br&+---------------+---------------+---------------+&br&|
|&br&+-+-------------+---------------+-------------------------------+&br&|R|
Stream Identifier (31)
|&br&+=+=============================================================+&br&|
Frame Payload (0...)
...&br&+---------------------------------------------------------------+&/p&&p&Length：也就是 Frame 的长度，默认最大长度是 16KB，如果要发送更大的 Frame，需要显示的设置 max frame size。 Type：Frame 的类型，譬如有 DATA，HEADERS，PRIORITY 等。 Flag 和 R：保留位，可以先不管。 Stream Identifier：标识所属的 stream，如果为 0，则表示这个 frame 属于整条连接。 Frame Payload：根据不同 Type 有不同的格式。&/p&&p&可以看到，Frame 的格式定义还是非常的简单，按照官方协议，赞成可以非常方便的写一个出来。&/p&&h2&&b&Multiplexing&/b&&/h2&&p&HTTP/2 通过 stream 支持了连接的多路复用，提高了连接的利用率。Stream 有很多重要特性：&/p&&ul&&li&一条连接可以包含多个 streams，多个 streams 发送的数据互相不影响。&/li&&li&Stream 可以被 client 和 server 单方面或者共享使用。&/li&&li&Stream 可以被任意一段关闭。&/li&&li&Stream 会确定好发送 frame 的顺序，另一端会按照接受到的顺序来处理。&/li&&li&Stream 用一个唯一 ID 来标识。&/li&&/ul&&p&这里在说一下 Stream ID，如果是 client 创建的 stream，ID 就是奇数，如果是 server 创建的，ID 就是偶数。ID 0x00 和 0x01 都有特定的使用场景，不会用到。&/p&&p&Stream ID 不可能被重复使用，如果一条连接上面 ID 分配完了，client 会新建一条连接。而 server 则会给 client 发送一个 GOAWAY frame 强制让 client 新建一条连接。&/p&&p&为了更大的提高一条连接上面的 stream 并发，可以考虑调大 SETTINGS_MAX_CONCURRENT_STREAMS，在 TiKV 里面，我们就遇到过这个值比较小，整体吞吐上不去的问题。&/p&&p&这里还需要注意，虽然一条连接上面能够处理更多的请求了，但一条连接远远是不够的。一条连接通常只有一个线程来处理，所以并不能充分利用服务器多核的优势。同时，每个请求编解码还是有开销的，所以用一条连接还是会出现瓶颈。&/p&&p&在 TiKV 有一个版本中，我们就过分相信一条连接跑多 streams 这种方式没有问题，就让 client 只用一条连接跟 TiKV 交互，结果发现性能完全没法用，不光处理连接的线程 CPU 跑满，整体的性能也上不去，后来我们换成了多条连接，情况才好转。&/p&&h2&&b&Priority&/b&&/h2&&p&因为一条连接允许多个 streams 在上面发送 frame，那么在一些场景下面，我们还是希望 stream 有优先级，方便对端为不同的请求分配不同的资源。譬如对于一个 Web 站点来说，优先加载重要的资源，而对于一些不那么重要的图片啥的，则使用低的优先级。&/p&&p&我们还可以设置 Stream Dependencies，形成一棵 streams priority tree。假设 Stream A 是 parent，Stream B 和 C 都是它的孩子，B 的 weight 是 4，C 的 weight 是 12，假设现在 A 能分配到所有的资源，那么后面 B 能分配到的资源只有 C 的 1/3。&/p&&h2&&b&Flow Control&/b&&/h2&&p&HTTP/2 也支持流控，如果 sender 端发送数据太快，receiver 端可能因为太忙，或者压力太大，或者只想给特定的 stream 分配资源，receiver 端就可能不想处理这些数据。譬如，如果 client 给 server 请求了一个视屏，但这时候用户暂停观看了，client 就可能告诉 server 别在发送数据了。&/p&&p&虽然 TCP 也有 flow control，但它仅仅只对一个连接有效果。HTTP/2 在一条连接上面会有多个 streams，有时候，我们仅仅只想对一些 stream 进行控制，所以 HTTP/2 单独提供了流控机制。Flow control 有如下特性：&/p&&ul&&li&Flow control 是单向的。Receiver 可以选择给 stream 或者整个连接设置 window size。&/li&&li&Flow control 是基于信任的。Receiver 只是会给 sender 建议它的初始连接和 stream 的 flow control window size。&/li&&li&Flow control 不可能被禁止掉。当 HTTP/2 连接建立起来之后，client 和 server 会交换 SETTINGS frames，用来设置 flow control window size。&/li&&li&Flow control 是 hop-by-hop，并不是 end-to-end 的，也就是我们可以用一个中间人来进行 flow control。&/li&&/ul&&p&这里需要注意，HTTP/2 默认的 window size 是 64 KB，实际这个值太小了，在 TiKV 里面我们直接设置成 1 GB。&/p&&h2&&b&HPACK&/b&&/h2&&p&在一个 HTTP 请求里面，我们通常在 header 上面携带很多改请求的元信息，用来描述要传输的资源以及它的相关属性。在 HTTP/1.x 时代，我们采用纯文本协议，并且使用 \r\n 来分隔，如果我们要传输的元数据很多，就会导致 header 非常的庞大。另外，多数时候，在一条连接上面的多数请求，其实 header 差不了多少，譬如我们第一个请求可能 GET /a.txt，后面紧接着是 GET /b.txt，两个请求唯一的区别就是 URL path 不一样，但我们仍然要将其他所有的 fields 完全发一遍。&/p&&p&HTTP/2 为了解决这个问题，使用了 HPACK。虽然 HPACK 的 &a href=&https://link.zhihu.com/?target=http%3A//httpwg.org/specs/rfc7541.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&RFC 文档&/a& 看起来比较恐怖，但其实原理非常的简单易懂。&/p&&p&HPACK 提供了一个静态和动态的 table，静态 table 定义了通用的 HTTP header fields，譬如 method，path 等。发送请求的时候，只要指定 field 在静态 table 里面的索引，双方就知道要发送的 field 是什么了。&/p&&p&对于动态 table，初始化为空，如果两边交互之后，发现有新的 field，就添加到动态 table 上面，这样后面的请求就可以跟静态 table 一样，只需要带上相关的 index 就可以了。&/p&&p&同时，为了减少数据传输的大小，使用 Huffman 进行编码。这里就不再详细说明 HPACK 和 Huffman 如何编码了。&/p&&h2&&b&小结&/b&&/h2&&p&上面只是大概列举了一些 HTTP/2 的特性，还有一些，譬如 push，以及不同的 frame 定义等都没有提及，大家感兴趣，可以自行参考 HTTP/2 &a href=&https://zhuanlan.zhihu.com/p//httpwg.org/specs/rfc7540.html& class=&internal&&RFC 文档&/a&。&/p&&h2&&b&Hello gRPC&/b&&/h2&&p&gRPC 是 Google 基于 HTTP/2 以及 protobuf 的，要了解 gRPC 协议，只需要知道 gRPC 是如何在 HTTP/2 上面传输就可以了。&/p&&p&gRPC 通常有四种模式，unary，client streaming，server streaming 以及 bidirectional streaming，对于底层 HTTP/2 来说，它们都是 stream，并且仍然是一套 request + response 模型。&/p&&h2&&b&Request&/b&&/h2&&p&gRPC 的 request 通常包含 Request-Headers, 0 或者多个 Length-Prefixed-Message 以及 EOS。&/p&&p&Request-Headers 直接使用的 HTTP/2 headers，在 HEADERS 和 CONTINUATION frame 里面派发。定义的 header 主要有 Call-Definition 以及 Custom-Metadata。Call-Definition 里面包括 Method（其实就是用的 HTTP/2 的 POST），Content-Type 等。而 Custom-Metadata 则是应用层自定义的任意 key-value，key 不建议使用 grpc- 开头，因为这是为 gRPC 后续自己保留的。&/p&&p&Length-Prefixed-Message 主要在 DATA frame 里面派发，它有一个 Compressed flag 用来表示改 message 是否压缩，如果为 1，表示该 message 采用了压缩，而压缩算啊定义在 header 里面的 Message-Encoding 里面。然后后面跟着四字节的 message length 以及实际的 message。&/p&&p&EOS（end-of-stream） 会在最后的 DATA frame 里面带上了 END_STREAM 这个 flag。用来表示 stream 不会在发送任何数据，可以关闭了。&/p&&h2&&b&Response&/b&&/h2&&p&Response 主要包含 Response-Headers，0 或者多个 Length-Prefixed-Message 以及 Trailers。如果遇到了错误，也可以直接返回 Trailers-Only。&/p&&p&Response-Headers 主要包括 HTTP-Status，Content-Type 以及 Custom-Metadata 等。Trailers-Only 也有 HTTP-Status ，Content-Type 和 Trailers。Trailers 包括了 Status 以及 0 或者多个 Custom-Metadata。&/p&&p&HTTP-Status 就是我们通常的 HTTP 200，301，400 这些，很通用就不再解释。Status 也就是 gRPC 的 status， 而 Status-Message 则是 gRPC 的 message。Status-Message 采用了 Percent-Encoded 的编码方式，具体参考&a href=&https://link.zhihu.com/?target=https%3A//tools.ietf.org/html/rfc3986%23section-2.1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&这里&/a&。&/p&&p&如果在最后收到的 HEADERS frame 里面，带上了 Trailers，并且有 END_STREAM 这个 flag，那么就意味着 response 的 EOS。&/p&&h2&&b&Protobuf&/b&&/h2&&p&gRPC 的 service 接口是基于 protobuf 定义的，我们可以非常方便的将 service 与 HTTP/2 关联起来。&/p&&ul&&li&Path : /Service-Name/{method name}&/li&&li&Service-Name : ?( {proto package name} &.& ) {service name}&/li&&li&Message-Type : {fully qualified proto message name}&/li&&li&Content-Type : &application/grpc+proto&&/li&&/ul&&h2&&b&后记&/b&&/h2&&p&上面只是对 gRPC 协议的简单理解，可以看到，gRPC 的基石就是 HTTP/2，然后在上面使用 protobuf 协议定义好 service RPC。虽然看起来很简单，但如果一门语言没有 HTTP/2，protobuf 等支持，要支持 gRPC 就是一件非常困难的事情了。&/p&&p&悲催的是，Rust 刚好没有 HTTP/2 支持，也仅仅有一个可用的 protobuf 实现。为了支持 gRPC，我们 team 付出了很大的努力，也走了很多弯路，从最初使用纯 Rust 的 rust-grpc 项目，到后来自己基于 c-grpc 封装了 grpc-rs，还是有很多可以说的，后面在慢慢道来。如果你对 gRPC 和 rust 都很感兴趣，欢迎参与开发。&/p&&p&gRPC-rs: &a href=&https://link.zhihu.com/?target=https%3A//github.com/pingcap/grpc-rs& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&github.com/pingcap/grpc&/span&&span class=&invisible&&-rs&/span&&span class=&ellipsis&&&/span&&/a&&/p&&p&作者：唐刘&/p&
RC3 版本对于 TiKV 来说最重要的功能就是支持了 gRPC，也就意味着后面大家可以非常方便的使用自己喜欢的语言对接 TiKV 了。gRPC 是基于 HTTP/2 协议的，要深刻理解 gRPC，理解下 HTTP/2 是必要的，这里先简单介绍一下 HTTP/2 相关的知识，然后在介绍下 gRPC…
&figure&&img src=&https://pic1.zhimg.com/v2-6728bcad5d5d4fceccd1a721f6a5c4a8_b.jpg& data-rawwidth=&900& data-rawheight=&500& class=&origin_image zh-lightbox-thumb& width=&900& data-original=&https://pic1.zhimg.com/v2-6728bcad5d5d4fceccd1a721f6a5c4a8_r.jpg&&&/figure&&blockquote&&b&「论文访谈间」&/b&是由 PaperWeekly 和中国中文信息学会青工委联合发起的论文报道栏目，旨在让国内优质论文得到更多关注和认可。 &/blockquote&
&p&&b&论文作者 | 牛艺霖，谢若冰，刘知远，孙茂松（清华大学）&/b&&br&&/p&
&p&&b&特约记者 | 张琨（中国科学技术大学）&/b&&/p&&p&词向量是将词映射到低维空间进行表示的一种方法，它可以降低输入信息的稀疏性，同时赋予表示向量一定的词义。作为 NLP 领域的一项基本任务，词向量扮演着十分重要的角色，它为机器翻译，自动问答，对话系统等提供了一个较为准确的单词表达形式。但是词的意思是多种多样的，在不同的情境下会有不同的意义，如何能够更准确地表示出词的意义，对 NLP 领域中的其他任务来说具有重要的意义。来自清华大学的牛艺霖，谢若冰，刘知远老师和孙茂松老师发表在 ACL2017 上的论文“Improved Word Representation Learning with Sememes”首次将义原信息考虑到词向量的学习任务中，在很大程度上提升了词向量的表示能力。&/p&
&p&义原信息（sememe）是词意的最小语义单位，一个词的意思可以认为是多个义原信息的组合。在 HowNet 中，可以具象化出这种 word-sense-sememe 的结构，如下图所示：&/p&
&figure&&img src=&https://pic2.zhimg.com/v2-94aec9ea0c7940beca993fb8e7024c1b_b.jpg& data-rawwidth=&1392& data-rawheight=&888& class=&origin_image zh-lightbox-thumb& width=&1392& data-original=&https://pic2.zhimg.com/v2-94aec9ea0c7940beca993fb8e7024c1b_r.jpg&&&/figure&&p&其中苹果是我们的目标单词，sense1、sense2 是苹果的两个不同意思，而 sememe 分别解释了两个 sense 的具体含义。&/p&
&p&从这个例子我们可以看出，一个词的意思和他的义原之间的关系是比较复杂的，可能只有一种描述，也可能是多种的一个组合，那么如何利用这些信息去表示词的意思，如何模拟词义和义原之间的关系就成为本文工作的最主要的一个挑战。&/p&
&p&本文是在经典的 skip-gram 模型的基础上提出来的改进模型，相对于 skip-gram 模型只考虑了上下文信息，本文提出的模型同时考虑词的义原信息以及义原信息与词义之间的关系，为此，本文提出了三种融合方法。&/p&
&p&1. 简单地使用义原向量的平均值来表示一个词向量，就如上图，将样式值，能，携带，特定牌子等的向量表示求平均，作为电脑这个意思的平均表示。&/p&
&p&2. 根据中心词来对一个上下文单词做消歧，使用 attention 的方法来计算这个单词的各个 sense（意思）的权重，使用 sense embedding 的加权平均值来表示词向量。&/p&
&figure&&img src=&https://pic1.zhimg.com/v2-f747cc1bbfc9_b.jpg& data-rawwidth=&1756& data-rawheight=&874& class=&origin_image zh-lightbox-thumb& width=&1756& data-original=&https://pic1.zhimg.com/v2-f747cc1bbfc9_r.jpg&&&/figure&&p&将注意力机制引入到模型中，从而可以辅助训练过程中的消歧。也就是说如果一个上下文词的某个义原跟中心词的意思更加相近，那么他就获得更多的关注，从而在生成上下文词的向量表示时，这个义原的权重就会越大，而最终生成的上下文词向量也就具有更好的表达能力。所以这个模型也称之为上下文模型（context model）。&/p&
&p&3. 和上个方法类似，只不过是这次是使用上下文单词预测中心词的含义。&/p&&figure&&img src=&https://pic1.zhimg.com/v2-4f15f3a660af3b5dc8fa76e_b.jpg& data-rawwidth=&1804& data-rawheight=&1052& class=&origin_image zh-lightbox-thumb& width=&1804& data-original=&https://pic1.zhimg.com/v2-4f15f3a660af3b5dc8fa76e_r.jpg&&&/figure&&p&同样的，一个词的意思跟它所处的上下文环境息息相关，那么上下文环境也就决定了这个词表示的到底是那种意思，因此这里通过利用上下文信息对中心词的义原信息的关注程度，从而选择出符合情境的义原信息，为中心词表示的生成提供必要的辅助，也就提升了中心词的向量表示能力，因此这个模型也被称之为目标模型（target model）。&br&&/p&&p&在实验设计上，本文通过两个经典的评价词向量质量的任务：词的相似性实验和词的类比实验对模型进行了验证， 同时与当前流行的 CBOW，skip-gram 和 GloVe 模型进行了对比，结果发现本文提出的模型在两个任务上均优于对比方法，这也证实了将义原信息融入到词向量的表示学习中的有效性。&/p&
&p&同时，为了进一步验证模型在词义消歧方面的能力，本文选取了一些实例进行分析：&/p&
&figure&&img src=&https://pic4.zhimg.com/v2-558c1d5b68b01d99c40ab782752dba15_b.jpg& data-rawwidth=&1742& data-rawheight=&660& class=&origin_image zh-lightbox-thumb& width=&1742& data-original=&https://pic4.zhimg.com/v2-558c1d5b68b01d99c40ab782752dba15_r.jpg&&&/figure&&p&从例子中可以看出在不同的情境下，模型均能根据实际意思选取出合适的意义，这也证实了本文提出的模型可以在不同的情境中很好的获取词的意思。&/p&
&p&&b&作者有话说：&/b&&/p&
&p&第一次写文章，作者感觉跟高考差不多，首先，都需要做大量的前期准备，只有充分的准备，才能对自己研究的内容有比较深刻的了解，才能清楚明白的阐释出自己的想法；其次，deadline（考前）一两天整个人都会陷入一种焦躁的状态，觉得自己写的都是什么东西，但又不得不继续准备；再次，交稿后（高考后）会突然觉得世界都清静 了，只想安静的休息会；最后，也就是揭榜时，这个心情想必大家都有体会。 &/p&
&p&更深的体会就是：写文章，做科研是一个探索的过程，不断地去实验，去分析，去探索，终会发现十分有意思的东西。&/p&
&p&欢迎点击查看论文：&br&&/p&
&a href=&https://link.zhihu.com/?target=http%3A//www.thunlp.org/%7Elzy/publications/acl2017_sememe.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Improved Word Representation Learning with Sememes&/a&
&p&&b&关于中国中文信息学会青工委&/b&&/p&
&p&中国中文信息学会青年工作委员会是中国中文信息学会的下属学术组织，专门面向全国中文信息处理领域的青年学者和学生开展工作。&/p&&figure&&img src=&https://pic3.zhimg.com/v2-baf8aac0ff9c10398aa41ec_b.jpg& data-rawwidth=&600& data-rawheight=&275& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&https://pic3.zhimg.com/v2-baf8aac0ff9c10398aa41ec_r.jpg&&&/figure&&p&&b&关于PaperWeekly&/b&&/p&
&p&PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击&b&「交流群」&/b&，小助手将把你带入 PaperWeekly 的交流群里。&/p&&p&&b&微信公众号：&/b&PaperWeekly&/p&&p&&b&新浪微博：&/b&@PaperWeekly&/p&
「论文访谈间」是由 PaperWeekly 和中国中文信息学会青工委联合发起的论文报道栏目，旨在让国内优质论文得到更多关注和认可。
论文作者 | 牛艺霖，谢若冰，刘知远，孙茂松（清华大学）
特约记者 | 张琨（中国科学技术大学）词向量是将词映射到低维空间进…
&figure&&img src=&https://pic3.zhimg.com/v2-da6e908fbff06e8e14c60d86d776d225_b.jpg& data-rawwidth=&768& data-rawheight=&576& class=&origin_image zh-lightbox-thumb& width=&768& data-original=&https://pic3.zhimg.com/v2-da6e908fbff06e8e14c60d86d776d225_r.jpg&&&/figure&&p&&/p&&figure&&img src=&https://pic1.zhimg.com/v2-abd42bbb61ee_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&558& data-rawheight=&315& class=&origin_image zh-lightbox-thumb& width=&558& data-original=&https://pic1.zhimg.com/v2-abd42bbb61ee_r.jpg&&&/figure&&p&作为一名久经片场的老司机，早就想写一些探讨驾驶技术的文章。这篇就介绍利用生成式对抗网络（GAN）的两个基本驾驶技能：&br&&/p&&p&1) 去除(爱情)动作片中的马赛克&/p&&p&2) 给(爱情)动作片中的女孩穿(tuo)衣服&/p&&p&&br&&/p&&h2&生成式模型&/h2&&p&上一篇《&a href=&https://zhuanlan.zhihu.com/p/& class=&internal&&用GAN生成二维样本的小例子&/a&》中已经简单介绍了GAN，这篇再简要回顾一下生成式模型，算是补全一个来龙去脉。&/p&&p&生成模型就是能够产生指定分布数据的模型，常见的生成式模型一般都会有一个用于产生样本的简单分布。例如一个均匀分布，根据要生成分布的概率密度函数，进行建模，让均匀分布中的样本经过变换得到指定分布的样本，这就可以算是最简单的生成式模型。比如下面例子：&/p&&figure&&img src=&https://pic1.zhimg.com/v2-d11b5fb26d3cc8e942f841bafe010cd8_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&1021& data-rawheight=&443& class=&origin_image zh-lightbox-thumb& width=&1021& data-original=&https://pic1.zhimg.com/v2-d11b5fb26d3cc8e942f841bafe010cd8_r.jpg&&&/figure&&p&图中左边是一个自定义的概率密度函数，右边是相应的1w个样本的直方图，自定义分布和生成这些样本的代码如下：&br&&/p&&div class=&highlight&&&pre&&code class=&language-python&&&span&&/span&&span class=&kn&&from&/span& &span class=&nn&&functools&/span& &span class=&kn&&import&/span& &span class=&n&&partial&/span&
&span class=&kn&&import&/span& &span class=&nn&&numpy&/span&
&span class=&kn&&from&/span& &span class=&nn&&matplotlib&/span& &span class=&kn&&import&/span& &span class=&n&&pyplot&/span&
&span class=&c1&&# Define a PDF&/span&
&span class=&n&&x_samples&/span& &span class=&o&&=&/span& &span class=&n&&numpy&/span&&span class=&o&&.&/span&&span class=&n&&arange&/span&&span class=&p&&(&/span&&span class=&o&&-&/span&&span class=&mi&&3&/span&&span class=&p&&,&/span& &span class=&mf&&3.01&/span&&span class=&p&&,&/span& &span class=&mf&&0.01&/span&&span class=&p&&)&/span&
&span class=&n&&PDF&/span& &span class=&o&&=&/span& &span class=&n&&numpy&/span&&span class=&o&&.&/span&&span class=&n&&empty&/span&&span class=&p&&(&/span&&span class=&n&&x_samples&/span&&span class=&o&&.&/span&&span class=&n&&shape&/span&&span class=&p&&)&/span&
&span class=&n&&PDF&/span&&span class=&p&&[&/span&&span class=&n&&x_samples&/span& &span class=&o&&&&/span& &span class=&mi&&0&/span&&span class=&p&&]&/span& &span class=&o&&=&/span& &span class=&n&&numpy&/span&&span class=&o&&.&/span&&span class=&n&&round&/span&&span class=&p&&(&/span&&span class=&n&&x_samples&/span&&span class=&p&&[&/span&&span class=&n&&x_samples&/span& &span class=&o&&&&/span& &span class=&mi&&0&/span&&span class=&p&&]&/span& &span class=&o&&+&/span& &span class=&mf&&3.5&/span&&span class=&p&&)&/span& &span class=&o&&/&/span& &span class=&mi&&3&/span&
&span class=&n&&PDF&/span&&span class=&p&&[&/span&&span class=&n&&x_samples&/span& &span class=&o&&&=&/span& &span class=&mi&&0&/span&&span class=&p&&]&/span& &span class=&o&&=&/span& &span class=&mf&&0.5&/span& &span class=&o&&*&/span& &span class=&n&&numpy&/span&&span class=&o&&.&/span&&span class=&n&&cos&/span&&span class=&p&&(&/span&&span class=&n&&numpy&/span&&span class=&o&&.&/span&&span class=&n&&pi&/span& &span class=&o&&*&/span& &span class=&n&&x_samples&/span&&span class=&p&&[&/span&&span class=&n&&x_samples&/span& &span class=&o&&&=&/span& &span class=&mi&&0&/span&&span class=&p&&])&/span& &span class=&o&&+&/span& &span class=&mf&&0.5&/span&
&span class=&n&&PDF&/span& &span class=&o&&/=&/span& &span class=&n&&numpy&/span&&span class=&o&&.&/span&&span class=&n&&sum&/span&&span class=&p&&(&/span&&span class=&n&&PDF&/span&&span class=&p&&)&/span&
&span class=&c1&&# Calculate approximated CDF&/span&
&span class=&n&&CDF&/span& &span class=&o&&=&/span& &span class=&n&&numpy&/span&&span class=&o&&.&/span&&span class=&n&&empty&/span&&span class=&p&&(&/span&&span class=&n&&PDF&/span&&span class=&o&&.&/span&&span class=&n&&shape&/span&&span class=&p&&)&/span&
&span class=&n&&cumulated&/span& &span class=&o&&=&/span& &span class=&mi&&0&/span&
&span class=&k&&for&/span& &span class=&n&&i&/span& &span class=&ow&&in&/span& &span class=&nb&&range&/span&&span class=&p&&(&/span&&span class=&n&&CDF&/span&&span class=&o&&.&/span&&span class=&n&&shape&/span&&span class=&p&&[&/span&&span class=&mi&&0&/span&&span class=&p&&]):&/span&
&span class=&n&&cumulated&/span& &span class=&o&&+=&/span& &span class=&n&&PDF&/span&&span class=&p&&[&/span&&span class=&n&&i&/span&&span class=&p&&]&/span&
&span class=&n&&CDF&/span&&span class=&p&&[&/span&&span class=&n&&i&/span&&span class=&p&&]&/span& &span class=&o&&=&/span& &span class=&n&&cumulated&/span&
&span class=&c1&&# Generate samples&/span&
&span class=&n&&generate&/span& &span class=&o&&=&/span& &span class=&n&&partial&/span&&span class=&p&&(&/span&&span class=&n&&numpy&/span&&span class=&o&&.&/span&&span class=&n&&interp&/span&&span class=&p&&,&/span& &span class=&n&&xp&/span&&span class=&o&&=&/span&&span class=&n&&CDF&/span&&span class=&p&&,&/span& &span class=&n&&fp&/span&&span class=&o&&=&/span&&span class=&n&&x_samples&/span&&span class=&p&&)&/span&
&span class=&n&&u_rv&/span& &span class=&o&&=&/span& &span class=&n&&numpy&/span&&span class=&o&&.&/span&&span class=&n&&random&/span&&span class=&o&&.&/span&&span class=&n&&random&/span&&span class=&p&&(&/span&&span class=&mi&&10000&/span&&span class=&p&&)&/span&
&span class=&n&&x&/span& &span class=&o&&=&/span& &span class=&n&&generate&/span&&span class=&p&&(&/span&&span class=&n&&u_rv&/span&&span class=&p&&)&/span&
&span class=&c1&&# Visualization&/span&
&span class=&n&&fig&/span&&span class=&p&&,&/span& &span class=&p&&(&/span&&span class=&n&&ax0&/span&&span class=&p&&,&/span& &span class=&n&&ax1&/span&&span class=&p&&)&/span& &span class=&o&&=&/span& &span class=&n&&pyplot&/span&&span class=&o&&.&/span&&span class=&n&&subplots&/span&&span class=&p&&(&/span&&span class=&n&&ncols&/span&&span class=&o&&=&/span&&span class=&mi&&2&/span&&span class=&p&&,&/span& &span class=&n&&figsize&/span&&span class=&o&&=&/span&&span class=&p&&(&/span&&span class=&mi&&9&/span&&span class=&p&&,&/span& &span class=&mi&&4&/span&&span class=&p&&))&/span&
&span class=&n&&ax0&/span&&span class=&o&&.&/span&&span class=&n&&plot&/span&&span class=&p&&(&/span&&span class=&n&&x_samples&/span&&span class=&p&&,&/span& &span class=&n&&PDF&/span&&span class=&p&&)&/span&
&span class=&n&&ax0&/span&&span class=&o&&.&/span&&span class=&n&&axis&/span&&span class=&p&&([&/span&&span class=&o&&-&/span&&span class=&mf&&3.5&/span&&span class=&p&&,&/span& &span class=&mf&&3.5&/span&&span class=&p&&,&/span& &span class=&mi&&0&/span&&span class=&p&&,&/span& &span class=&n&&numpy&/span&&span class=&o&&.&/span&&span class=&n&&max&/span&&span class=&p&&(&/span&&span class=&n&&PDF&/span&&span class=&p&&)&/span&&span class=&o&&*&/span&&span class=&mf&&1.1&/span&&span class=&p&&])&/span&
&span class=&n&&ax1&/span&&span class=&o&&.&/span&&span class=&n&&hist&/span&&span class=&p&&(&/span&&span class=&n&&x&/span&&span class=&p&&,&/span& &span class=&mi&&100&/span&&span class=&p&&)&/span&
&span class=&n&&pyplot&/span&&span class=&o&&.&/span&&span class=&n&&show&/span&&span class=&p&&()&/span&
&/code&&/pre&&/div&&p&对于一些简单的情况，我们会假设已知有模型可以很好的对分布进行建模，缺少的只是合适的参数。这时候很自然只要根据观测到的样本，学习参数让当前观测到的样本下的似然函数最大，这就是最大似然估计(&b&M&/b&aximum &b&L&/b&ikelihood &b&E&/b&stimation)：&br&&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%5Chat%7B%5Ctheta%7D%3D%5Coperatorname%2A%7Bargmax%7D_%7B%5Ctheta%7D+P%28%5Cbm%7Bx%7D%7C%5Ctheta%29+%3D+%5Coperatorname%2A%7Bargmax%7D_%7B%5Ctheta%7D+%5Cprod_%7Bi%3D1%7D%5E%7Bn%7DP%28x_i%7C%5Ctheta%29+& alt=&\hat{\theta}=\operatorname*{argmax}_{\theta} P(\bm{x}|\theta) = \operatorname*{argmax}_{\theta} \prod_{i=1}^{n}P(x_i|\theta) & eeimg=&1&&&/p&&p&MLE是一个最基本的思路，实践中用得很多的还有KL散度(Kullback–Leibler divergence)，假设真实分布是P，采样分布是Q，则KL散度为：&/p&&p&&img src=&https://www.zhihu.com/equation?tex=D_%7BKL%7D%28P%7C%7CQ%29%3D%5Csum_%7Bx+%5Cin+%5COmega%7DP%28%7Bx%7D%29%5Clog%5Cfrac%7BP%28x%29%7D%7BQ%28x%29%7D+& alt=&D_{KL}(P||Q)=\sum_{x \in \Omega}P({x})\log\frac{P(x)}{Q(x)} & eeimg=&1&&&/p&&p&从公式也能看出来，KL散度描述的是两个分布的差异程度。换个角度来看，让产生的样本和原始分布接近，也就是要让这俩的差异减小，所以最小化KL散度就等同于MLE。从公式上来看的话，我们考虑把公式具体展开一下：&/p&&p&&br&&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%5Cbegin%7Balign%7D+D_%7BKL%7D%28P%7C%7CQ%29+%26%3D%5Csum_%7Bx+%5Cin+%5COmega%7DP%28%7Bx%7D%29%5Clog%5Cfrac%7BP%28x%29%7D%7BQ%28x%29%7D+%5C%5C+%26+%3D-%5Csum_%7Bx%5Cin%5COmega%7DP%28%7Bx%7D%29%5Clog%7BQ%28x%29%7D+%2B%5Csum_%7Bx%5Cin%5COmega%7DP%28%7Bx%7D%29%5Clog%7BP%28x%29%7D+%5C%5C+%26+%3D-%5Csum_%7Bx%5Cin%5COmega%7DP%28%7Bx%7D%29%5Clog%7BQ%28x%29%7D+%2BH%28P%29+%5Cend%7Balign%7D& alt=&\begin{align} D_{KL}(P||Q) &=\sum_{x \in \Omega}P({x})\log\frac{P(x)}{Q(x)} \\ & =-\sum_{x\in\Omega}P({x})\log{Q(x)} +\sum_{x\in\Omega}P({x})\log{P(x)} \\ & =-\sum_{x\in\Omega}P({x})\log{Q(x)} +H(P) \end{align}& eeimg=&1&&&/p&&p&公式的第二项就是熵，先不管这项，用H(P)表示。接下来考虑一个小trick：从Q中抽样n个样本&img src=&https://www.zhihu.com/equation?tex=%7Bx_1%2Cx_2%2C...%2Cx_n%7D& alt=&{x_1,x_2,...,x_n}& eeimg=&1&&，来估算P(x)的经验值(empirical density function)：&br&&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%5Chat%7BP%7D%28x%29%3D%5Cfrac+1+n+%5Csum_%7Bi%3D1%7D%5En+%5Cdelta%28x_i-x%29& alt=&\hat{P}(x)=\frac 1 n \sum_{i=1}^n \delta(x_i-x)& eeimg=&1&&&/p&&p&其中&img src=&https://www.zhihu.com/equation?tex=%5Cdelta%28%5Ccdot%29& alt=&\delta(\cdot)& eeimg=&1&&是狄拉克&img src=&https://www.zhihu.com/equation?tex=%5Cdelta& alt=&\delta& eeimg=&1&&函数，把这项替换到上面公式的P(x)：&/p&&p&&br&&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%5Cbegin%7Balign%7D+D_%7BKL%7D%28P%7C%7CQ%29+%26%3D-%5Csum_%7Bx%5Cin%5COmega%7D%5Cfrac+1+n+%5Csum_%7Bi%3D1%7D%5En+%5Cdelta%28x_i-x%29%5Clog%7BQ%28x%29%7D+%2BH%28P%29+%5C%5C+%26+%3D-%5Cfrac+1+n+%5Csum_%7Bi%3D1%7D%5En+%5Csum_%7Bx%5Cin%5COmega%7D+%5Cdelta%28x_i-x%29%5Clog%7BQ%28x%29%7D+%2BH%28P%29+%5Cend%7Balign%7D& alt=&\begin{align} D_{KL}(P||Q) &=-\sum_{x\in\Omega}\frac 1 n \sum_{i=1}^n \delta(x_i-x)\log{Q(x)} +H(P) \\ & =-\frac 1 n \sum_{i=1}^n \sum_{x\in\Omega} \delta(x_i-x)\log{Q(x)} +H(P) \end{align}& eeimg=&1&&&/p&&p&因为是离散的采样值，所以&img src=&https://www.zhihu.com/equation?tex=%5Csum_%7Bx%5Cin%5COmega%7D+%5Cdelta%28x_i-x%29& alt=&\sum_{x\in\Omega} \delta(x_i-x)& eeimg=&1&&中只有&img src=&https://www.zhihu.com/equation?tex=x%3Dx_i& alt=&x=x_i& eeimg=&1&&的时候狄拉克&img src=&https://www.zhihu.com/equation?tex=%5Cdelta& alt=&\delta& eeimg=&1&&函数才为1，所以考虑&img src=&https://www.zhihu.com/equation?tex=x%3Dx_i& alt=&x=x_i& eeimg=&1&&时这项直接化为1：&/p&&p&&br&&/p&&p&&img src=&https://www.zhihu.com/equation?tex=D_%7BKL%7D%28P%7C%7CQ%29+%3D-%5Cfrac+1+n%5Csum_%7Bi%3D1%7D%5En+%5Clog%7BQ%28x_i%29%7D+%2BH%28P%29& alt=&D_{KL}(P||Q) =-\frac 1 n\sum_{i=1}^n \log{Q(x_i)} +H(P)& eeimg=&1&&&/p&&p&第一项正是似然的负对数形式。&/p&&p&说了些公式似乎跑得有点远了，其实要表达还是那个简单的意思：通过减小两个分布的差异可以让一个分布逼近另一个分布。仔细想想，这正是GAN里面adversarial loss的做法。&/p&&p&很多情况下我们面临的是更为复杂的分布，比如&a href=&https://zhuanlan.zhihu.com/p/& class=&internal&&上篇文章&/a&中的例子，又或是实际场景中更复杂的情况，比如生成不同人脸的图像。这时候，作为具有universal approximation性质的神经网络是一个看上去不错的选择[1]：&br&&/p&&figure&&img src=&https://pic4.zhimg.com/v2-6fee20494f50baae2c1dc5fc_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&1561& data-rawheight=&549& class=&origin_image zh-lightbox-thumb& width=&1561& data-original=&https://pic4.zhimg.com/v2-6fee20494f50baae2c1dc5fc_r.jpg&&&/figure&&p&所以虽然GAN里面同时包含了生成网络和判别网络，但本质来说GAN的目的还是生成模型。从生成式模型的角度，Ian Goodfellow总结过一个和神经网络相关生成式方法的“家谱”[1]：&/p&&figure&&img src=&https://pic1.zhimg.com/v2-8c6f1d8ee39dfbb4fcfb2_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&771& data-rawheight=&498& class=&origin_image zh-lightbox-thumb& width=&771& data-original=&https://pic1.zhimg.com/v2-8c6f1d8ee39dfbb4fcfb2_r.jpg&&&/figure&&p&在这其中，当下最流行的就是GAN和&b&V&/b&ariational &b&A&/b&uto&b&E&/b&ncoder(VAE)，两种方法的一个简明示意如下[3]：&/p&&figure&&img src=&https://pic1.zhimg.com/v2-380cde71a2f6ece28b4a97_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&568& data-rawheight=&274& class=&origin_image zh-lightbox-thumb& width=&568& data-original=&https://pic1.zhimg.com/v2-380cde71a2f6ece28b4a97_r.jpg&&&/figure&&p&本篇不打算展开讲什么是VAE，不过通过这个图，和名字中的autoencoder也大概能知道，VAE中生成的loss是基于重建误差的。而只基于重建误差的图像生成，都或多或少会有图像模糊的缺点，因为误差通常都是针对全局。比如基于MSE(Mean Squared Error)的方法用来生成超分辨率图像，容易出现下面的情况[4]：&/p&&p&&br&&/p&&p&&br&&/p&&figure&&img src=&https://pic1.zhimg.com/v2-78f53b142fab51b0c09a1_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&892& data-rawheight=&598& class=&origin_image zh-lightbox-thumb& width=&892& data-original=&https://pic1.zhimg.com/v2-78f53b142fab51b0c09a1_r.jpg&&&/figure&&p&在这个二维示意中，真实数据分布在一个U形的流形上，而MSE系的方法因为loss的形式往往会得到一个接近平均值所在的位置（蓝色框）。&/p&&p&GAN在这方面则完爆其他方法，因为目标分布在流形上。所以只要大概收敛了，就算生成的图像都看不出是个啥，清晰度常常是有保证的，而这正是去除女优身上马赛克的理想特性！&/p&&p&&br&&/p&&h2&马赛克-&清晰画面：超分辨率(Super Resolution)问题&/h2&&p&说了好些铺垫，终于要进入正题了。首先明确，去马赛克其实是个图像超分辨率问题，也就是如何在低分辨率图像基础上得到更高分辨率的图像：&/p&&figure&&img src=&https://pic2.zhimg.com/v2-31c84b42ad_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&784& data-rawheight=&324& class=&origin_image zh-lightbox-thumb& width=&784& data-original=&https://pic2.zhimg.com/v2-31c84b42ad_r.jpg&&&/figure&&p&视频中超分辨率实现的一个套路是通过不同帧的低分辨率画面猜测超分辨率的画面，有兴趣了解这个思想的朋友可以参考我之前的一个答案：&a href=&https://www.zhihu.com/question//answer/& class=&internal&&如何通过多帧影像进行超分辨率重构？ &/a& &/p&&p&不过基于多帧影像的方法对于女优身上的马赛克并不是很适用，所以这篇要讲的是基于单帧图像的超分辨率方法。&/p&&h2&SRGAN&/h2&&p&说到基于GAN的超分辨率的方法，就不能不提到SRGAN[4]：《Photo-Realistic Single Image &b&S&/b&uper-&b&R&/b&esolution Using a &b&G&/b&enerative &b&A&/b&dversarial&br&&b&N&/b&etwork》。这个工作的思路是：基于像素的MSE loss往往会得到大体正确，但是高频成分模糊的结果。所以只要重建低频成分的图像内容，然后靠GAN来补全高频的细节内容，就可以了：&/p&&figure&&img src=&https://pic3.zhimg.com/v2-128029dfc7c470b07a4a1_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&446& data-rawheight=&131& class=&origin_image zh-lightbox-thumb& width=&446& data-original=&https://pic3.zhimg.com/v2-128029dfc7c470b07a4a1_r.jpg&&&/figure&&p&这个思路其实和最早基于深度网络的风格迁移的思路很像（有兴趣的读者可以参考我之前文章&a href=&https://zhuanlan.zhihu.com/p/& class=&internal&&瞎谈CNN：通过优化求解输入图像&/a&的最后一部分），其中重建内容的content loss是原始图像和低分辨率图像在VGG网络中的各个ReLU层的激活值的差异：&/p&&p&&br&&/p&&figure&&img src=&https://pic3.zhimg.com/v2-331e02e394cfd04e7114a_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&529& data-rawheight=&150& class=&origin_image zh-lightbox-thumb& width=&529& data-original=&https://pic3.zhimg.com/v2-331e02e394cfd04e7114a_r.jpg&&&/figure&&p&生成细节adversarial loss就是GAN用来判别是原始图还是生成图的loss：&/p&&figure&&img src=&https://pic1.zhimg.com/v2-fa5af2a10fe9a4dadfb04_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&394& data-rawheight=&89& class=&content_image& width=&394&&&/figure&&p&把这两种loss放一起，取个名叫perceptual loss。训练的网络结构如下：&/p&&figure&&img src=&https://pic1.zhimg.com/v2-17861edeb4bcfae4e9f369_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&780& data-rawheight=&400& class=&origin_image zh-lightbox-thumb& width=&780& data-original=&https://pic1.zhimg.com/v2-17861edeb4bcfae4e9f369_r.jpg&&&/figure&&p&正是上篇文章中讲过的C-GAN，条件C就是低分辨率的图片。SRGAN生成的超分辨率图像虽然PSNR等和原图直接比较的传统量化指标并不是最好，但就视觉效果，尤其是细节上，胜过其他方法很多。比如下面是作者对比bicubic插值和基于ResNet特征重建的超分辨率的结果：&/p&&figure&&img src=&https://pic4.zhimg.com/v2-f3b4376938ffcbd23c42d_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&981& data-rawheight=&392& class=&origin_image zh-lightbox-thumb& width=&981& data-original=&https://pic4.zhimg.com/v2-f3b4376938ffcbd23c42d_r.jpg&&&/figure&&p&可以看到虽然很多细节都和原始图片不一样，不过看上去很和谐，并且细节的丰富程度远胜于SRResNet。这些栩栩如生的细节，可以看作是GAN根据学习到的分布信息“联想”出来的。&/p&&p&对于更看重“看上去好看”的超分辨率应用，SRGAN显然是很合适的。当然对于一些更看重重建指标的应用，比如超分辨率恢复嫌疑犯面部细节，SRGAN就不可以了。&/p&&h2&pix2pix&/h2&&p&虽然专门用了一节讲SRGAN，但本文用的方法其实是pix2pix[5]。这项工作刚在arxiv上发布就引起了不小的关注，它巧妙的利用GAN的框架解决了通用的Image-to-Image translation的问题。举例来说，在不改变分辨率的情况下：把照片变成油画风格；把白天的照片变成晚上；用色块对图片进行分割或者倒过来；为黑白照片上色；…每个任务都有专门针对性的方法和相关研究，但其实总体来看，都是像素到像素的一种映射啊，其实可以看作是一个问题。这篇文章的巧妙，就在于提出了pix2pix的方法，一个框架，解决所有这些问题。方法的示意图如下：&/p&&p&&br&&/p&&figure&&img src=&https://pic1.zhimg.com/v2-e2ea753b7b0d7f18abee3_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&485& data-rawheight=&437& class=&origin_image zh-lightbox-thumb& width=&485& data-original=&https://pic1.zhimg.com/v2-e2ea753b7b0d7f18abee3_r.jpg&&&/figure&&p&就是一个Conditional GAN，条件C是输入的图片。除了直接用C-GAN，这项工作还有两个改进：&/p&&p&1）&b&利用U-Net结构生成细节更好的图片&/b&[6]&/p&&figure&&img src=&https://pic4.zhimg.com/v2-beb074bebbfa0db_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&907& data-rawheight=&612& class=&origin_image zh-lightbox-thumb& width=&907& data-original=&https://pic4.zhimg.com/v2-beb074bebbfa0db_r.jpg&&&/figure&&p&U-Net是德国Freiburg大学模式识别和图像处理组提出的一种全卷积结构。和常见的先降采样到低维度，再升采样到原始分辨率的编解码(Encoder-Decoder)结构的网络相比，U-Net的区别是加入skip-connection，对应的feature maps和decode之后的同样大小的feature maps按通道拼(concatenate)一起，用来保留不同分辨率下像素级的细节信息。U-Net对提升细节的效果非常明显，下面是pix2pix文中给出的一个效果对比：&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/v2-2fb4ddb2fdc24eea31eea_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&563& data-rawheight=&307& class=&origin_image zh-lightbox-thumb& width=&563& data-original=&https://pic4.zhimg.com/v2-2fb4ddb2fdc24eea31eea_r.jpg&&&/figure&&p&可以看到，各种不同尺度的信息都得到了很大程度的保留。&/p&&p&2）&b&利用马尔科夫性的判别器(PatchGAN)&br&&/b&&/p&&p&pix2pix和SRGAN的一个异曲同工的地方是都有用重建解决低频成分，用GAN解决高频成分的想法。在pix2pix中，这个思想主要体现在两个地方。一个是loss函数，加入了L1 loss用来让生成的图片和训练的目标图片尽量相似，而图像中高频的细节部分则交由GAN来处理：&/p&&figure&&img src=&https://pic4.zhimg.com/v2-cb180ad03d8a72e7883285b_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&447& data-rawheight=&51& class=&origin_image zh-lightbox-thumb& width=&447& data-original=&https://pic4.zhimg.com/v2-cb180ad03d8a72e7883285b_r.jpg&&&/figure&&p&还有一个就是&b&PatchGAN&/b&，也就是具体的GAN中用来判别是否生成图的方法。PatchGAN的思想是，既然GAN只负责处理低频成分，那么判别器就没必要以一整张图作为输入，只需要对NxN的一个图像patch去进行判别就可以了。这也是为什么叫Markovian discriminator，因为在patch以外的部分认为和本patch互相独立。&/p&&p&具体实现的时候，作者使用的是一个NxN输入的全卷积小网络，最后一层每个像素过sigmoid输出为真的概率，然后用BCEloss计算得到最终loss。这样做的好处是因为输入的维度大大降低，所以参数量少，运算速度也比直接输入一张快，并且可以计算任意大小的图。作者对比了不同大小patch的结果，对于256x256的输入，patch大小在70x70的时候，从视觉上看结果就和直接把整张图片作为判别器输入没什么区别了：&/p&&figure&&img src=&https://pic1.zhimg.com/v2-5172ca51efb4ee3e453b15_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&842& data-rawheight=&107& class=&origin_image zh-lightbox-thumb& width=&842& data-original=&https://pic1.zhimg.com/v2-5172ca51efb4ee3e453b15_r.jpg&&&/figure&&h2&生成带局部马赛克的训练数据&/h2&&p&利用pix2pix，只要准备好无码和相应的有码图片就可以训练去马赛克的模型了，就是这么简单。那么问题是，如何生成有马赛克的图片？&/p&&p&有毅力的话，可以手动加马赛克，这样最为精准。这节介绍一个不那么准，但是比随机强的方法：利用分类模型的激活区域进行自动马赛克标注。&/p&&p&基本思想是利用一个可以识别需要打码图像的分类模型，提取出这个模型中对应类的CAM（&b&C&/b&lass &b&A&/b&ctivation &b&M&/b&ap）[7]，然后用马赛克遮住响应最高的区域即可。这里简单说一下什么是CAM，对于最后一层是全局池化(平均或最大都可以)的CNN结构，池化后的feature map相当于是做了个加权相加来计算最终的每个类别进入softmax之前的激活值。CAM的思路是，把这个权重在池化前的feature map上按像素加权相加，最后得到的单张的激活图就可以携带激活当前类别的一些位置信息，这相当于一种弱监督（classification--&localization）：&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/v2-fd28f0b871bd_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&660& data-rawheight=&314& class=&origin_image zh-lightbox-thumb& width=&660& data-original=&https://pic4.zhimg.com/v2-fd28f0b871bd_r.jpg&&&/figure&&p&上图是一个CAM的示意，用澳洲梗类别的CAM，放大到原图大小，可以看到小狗所在的区域大致是激活响应最高的区域。&/p&&p&那么就缺一个可以识别XXX图片的模型了，网上还恰好就有个现成的，yahoo于2016年发布的开源色情图片识别模型Open NSFW(&b&N&/b&ot &b&S&/b&afe &b&F&/b&or &b&W&/b&ork)：&/p&&p&&a href=&https://link.zhihu.com/?target=https%3A//github.com/yahoo/open_nsfw& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&yahoo/open_nsfw&/a&&/p&&p&CAM的实现并不难，结合Open NSFW自动打码的代码和使用放在了这里：&/p&&p&&a href=&https://link.zhihu.com/?target=https%3A//github.com/frombeijingwithlove/dlcv_for_beginners/tree/master/random_bonus/generate_mosaic_for_porno_images& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&给XX图片生成马赛克&/a&&/p&&p&&br&&/p&&p&(成功打码的)效果差不多是下面这样子：&/p&&figure&&img src=&https://pic4.zhimg.com/v2-cbefa39dc983f2645dd8_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&768& data-rawheight=&256& class=&origin_image zh-lightbox-thumb& width=&768& data-original=&https://pic4.zhimg.com/v2-cbefa39dc983f2645dd8_r.jpg&&&/figure&&h2&去除(爱情)动作片中的马赛克&/h2&&p&这没什么好说的了，一行代码都不用改，只需要按照前面的步骤把数据准备好，然后按照pix2pix官方的使用方法训练就可以了：&/p&&p&Torch版pix2pix：&a href=&https://link.zhihu.com/?target=https%3A//github.com/phillipi/pix2pix& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&phillipi/pix2pix&/a&&/p&&p&pyTorch版pix2pix(Cycle-GAN二合一版)：&a href=&https://link.zhihu.com/?target=https%3A//github.com/junyanz/pytorch-CycleGAN-and-pix2pix& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&junyanz/pytorch-CycleGAN-and-pix2pix&/a&&/p&&p&从D盘里随随便便找了几千张图片，用来执行了一下自动打码和pix2pix训练(默认参数)，效果是下面这样：&/p&&p&&br&&/p&&figure&&img src=&https://pic2.zhimg.com/v2-9f52b17c0e1296767cbfbfafc290a5bd_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&814& data-rawheight=&691& class=&origin_image zh-lightbox-thumb& width=&814& data-original=&https://pic2.zhimg.com/v2-9f52b17c0e1296767cbfbfafc290a5bd_r.jpg&&&/figure&&p&什么？你问说好给女优去马赛克呢？女优照片呢？&/p&&figure&&img src=&https://pic4.zhimg.com/v2-480fb8a4dcfc7a4f92ec_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&75& data-rawheight=&60& class=&content_image& width=&75&&&/figure&&p&还是要说一下，在真人照片上的效果比蘑菇和花强。&/p&&h2&对偶学习（Dual Learning）&/h2&&p&去马赛克已经讲完了，接下来就是给女孩穿(tuo)衣服了，动手之前，还是先讲一下铺垫：&b&对偶学习&/b&和&b&Cycle-GAN&/b&。&/p&&p&对偶学习是MSRA于2016年提出的一种用于机器翻译的增强学习方法[8]，目的是解决海量数据配对标注的难题，个人觉得算是一种弱监督方法（不过看到大多数文献算作无监督）。以机器翻译为例，对偶学习基本思想如下图[9]：&/p&&figure&&img src=&https://pic3.zhimg.com/v2-c4b1eeda364fb6c9bada02f3_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&866& data-rawheight=&399& class=&origin_image zh-lightbox-thumb& width=&866& data-original=&https://pic3.zhimg.com/v2-c4b1eeda364fb6c9bada02f3_r.jpg&&&/figure&&p&左边的灰衣男只懂英语，右边的黑衣女只懂中文，现在的任务就是，要学习如何翻译英语到中文。对偶学习解决这个问题的思路是：给定一个模型&img src=&https://www.zhihu.com/equation?tex=f%3Ax%5Crightarrow+y& alt=&f:x\rightarrow y& eeimg=&1&&一上来无法知道f翻译得是否正确，但是如果考虑上&img src=&https://www.zhihu.com/equation?tex=f& alt=&f& eeimg=&1&&的对偶问题&img src=&https://www.zhihu.com/equation?tex=g%3Ay%5Crightarrow+x& alt=&g:y\rightarrow x& eeimg=&1&&，那么我可以尝试翻译一个英文句子到中文，再翻译回来。这种转了一圈的结果&img src=&https://www.zhihu.com/equation?tex=x%27%3Dg%28f%28x%29%29& alt=&x'=g(f(x))& eeimg=&1&&，灰衣男是可以用一个标准（BLEU）判断x'和x是否一个意思，并且把结果的一致性反馈给这两个模型进行改进。同样的，从中文取个句子，这样循环翻译一遍，两个模型又能从黑衣女那里获取反馈并改进模型。其实这就是强化学习的过程，每次翻译就是一个action，每个action会从环境（灰衣男或黑衣女）中获取reward，对模型进行改进，直至收敛。&/p&&p&也许有的人看到这里会觉得和上世纪提出的Co-training很像，这个在知乎上也有讨论：&/p&&p&&a href=&https://www.zhihu.com/question/& class=&internal&&如何理解刘铁岩老师团队在NIPS 2016上提出的对偶学习（Dual Learning）？&/a&&/p&&p&个人觉得还是不一样的，Co-Training是一种multi-view方法，比如一个输入x，如果看作是两个拼一起的特征&img src=&https://www.zhihu.com/equation?tex=x%3D%28x_1%2Cx_2%29& alt=&x=(x_1,x_2)& eeimg=&1&&，并且假设&img src=&https://www.zhihu.com/equation?tex=x_1& alt=&x_1& eeimg=&1&&和&img src=&https://www.zhihu.com/equation?tex=x_2& alt=&x_2& eeimg=&1&&互相独立，那么这时候训练两个分类器&img src=&https://www.zhihu.com/equation?tex=f_1%28%5Ccdot%29& alt=&f_1(\cdot)& eeimg=&1&&和&img src=&https://www.zhihu.com/equation?tex=f_2%28%5Ccdot%29& alt=&f_2(\cdot)& eeimg=&1&&对于任意样本x应该有&img src=&https://www.zhihu.com/equation?tex=f_1%28x_1%29%3Df_2%28x_2%29& alt=&f_1(x_1)=f_2(x_2)& eeimg=&1&&。这对没有标注的样本是很有用的，相当于利用了同一个样本分类结果就应该一样的隐含约束。所以Co-Training的典型场景是少量标注+大量未标注的半监督场景。并且&img src=&https://www.zhihu.com/equation?tex=f_1& alt=&f_1& eeimg=&1&&和&img src=&https://www.zhihu.com/equation?tex=f_2& alt=&f_2& eeimg=&1&&其实是两个不同，但是domain指向相同的任务。而Dual Learning中&img src=&https://www.zhihu.com/equation?tex=f& alt=&f& eeimg=&1&&和&img src=&https://www.zhihu.com/equation?tex=g& alt=&g& eeimg=&1&&是对偶任务，利用的隐含约束是&img src=&https://www.zhihu.com/equation?tex=x%5Crightarrow+y%5Crightarrow+x& alt=&x\rightarrow y\rightarrow x& eeimg=&1&&的cycle consistency。对输入的特征也没有像Co-Training有那么明确的假设，学习方法上也不一样，Dual Learning算是强化学习。&/p&&h2&CycleGAN和未配对图像翻译(Unpaired Image-to-Image Translation)&/h2&&p&CycleGAN，翻译过来就是：轮着干，是结合了对偶学习和GAN一个很直接而巧妙的想法[10]，示意图如下：&/p&&figure&&img src=&https://pic4.zhimg.com/v2-9e7396ebccb7c42302fc97_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&838& data-rawheight=&216& class=&origin_image zh-lightbox-thumb& width=&838& data-original=&https://pic4.zhimg.com/v2-9e7396ebccb7c42302fc97_r.jpg&&&/figure&&p&X和Y分别是两种不同类型图的集合，比如穿衣服的女优和没穿衣服的女优。所以给定一张穿了衣服的女优，要变成没穿衣服的样子，就是个图片翻译问题。CycleGAN示意图中(b)和(c)就是Dual Learning：&/p&&figure&&img src=&https://pic2.zhimg.com/v2-de51cac58b_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&347& data-rawheight=&62& class=&content_image& width=&347&&&/figure&&p&在Dual Learning基础上，又加入了两个判别器&img src=&https://www.zhihu.com/equation?tex=D_X& alt=&D_X& eeimg=&1&&和&img src=&https://www.zhihu.com/equation?tex=D_Y& alt=&D_Y& eeimg=&1&&用来进行对抗训练，让翻译过来的图片尽量逼近当前集合中的图片：&/p&&p&&br&&/p&&figure&&img src=&https://pic3.zhimg.com/v2-e0ea7a6b38bf2a20cea4ea6f741a4c67_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&442& data-rawheight=&59& class=&origin_image zh-lightbox-thumb& width=&442& data-original=&https://pic3.zhimg.com/v2-e0ea7a6b38bf2a20cea4ea6f741a4c67_r.jpg&&&/figure&&p&全考虑一起，最终的loss是：&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/v2-e6d99e7edea969da3dad_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&357& data-rawheight=&87& class=&content_image& width=&357&&&/figure&&p&也许有人会问，那不加cycle-consistency，直接用GAN学习一个&img src=&https://www.zhihu.com/equation?tex=X%5Crightarrow+Y& alt=&X\rightarrow Y& eeimg=&1&&的映射，让生成的Y的样本尽量毕竟Y里本身的样本可不可以呢？这个作者在文中也讨论了，会产生GAN训练中容易发生的mode collapse问题。mode collapse问题的一个简单示意如下[1]：&/p&&p&&br&&/p&&figure&&img src=&https://pic1.zhimg.com/v2-309fce6329592babb784ed_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&842& data-rawheight=&262& class=&origin_image zh-lightbox-thumb& width=&842& data-original=&https://pic1.zhimg.com/v2-309fce6329592babb784ed_r.jpg&&&/figure&&p&上边的是真实分布，下边的是学习到的分布，可以看到学习到的分布只是完整分布的一部分，这个叫做partial mode collapse，是训练不收敛情况中常见的一种。如果是完全的mode collapse，就是说生成模型得到的都是几乎一样的输出。而加入Cycle-consistency会让一个domain里不同的样本都尽量映射到另一个domain里不同的地方，理想情况就是双射（bijection）。直观来理解，如果通过&img src=&https://www.zhihu.com/equation?tex=X%5Crightarrow+Y& alt=&X\rightarrow Y& eeimg=&1&&都映射在Y中同一个点，那么这个点y通过&img src=&https://www.zhihu.com/equation?tex=Y%5Crightarrow+X& alt=&Y\rightarrow X& eeimg=&1&&映射回来显然不可能是多个不同的x，所以加入cycle-consistency就帮助避免了mode collapse。这个问题在另一篇和CycleGAN其实本质上没什么不同的方法DiscoGAN中有更详细的讨论[11]，有兴趣的话可以参考。&/p&&p&&br&&/p&&p&有一点值得注意的是，虽然名字叫CycleGAN，并且套路也和C-GAN很像，但是其实只有adversarial，并没有generative。因为严格来说只是学习了&img src=&https://www.zhihu.com/equation?tex=X%5Crightarrow+Y& alt=&X\rightarrow Y& eeimg=&1&&和&img src=&https://www.zhihu.com/equation?tex=Y%5Crightarrow+X& alt=&Y\rightarrow X& eeimg=&1&&的mapping，所谓的generative network里并没有随机性。有一个和CycleGAN以及DiscoGAN其实本质上也没什么不同的方法叫DualGAN[12]，倒是通过dropout把随机性加上了。不过所有加了随机性产生的样本和原始样本间的cycle-consistency用的还是l1 loss，总觉得这样不是很对劲。当然现在GAN这么热门，其实只要是用了adversarial loss的基本都会取个名字叫XXGAN，也许是可以增加投稿命中率。&/p&&p&另外上节中提到了Co-Training，感觉这里也应该提一下CoGAN[13]，因为名字有些相似，并且也可以用于未配对的图像翻译。CoGAN的大体思想是：如果两个Domain之间可以互相映射，那么一定有一些特征是共有的。比如男人和女人，虽然普遍可以从长相区分，但不变的是都有两个眼睛一个鼻子一张嘴等等。所以可以在生成的时候，把生成共有特征和各自特征的部分分开，示意图如下：&br&&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/v2-57eaadc8cec5190bfd30_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&758& data-rawheight=&207& class=&origin_image zh-lightbox-thumb& width=&758& data-original=&https://pic4.zhimg.com/v2-57eaadc8cec5190bfd30_r.jpg&&&/figure&&p&其实就是两个GAN结构，其中生成网络和判别网络中比较高层的部分都采用了权值共享（虚线相连的部分），没有全职共享的部分分别处理不同的domain。这样每次就可以根据训练的domain生成一个样本在两个domain中不同的对应，比如戴眼镜和没戴眼镜：&/p&&p&&br&&/p&&figure&&img src=&https://pic2.zhimg.com/v2-356a6118ccf3e8e3bf1c7_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&791& data-rawheight=&267& class=&origin_image zh-lightbox-thumb& width=&791& data-original=&https://pic2.zhimg.com/v2-356a6118ccf3e8e3bf1c7_r.jpg&&&/figure&&p&分别有了共有特征和各自domain特征，那么做mapping的思路也就很直接了[14]：&/p&&p&&br&&/p&&figure&&img src=&https://pic3.zhimg.com/v2-8ac50600e40feaac345e09bd7e05a83d_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&771& data-rawheight=&210& class=&origin_image zh-lightbox-thumb& width=&771& data-original=&https://pic3.zhimg.com/v2-8ac50600e40feaac345e09bd7e05a83d_r.jpg&&&/figure&&p&在GAN前边加了个domain encoder，然后对每个domain能得到三种样本给判别器区分：直接采样，重建采样，从另一个domain中transfer后的重建采样。训练好之后，用一个domain的encoder+另一个domain的generator就很自然的实现了不同domain的转换。用在图像翻译上的效果如下：&/p&&p&&br&&/p&&figure&&img src=&https://pic2.zhimg.com/v2-612e9cf5e125fd626be7db_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&444& data-rawheight=&544& class=&origin_image zh-lightbox-thumb& width=&444& data-original=&https://pic2.zhimg.com/v2-612e9cf5e125fd626be7db_r.jpg&&&/figure&&p&还有个巧妙的思路，是把CoGAN拆开，不同domain作为C-GAN条件的更加显式的做法[15]：&/p&&p&&br&&/p&&p&&br&&/p&&figure&&img src=&https://pic1.zhimg.com/v2-ddec16d502c94f91ea35_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&883& data-rawheight=&398& class=&origin_image zh-lightbox-thumb& width=&883& data-original=&https://pic1.zhimg.com/v2-ddec16d502c94f91ea35_r.jpg&&&/figure&&p&第一步用噪声Z作为和domain无关的共享表征对应的latent noise，domain信息作为条件C训练一个C-GAN。第二步，训练一个encoder，利用和常见的encode-decode结构相反的decode(generate)-encode结构。学习好的encoder可以结合domain信息，把输入图像中和domain无关的共享特征提取出来。第三步，把前两步训练好的encoder和decoder(generator)连一起，就可以根据domain进行图像翻译了。&/p&&p&CoGAN一系的方法虽然结构看起来更复杂，但个人感觉理解起来要比dual系的方法更直接，并且有latent space，可解释性和属性对应也好一些。&/p&&p&又扯远了，还是回到正题：&/p&&p&&br&&/p&&h2&给女优穿上衣服&/h2&&p&其实同样没什么好说的，Cycle-GAN和pix2pix的作者是一拨人，文档都写得非常棒，准备好数据，分成穿衣服的和没穿衣服的两组，按照文档的步骤训练就可以：&/p&&p&Torch版Cycle-GAN：&a href=&https://link.zhihu.com/?target=https%3A//github.com/junyanz/CycleGAN& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&junyanz/CycleGAN&/a&&/p&&p&pyTorch版Cycle-GAN（pix2pix二合一版)：&a href=&https://link.zhihu.com/?target=https%3A//github.com/junyanz/pytorch-CycleGAN-and-pix2pix& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&junyanz/pytorch-CycleGAN-and-pix2pix&/a&&/p&&p&Cycle-GAN收敛不易，我用了128x128分辨率训练了穿衣服和没穿衣服的女优各一千多张，同样是默认参数训练了120个epoch，最后小部分成功“穿衣服”的结果如下：&/p&&figure&&img src=&https://pic4.zhimg.com/v2-fee34d66c386e0e01e5804_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&1117& data-rawheight=&192& class=&origin_image zh-lightbox-thumb& width=&1117& data-original=&https://pic4.zhimg.com/v2-fee34d66c386e0e01e5804_r.jpg&&&/figure&&figure&&img src=&https://pic4.zhimg.com/v2-de57c5ebefa4251ee3caa1_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&1117& data-rawheight=&192& class=&origin_image zh-lightbox-thumb& width=&1117& data-original=&https://pic4.zhimg.com/v2-de57c5ebefa4251ee3caa1_r.jpg&&&/figure&&p&虽然都有些突兀，但好歹是穿上衣服了。注意马赛克不是图片里就有的，是我后来加上去的。&/p&&p&那么，脱衣服的例子在哪里？&/p&&figure&&img src=&https://pic4.zhimg.com/v2-480fb8a4dcfc7a4f92ec_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&75& data-rawheight=&60& class=&content_image& width=&75&&&/figure&&h2&参考文献&/h2&&p&[1] I. Goodfellow. Nips 2016 tutorial: Generative adversarial networks. arXiv preprint arXiv:, 2016.&/p&&p&[2] A. B. L. Larsen, S. K. S?nderby, Generating Faces with Torch. &a href=&https://link.zhihu.com/?target=http%3A//torch.ch/blog//gan.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Torch | Generating Faces with Torch&/a&&/p&&p&[3] A. B. L. Larsen, S. K. S?nderby, H. Larochelle, and O. Winther. Autoencoding beyond pixels using a&br&learned similarity metric. In ICML, pages , 2016.&br&&/p&&p&[4] C. Ledig, L. Theis, F. Huszar, J. Caballero, A. Aitken, A. Tejani, J. Totz, Z. Wang, and W. Shi. Photo-realistic single image super-resolution using a generative adversarial network. arXiv:, 2016.&/p&&p&[5] P. Isola, J.-Y. Zhu, T. Zhou, and A. A. Efros. Image-to-image translation with conditional adversarial networks. arxiv, 2016. &/p&&p&[6] O. Ronneberger, P. Fischer, and T. Brox. U-net: Convolutional networks for biomedical image segmentation. In MICCAI, pages 234–241. Springer, 2015.&/p&&p&[7] B. Zhou, A. Khosla, A. Lapedriza, A. Oliva, and A. Torralba. Learning deep features for discriminative localization. arXiv preprint arXiv:, 2015.&/p&&p&[8] He, D., Xia, Y., Qin, T., Wang, L., Yu, N., Liu, T.-Y., and Ma, W.-Y. (2016a). Dual learning for machine translation. In the Annual Conference on Neural Information Processing Systems (NIPS), 2016.&/p&&p&&br&&/p&&p&[9] &a href=&https://link.zhihu.com/?target=http%3A//www.dsrg.stuorg.iastate.edu/wp-content/uploads/2017/02/dual-learning_-pushing-the-new-frontier-of-artificial-intelligence-tieyan-liu.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&& Tie-Yan Liu, Dual Learning: Pushing the New Frontier of Artificial Intelligence, MIFS 2016&/a& &/p&&p&[10] J.-Y. Zhu, T. Park, P. Isola, and A. A. Efros. Unpaired image-to-image translation using cycle-consistent adversarial networkss. arXiv preprint arXiv:, 2017.&/p&&p&[11] T. Kim, M. Cha, H. Kim, J. Lee, and J. Kim. Learning to Discover Cross-Domain Relations with Generative Adversarial Networks. ArXiv e-prints, Mar. 2017.&/p&&p&&br&&/p&&p&[12] Z. Yi, H. Zhang, P. T. Gong, et al. DualGAN: Unsupervised dual learning for image-to-image translation. arXiv preprint arXiv:, 2017.&/p&&p&&br&&/p&&p&[13] M.-Y. Liu and O. Tuzel. Coupled generative adversarial networks. In Advances in Neural Information Processing Systems (NIPS), 2016.&/p&&p&[14] M.-Y. Liu, T. Breuel, and J. Kautz. Unsupervised image-to-image translation networks. arXiv preprint arXiv:, 2017.&/p&&p&[15] Dong, H., Neekhara, P., Wu, C., Guo, Y.: Unsupervised image-to-image translation with generative adversarial networks. arXiv preprint arXiv:, 2017.&/p&&p&=========== 分割线： ===========&/p&&p&上周日发的时候也想到了可能会有许多人对这个话题感兴趣，但没想到超过了1.5W赞这么多，大概看了看评论，做一些补充：&/p&&p&&b&1） &/b&马赛克训练数据：对于一般的机器学习问题，都是分布越简单越容易，遵循这个原则，我用的约束是单人照片，具体方法是：先找一个Pascal VOC训练好的SSD代码，然后SSD筛选了一批每张图里只能检测到一个人的。&/p&&p&最后在真人照片上的效果看上去还是不错的，我没有做过量化评估，大体来说看上去挺像的要超过一半，非常逼真的可能有5%~10%。两人以上战斗的动作画面我没有评估过。&/p&&p&&b&2）&/b&穿（tuo）衣训练数据：因为收敛很难，所以数据的加了更多约束：只用女性单人正面照片。同样通过SSD检测出单人照片，同时考虑person框的宽高比小于1的且框内能检测到人脸的（OpenCV的人脸检测）。这样尽量筛选出一批面向镜头，身体占画面比接近的照片。&/p&&p&最后的效果我在原文中也提到过，只有小部分能成功穿上（tuo）衣服，具体我也没有量化统计过，大概100张里两三张吧，大部分都是身上出现了看上去有点像衣服的线条或是另一个人的胸部。考虑到我最后筛选出的图片人物占画面比仍然有很大的变化，很可能我的模型就是遇到了文中提到的partial mode collapse的问题。&/p&&p&如果有更好的办法筛选出人物大小差不多的照片，效果应该能提升不少。比如我在用SSD筛选的时候如果考虑宽高比更小一些，筛选出的照片看上去会更加一致，不过我资源不太够，这样做后训练集就只有不到300张，资源够的老司机们有兴趣可以试试。&/p&&p&&br&&/p&&p&&b&3）&/b&预训练模型有没有？有，但是我研读了中华人民共和国刑法第三百六十三、三百六十四和三百六十六条，完全读不懂，所以还是不提供。再说就算我提供了，根据1）和2），看到你想看的内容也是需要运气的。&/p&&p&另外特别感谢赞赏的知友们，这篇文章是想说&b&书中自有颜如玉&/b&，而知友们的赞赏让我知道&b&书中真有黄金屋&/b&，古人诚不我欺…&/p&
作为一名久经片场的老司机，早就想写一些探讨驾驶技术的文章。这篇就介绍利用生成式对抗网络（GAN）的两个基本驾驶技能： 1) 去除(爱情)动作片中的马赛克2) 给(爱情)动作片中的女孩穿(tuo)衣服 生成式模型上一篇《》中已经简单介…
1.&Hadoop.Operations.pdf.zip&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/vDOQs6xMAQH62& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&vdisk.weibo.com/s/vDOQs&/span&&span class=&invisible&&6xMAQH62&/span&&span class=&ellipsis&&&/span&&/a&&br&2.&Hadoop权威指南(中文版)(带书签).pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/wxJYuVE573j& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop权威指南(中文版)(带书签).pdf&/a&&br&3.&[Hadoop权威指南(第2版)].pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/vmaSwlKBP5Kt& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&[Hadoop权威指南(第2版)].pdf&/a&&br&4.&hadoop权威指南第3版2012.rar&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/aN4iIpKT0Kml& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&hadoop权威指南第3版2012.rar&/a&&br&&br&5.《Hadoop技术内幕：深入解析HadoopCommon和HDFS.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/dlA_OphOI5AQU& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《Hadoop技术内幕：深入解析Hadoop Common和HDFS.pdf&/a&&br&6.&Hadoop技术内幕：深入解析MapReduce架构设计与实现原理.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/uIsyCUsePIjoh& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop技术内幕：深入解析MapReduce架构设计与实现原理.pdf&/a&&br&&br&7.&Hadoop实战.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/BXMAwF_-NCyZw& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop实战.pdf&/a&&br&8.&Hadoop实战-陆嘉恒(高清完整版).pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/z5rVAAQ3zblXs& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop实战-陆嘉恒(高清完整版).pdf&/a&&br&9.&Hadoop实战(第2版).pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/j6KrzC8boQ1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop实战(第2版).pdf&/a&&br&10.&HadoopinAction.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/BLZQKXQryIW7z& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop in Action.pdf&/a&&br&&br&11&Hadoop in practice.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/CbeFlyMYjJq3C& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop in practice.pdf&/a&&br&12&HadoopThe.Definitive.Guide,3Ed.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/dlQXvZtzIH6KO& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop The.Definitive.Guide,3Ed.pdf&/a&&br&13.&O'Reilly.Hadoop.The.Definitive.Guide.3rd.Edition.May.2012.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/znRfJCcREJGsZ& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&O'Reilly.Hadoop.The.Definitive.Guide.3rd.Edition.May.2012.pdf&/a&&br&&br&14.&hadoop入门实战手册.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/aprYE9iSa5XEs& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&hadoop入门实战手册.pdf&/a&&br&15.&Hadoop入门手册.chm&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/dDOrPlQHwCtJ& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop入门手册.chm&/a&&br&&br&16.&windows下配置cygwin、hadoop等并运行mapreduce及mapreduce程序讲解.doc&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/drDKePjiE_dtP& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&windows下配置cygwin、hadoop等并运行mapreduce及mapreduce程序讲解.doc&/a&&br&17&在Windows上安装Hadoop教程.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/zbLG_VnilVLPF& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&在Windows上安装Hadoop教程.pdf&/a&&br&&br&18.&Hadoop源代码分析(完整版).pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/bef7_LzOlZB5& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop源代码分析(完整版).pdf&/a&&br&19.&hadoop-api.CHM&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/aGkLoGJkdIegt& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&hadoop-api.CHM&/a&&br&&br&20.&HBase-Hadoop@小米.pptx& &a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/z83zdriL8kvgi& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&HBase-Hadoop@小米.pptx&/a&&br&21.&但彬-Hadoop平台的大数据整合.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/u90dUcJt2FEnP& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&但彬-Hadoop平台的大数据整合.pdf&/a&&br&&br&22.&QCon2013-罗李-Hadoop在阿里.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/u5f-a75unTu1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&QCon2013-罗李&/a&&br&23.&百度hadoop计算技术发展.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/aX0ftWKG8HXua& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&百度hadoop计算技术发展.pdf&/a&&br&24.&QCon-吴威-基于Hadoop的海量数据平台.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/Er65NDisGiC& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&QCon-吴威-基于Hadoop的海量数据平台.pdf&/a&&br&25.&8步安装好你的hadoop.docx&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/wfP0FRVUCC1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&8步安装好你的hadoop.docx&/a&&br&26.&hadoop运维经验分享.ppsx&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/Er65NDit1x7& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&hadoop运维经验分享.ppsx&/a&&br&&br&27.&PPT集萃：20位Hadoop专家分享大数据技术工具与最佳实践.rar&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/uf1uFDgIUS3q_& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&PPT集萃：20位Hadoop专家分享大数据技术工具与最佳实践.rar&/a&&br&28.&Hadoop2.0基本架构和发展趋势.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/z7Iw9cNWdwcfd& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop 2.0基本架构和发展趋势.pdf&/a&&br&29.&Hadoop与大数据技术大会PPT资料.rar&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/aX0ftWKG8HEgB& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop与大数据技术大会PPT资料.rar&/a&&br&30.&Hadoop2011云计算大会.rar&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/aX0ftWKG8HlNE& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop2011云计算大会.rar&/a&&br&&br&31.&hadoop开发者(1~3)期.zip&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/dpAuMB4WqHl7H& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&hadoop开发者.zip&/a&
1."Hadoop.Operations.pdf.zip" 2."Hadoop权威指南(中文版)(带书签).pdf" 3."[Hadoop权威指南(第2版)].pdf" 4."hadoop权威指南第3版2012.rar"…
&figure&&img src=&https://pic3.zhimg.com/v2-590cc90f8cafc05caf894dbb0a7fcccd_b.jpg&}
Length (24)
|&br&+---------------+---------------+---------------+&br&|
|&br&+-+-------------+---------------+-------------------------------+&br&|R|
Stream Identifier (31)
|&br&+=+=============================================================+&br&|
Frame Payload (0...)
...&br&+---------------------------------------------------------------+&/p&&p&Length：也就是 Frame 的长度，默认最大长度是 16KB，如果要发送更大的 Frame，需要显示的设置 max frame size。 Type：Frame 的类型，譬如有 DATA，HEADERS，PRIORITY 等。 Flag 和 R：保留位，可以先不管。 Stream Identifier：标识所属的 stream，如果为 0，则表示这个 frame 属于整条连接。 Frame Payload：根据不同 Type 有不同的格式。&/p&&p&可以看到，Frame 的格式定义还是非常的简单，按照官方协议，赞成可以非常方便的写一个出来。&/p&&h2&&b&Multiplexing&/b&&/h2&&p&HTTP/2 通过 stream 支持了连接的多路复用，提高了连接的利用率。Stream 有很多重要特性：&/p&&ul&&li&一条连接可以包含多个 streams，多个 streams 发送的数据互相不影响。&/li&&li&Stream 可以被 client 和 server 单方面或者共享使用。&/li&&li&Stream 可以被任意一段关闭。&/li&&li&Stream 会确定好发送 frame 的顺序，另一端会按照接受到的顺序来处理。&/li&&li&Stream 用一个唯一 ID 来标识。&/li&&/ul&&p&这里在说一下 Stream ID，如果是 client 创建的 stream，ID 就是奇数，如果是 server 创建的，ID 就是偶数。ID 0x00 和 0x01 都有特定的使用场景，不会用到。&/p&&p&Stream ID 不可能被重复使用，如果一条连接上面 ID 分配完了，client 会新建一条连接。而 server 则会给 client 发送一个 GOAWAY frame 强制让 client 新建一条连接。&/p&&p&为了更大的提高一条连接上面的 stream 并发，可以考虑调大 SETTINGS_MAX_CONCURRENT_STREAMS，在 TiKV 里面，我们就遇到过这个值比较小，整体吞吐上不去的问题。&/p&&p&这里还需要注意，虽然一条连接上面能够处理更多的请求了，但一条连接远远是不够的。一条连接通常只有一个线程来处理，所以并不能充分利用服务器多核的优势。同时，每个请求编解码还是有开销的，所以用一条连接还是会出现瓶颈。&/p&&p&在 TiKV 有一个版本中，我们就过分相信一条连接跑多 streams 这种方式没有问题，就让 client 只用一条连接跟 TiKV 交互，结果发现性能完全没法用，不光处理连接的线程 CPU 跑满，整体的性能也上不去，后来我们换成了多条连接，情况才好转。&/p&&h2&&b&Priority&/b&&/h2&&p&因为一条连接允许多个 streams 在上面发送 frame，那么在一些场景下面，我们还是希望 stream 有优先级，方便对端为不同的请求分配不同的资源。譬如对于一个 Web 站点来说，优先加载重要的资源，而对于一些不那么重要的图片啥的，则使用低的优先级。&/p&&p&我们还可以设置 Stream Dependencies，形成一棵 streams priority tree。假设 Stream A 是 parent，Stream B 和 C 都是它的孩子，B 的 weight 是 4，C 的 weight 是 12，假设现在 A 能分配到所有的资源，那么后面 B 能分配到的资源只有 C 的 1/3。&/p&&h2&&b&Flow Control&/b&&/h2&&p&HTTP/2 也支持流控，如果 sender 端发送数据太快，receiver 端可能因为太忙，或者压力太大，或者只想给特定的 stream 分配资源，receiver 端就可能不想处理这些数据。譬如，如果 client 给 server 请求了一个视屏，但这时候用户暂停观看了，client 就可能告诉 server 别在发送数据了。&/p&&p&虽然 TCP 也有 flow control，但它仅仅只对一个连接有效果。HTTP/2 在一条连接上面会有多个 streams，有时候，我们仅仅只想对一些 stream 进行控制，所以 HTTP/2 单独提供了流控机制。Flow control 有如下特性：&/p&&ul&&li&Flow control 是单向的。Receiver 可以选择给 stream 或者整个连接设置 window size。&/li&&li&Flow control 是基于信任的。Receiver 只是会给 sender 建议它的初始连接和 stream 的 flow control window size。&/li&&li&Flow control 不可能被禁止掉。当 HTTP/2 连接建立起来之后，client 和 server 会交换 SETTINGS frames，用来设置 flow control window size。&/li&&li&Flow control 是 hop-by-hop，并不是 end-to-end 的，也就是我们可以用一个中间人来进行 flow control。&/li&&/ul&&p&这里需要注意，HTTP/2 默认的 window size 是 64 KB，实际这个值太小了，在 TiKV 里面我们直接设置成 1 GB。&/p&&h2&&b&HPACK&/b&&/h2&&p&在一个 HTTP 请求里面，我们通常在 header 上面携带很多改请求的元信息，用来描述要传输的资源以及它的相关属性。在 HTTP/1.x 时代，我们采用纯文本协议，并且使用 \r\n 来分隔，如果我们要传输的元数据很多，就会导致 header 非常的庞大。另外，多数时候，在一条连接上面的多数请求，其实 header 差不了多少，譬如我们第一个请求可能 GET /a.txt，后面紧接着是 GET /b.txt，两个请求唯一的区别就是 URL path 不一样，但我们仍然要将其他所有的 fields 完全发一遍。&/p&&p&HTTP/2 为了解决这个问题，使用了 HPACK。虽然 HPACK 的 &a href=&https://link.zhihu.com/?target=http%3A//httpwg.org/specs/rfc7541.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&RFC 文档&/a& 看起来比较恐怖，但其实原理非常的简单易懂。&/p&&p&HPACK 提供了一个静态和动态的 table，静态 table 定义了通用的 HTTP header fields，譬如 method，path 等。发送请求的时候，只要指定 field 在静态 table 里面的索引，双方就知道要发送的 field 是什么了。&/p&&p&对于动态 table，初始化为空，如果两边交互之后，发现有新的 field，就添加到动态 table 上面，这样后面的请求就可以跟静态 table 一样，只需要带上相关的 index 就可以了。&/p&&p&同时，为了减少数据传输的大小，使用 Huffman 进行编码。这里就不再详细说明 HPACK 和 Huffman 如何编码了。&/p&&h2&&b&小结&/b&&/h2&&p&上面只是大概列举了一些 HTTP/2 的特性，还有一些，譬如 push，以及不同的 frame 定义等都没有提及，大家感兴趣，可以自行参考 HTTP/2 &a href=&https://zhuanlan.zhihu.com/p//httpwg.org/specs/rfc7540.html& class=&internal&&RFC 文档&/a&。&/p&&h2&&b&Hello gRPC&/b&&/h2&&p&gRPC 是 Google 基于 HTTP/2 以及 protobuf 的，要了解 gRPC 协议，只需要知道 gRPC 是如何在 HTTP/2 上面传输就可以了。&/p&&p&gRPC 通常有四种模式，unary，client streaming，server streaming 以及 bidirectional streaming，对于底层 HTTP/2 来说，它们都是 stream，并且仍然是一套 request + response 模型。&/p&&h2&&b&Request&/b&&/h2&&p&gRPC 的 request 通常包含 Request-Headers, 0 或者多个 Length-Prefixed-Message 以及 EOS。&/p&&p&Request-Headers 直接使用的 HTTP/2 headers，在 HEADERS 和 CONTINUATION frame 里面派发。定义的 header 主要有 Call-Definition 以及 Custom-Metadata。Call-Definition 里面包括 Method（其实就是用的 HTTP/2 的 POST），Content-Type 等。而 Custom-Metadata 则是应用层自定义的任意 key-value，key 不建议使用 grpc- 开头，因为这是为 gRPC 后续自己保留的。&/p&&p&Length-Prefixed-Message 主要在 DATA frame 里面派发，它有一个 Compressed flag 用来表示改 message 是否压缩，如果为 1，表示该 message 采用了压缩，而压缩算啊定义在 header 里面的 Message-Encoding 里面。然后后面跟着四字节的 message length 以及实际的 message。&/p&&p&EOS（end-of-stream） 会在最后的 DATA frame 里面带上了 END_STREAM 这个 flag。用来表示 stream 不会在发送任何数据，可以关闭了。&/p&&h2&&b&Response&/b&&/h2&&p&Response 主要包含 Response-Headers，0 或者多个 Length-Prefixed-Message 以及 Trailers。如果遇到了错误，也可以直接返回 Trailers-Only。&/p&&p&Response-Headers 主要包括 HTTP-Status，Content-Type 以及 Custom-Metadata 等。Trailers-Only 也有 HTTP-Status ，Content-Type 和 Trailers。Trailers 包括了 Status 以及 0 或者多个 Custom-Metadata。&/p&&p&HTTP-Status 就是我们通常的 HTTP 200，301，400 这些，很通用就不再解释。Status 也就是 gRPC 的 status， 而 Status-Message 则是 gRPC 的 message。Status-Message 采用了 Percent-Encoded 的编码方式，具体参考&a href=&https://link.zhihu.com/?target=https%3A//tools.ietf.org/html/rfc3986%23section-2.1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&这里&/a&。&/p&&p&如果在最后收到的 HEADERS frame 里面，带上了 Trailers，并且有 END_STREAM 这个 flag，那么就意味着 response 的 EOS。&/p&&h2&&b&Protobuf&/b&&/h2&&p&gRPC 的 service 接口是基于 protobuf 定义的，我们可以非常方便的将 service 与 HTTP/2 关联起来。&/p&&ul&&li&Path : /Service-Name/{method name}&/li&&li&Service-Name : ?( {proto package name} &.& ) {service name}&/li&&li&Message-Type : {fully qualified proto message name}&/li&&li&Content-Type : &application/grpc+proto&&/li&&/ul&&h2&&b&后记&/b&&/h2&&p&上面只是对 gRPC 协议的简单理解，可以看到，gRPC 的基石就是 HTTP/2，然后在上面使用 protobuf 协议定义好 service RPC。虽然看起来很简单，但如果一门语言没有 HTTP/2，protobuf 等支持，要支持 gRPC 就是一件非常困难的事情了。&/p&&p&悲催的是，Rust 刚好没有 HTTP/2 支持，也仅仅有一个可用的 protobuf 实现。为了支持 gRPC，我们 team 付出了很大的努力，也走了很多弯路，从最初使用纯 Rust 的 rust-grpc 项目，到后来自己基于 c-grpc 封装了 grpc-rs，还是有很多可以说的，后面在慢慢道来。如果你对 gRPC 和 rust 都很感兴趣，欢迎参与开发。&/p&&p&gRPC-rs: &a href=&https://link.zhihu.com/?target=https%3A//github.com/pingcap/grpc-rs& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&github.com/pingcap/grpc&/span&&span class=&invisible&&-rs&/span&&span class=&ellipsis&&&/span&&/a&&/p&&p&作者：唐刘&/p&
RC3 版本对于 TiKV 来说最重要的功能就是支持了 gRPC，也就意味着后面大家可以非常方便的使用自己喜欢的语言对接 TiKV 了。gRPC 是基于 HTTP/2 协议的，要深刻理解 gRPC，理解下 HTTP/2 是必要的，这里先简单介绍一下 HTTP/2 相关的知识，然后在介绍下 gRPC…
&figure&&img src=&https://pic1.zhimg.com/v2-6728bcad5d5d4fceccd1a721f6a5c4a8_b.jpg& data-rawwidth=&900& data-rawheight=&500& class=&origin_image zh-lightbox-thumb& width=&900& data-original=&https://pic1.zhimg.com/v2-6728bcad5d5d4fceccd1a721f6a5c4a8_r.jpg&&&/figure&&blockquote&&b&「论文访谈间」&/b&是由 PaperWeekly 和中国中文信息学会青工委联合发起的论文报道栏目，旨在让国内优质论文得到更多关注和认可。 &/blockquote&
&p&&b&论文作者 | 牛艺霖，谢若冰，刘知远，孙茂松（清华大学）&/b&&br&&/p&
&p&&b&特约记者 | 张琨（中国科学技术大学）&/b&&/p&&p&词向量是将词映射到低维空间进行表示的一种方法，它可以降低输入信息的稀疏性，同时赋予表示向量一定的词义。作为 NLP 领域的一项基本任务，词向量扮演着十分重要的角色，它为机器翻译，自动问答，对话系统等提供了一个较为准确的单词表达形式。但是词的意思是多种多样的，在不同的情境下会有不同的意义，如何能够更准确地表示出词的意义，对 NLP 领域中的其他任务来说具有重要的意义。来自清华大学的牛艺霖，谢若冰，刘知远老师和孙茂松老师发表在 ACL2017 上的论文“Improved Word Representation Learning with Sememes”首次将义原信息考虑到词向量的学习任务中，在很大程度上提升了词向量的表示能力。&/p&
&p&义原信息（sememe）是词意的最小语义单位，一个词的意思可以认为是多个义原信息的组合。在 HowNet 中，可以具象化出这种 word-sense-sememe 的结构，如下图所示：&/p&
&figure&&img src=&https://pic2.zhimg.com/v2-94aec9ea0c7940beca993fb8e7024c1b_b.jpg& data-rawwidth=&1392& data-rawheight=&888& class=&origin_image zh-lightbox-thumb& width=&1392& data-original=&https://pic2.zhimg.com/v2-94aec9ea0c7940beca993fb8e7024c1b_r.jpg&&&/figure&&p&其中苹果是我们的目标单词，sense1、sense2 是苹果的两个不同意思，而 sememe 分别解释了两个 sense 的具体含义。&/p&
&p&从这个例子我们可以看出，一个词的意思和他的义原之间的关系是比较复杂的，可能只有一种描述，也可能是多种的一个组合，那么如何利用这些信息去表示词的意思，如何模拟词义和义原之间的关系就成为本文工作的最主要的一个挑战。&/p&
&p&本文是在经典的 skip-gram 模型的基础上提出来的改进模型，相对于 skip-gram 模型只考虑了上下文信息，本文提出的模型同时考虑词的义原信息以及义原信息与词义之间的关系，为此，本文提出了三种融合方法。&/p&
&p&1. 简单地使用义原向量的平均值来表示一个词向量，就如上图，将样式值，能，携带，特定牌子等的向量表示求平均，作为电脑这个意思的平均表示。&/p&
&p&2. 根据中心词来对一个上下文单词做消歧，使用 attention 的方法来计算这个单词的各个 sense（意思）的权重，使用 sense embedding 的加权平均值来表示词向量。&/p&
&figure&&img src=&https://pic1.zhimg.com/v2-f747cc1bbfc9_b.jpg& data-rawwidth=&1756& data-rawheight=&874& class=&origin_image zh-lightbox-thumb& width=&1756& data-original=&https://pic1.zhimg.com/v2-f747cc1bbfc9_r.jpg&&&/figure&&p&将注意力机制引入到模型中，从而可以辅助训练过程中的消歧。也就是说如果一个上下文词的某个义原跟中心词的意思更加相近，那么他就获得更多的关注，从而在生成上下文词的向量表示时，这个义原的权重就会越大，而最终生成的上下文词向量也就具有更好的表达能力。所以这个模型也称之为上下文模型（context model）。&/p&
&p&3. 和上个方法类似，只不过是这次是使用上下文单词预测中心词的含义。&/p&&figure&&img src=&https://pic1.zhimg.com/v2-4f15f3a660af3b5dc8fa76e_b.jpg& data-rawwidth=&1804& data-rawheight=&1052& class=&origin_image zh-lightbox-thumb& width=&1804& data-original=&https://pic1.zhimg.com/v2-4f15f3a660af3b5dc8fa76e_r.jpg&&&/figure&&p&同样的，一个词的意思跟它所处的上下文环境息息相关，那么上下文环境也就决定了这个词表示的到底是那种意思，因此这里通过利用上下文信息对中心词的义原信息的关注程度，从而选择出符合情境的义原信息，为中心词表示的生成提供必要的辅助，也就提升了中心词的向量表示能力，因此这个模型也被称之为目标模型（target model）。&br&&/p&&p&在实验设计上，本文通过两个经典的评价词向量质量的任务：词的相似性实验和词的类比实验对模型进行了验证， 同时与当前流行的 CBOW，skip-gram 和 GloVe 模型进行了对比，结果发现本文提出的模型在两个任务上均优于对比方法，这也证实了将义原信息融入到词向量的表示学习中的有效性。&/p&
&p&同时，为了进一步验证模型在词义消歧方面的能力，本文选取了一些实例进行分析：&/p&
&figure&&img src=&https://pic4.zhimg.com/v2-558c1d5b68b01d99c40ab782752dba15_b.jpg& data-rawwidth=&1742& data-rawheight=&660& class=&origin_image zh-lightbox-thumb& width=&1742& data-original=&https://pic4.zhimg.com/v2-558c1d5b68b01d99c40ab782752dba15_r.jpg&&&/figure&&p&从例子中可以看出在不同的情境下，模型均能根据实际意思选取出合适的意义，这也证实了本文提出的模型可以在不同的情境中很好的获取词的意思。&/p&
&p&&b&作者有话说：&/b&&/p&
&p&第一次写文章，作者感觉跟高考差不多，首先，都需要做大量的前期准备，只有充分的准备，才能对自己研究的内容有比较深刻的了解，才能清楚明白的阐释出自己的想法；其次，deadline（考前）一两天整个人都会陷入一种焦躁的状态，觉得自己写的都是什么东西，但又不得不继续准备；再次，交稿后（高考后）会突然觉得世界都清静 了，只想安静的休息会；最后，也就是揭榜时，这个心情想必大家都有体会。 &/p&
&p&更深的体会就是：写文章，做科研是一个探索的过程，不断地去实验，去分析，去探索，终会发现十分有意思的东西。&/p&
&p&欢迎点击查看论文：&br&&/p&
&a href=&https://link.zhihu.com/?target=http%3A//www.thunlp.org/%7Elzy/publications/acl2017_sememe.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Improved Word Representation Learning with Sememes&/a&
&p&&b&关于中国中文信息学会青工委&/b&&/p&
&p&中国中文信息学会青年工作委员会是中国中文信息学会的下属学术组织，专门面向全国中文信息处理领域的青年学者和学生开展工作。&/p&&figure&&img src=&https://pic3.zhimg.com/v2-baf8aac0ff9c10398aa41ec_b.jpg& data-rawwidth=&600& data-rawheight=&275& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&https://pic3.zhimg.com/v2-baf8aac0ff9c10398aa41ec_r.jpg&&&/figure&&p&&b&关于PaperWeekly&/b&&/p&
&p&PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击&b&「交流群」&/b&，小助手将把你带入 PaperWeekly 的交流群里。&/p&&p&&b&微信公众号：&/b&PaperWeekly&/p&&p&&b&新浪微博：&/b&@PaperWeekly&/p&
「论文访谈间」是由 PaperWeekly 和中国中文信息学会青工委联合发起的论文报道栏目，旨在让国内优质论文得到更多关注和认可。
论文作者 | 牛艺霖，谢若冰，刘知远，孙茂松（清华大学）
特约记者 | 张琨（中国科学技术大学）词向量是将词映射到低维空间进…
&figure&&img src=&https://pic3.zhimg.com/v2-da6e908fbff06e8e14c60d86d776d225_b.jpg& data-rawwidth=&768& data-rawheight=&576& class=&origin_image zh-lightbox-thumb& width=&768& data-original=&https://pic3.zhimg.com/v2-da6e908fbff06e8e14c60d86d776d225_r.jpg&&&/figure&&p&&/p&&figure&&img src=&https://pic1.zhimg.com/v2-abd42bbb61ee_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&558& data-rawheight=&315& class=&origin_image zh-lightbox-thumb& width=&558& data-original=&https://pic1.zhimg.com/v2-abd42bbb61ee_r.jpg&&&/figure&&p&作为一名久经片场的老司机，早就想写一些探讨驾驶技术的文章。这篇就介绍利用生成式对抗网络（GAN）的两个基本驾驶技能：&br&&/p&&p&1) 去除(爱情)动作片中的马赛克&/p&&p&2) 给(爱情)动作片中的女孩穿(tuo)衣服&/p&&p&&br&&/p&&h2&生成式模型&/h2&&p&上一篇《&a href=&https://zhuanlan.zhihu.com/p/& class=&internal&&用GAN生成二维样本的小例子&/a&》中已经简单介绍了GAN，这篇再简要回顾一下生成式模型，算是补全一个来龙去脉。&/p&&p&生成模型就是能够产生指定分布数据的模型，常见的生成式模型一般都会有一个用于产生样本的简单分布。例如一个均匀分布，根据要生成分布的概率密度函数，进行建模，让均匀分布中的样本经过变换得到指定分布的样本，这就可以算是最简单的生成式模型。比如下面例子：&/p&&figure&&img src=&https://pic1.zhimg.com/v2-d11b5fb26d3cc8e942f841bafe010cd8_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&1021& data-rawheight=&443& class=&origin_image zh-lightbox-thumb& width=&1021& data-original=&https://pic1.zhimg.com/v2-d11b5fb26d3cc8e942f841bafe010cd8_r.jpg&&&/figure&&p&图中左边是一个自定义的概率密度函数，右边是相应的1w个样本的直方图，自定义分布和生成这些样本的代码如下：&br&&/p&&div class=&highlight&&&pre&&code class=&language-python&&&span&&/span&&span class=&kn&&from&/span& &span class=&nn&&functools&/span& &span class=&kn&&import&/span& &span class=&n&&partial&/span&
&span class=&kn&&import&/span& &span class=&nn&&numpy&/span&
&span class=&kn&&from&/span& &span class=&nn&&matplotlib&/span& &span class=&kn&&import&/span& &span class=&n&&pyplot&/span&
&span class=&c1&&# Define a PDF&/span&
&span class=&n&&x_samples&/span& &span class=&o&&=&/span& &span class=&n&&numpy&/span&&span class=&o&&.&/span&&span class=&n&&arange&/span&&span class=&p&&(&/span&&span class=&o&&-&/span&&span class=&mi&&3&/span&&span class=&p&&,&/span& &span class=&mf&&3.01&/span&&span class=&p&&,&/span& &span class=&mf&&0.01&/span&&span class=&p&&)&/span&
&span class=&n&&PDF&/span& &span class=&o&&=&/span& &span class=&n&&numpy&/span&&span class=&o&&.&/span&&span class=&n&&empty&/span&&span class=&p&&(&/span&&span class=&n&&x_samples&/span&&span class=&o&&.&/span&&span class=&n&&shape&/span&&span class=&p&&)&/span&
&span class=&n&&PDF&/span&&span class=&p&&[&/span&&span class=&n&&x_samples&/span& &span class=&o&&&&/span& &span class=&mi&&0&/span&&span class=&p&&]&/span& &span class=&o&&=&/span& &span class=&n&&numpy&/span&&span class=&o&&.&/span&&span class=&n&&round&/span&&span class=&p&&(&/span&&span class=&n&&x_samples&/span&&span class=&p&&[&/span&&span class=&n&&x_samples&/span& &span class=&o&&&&/span& &span class=&mi&&0&/span&&span class=&p&&]&/span& &span class=&o&&+&/span& &span class=&mf&&3.5&/span&&span class=&p&&)&/span& &span class=&o&&/&/span& &span class=&mi&&3&/span&
&span class=&n&&PDF&/span&&span class=&p&&[&/span&&span class=&n&&x_samples&/span& &span class=&o&&&=&/span& &span class=&mi&&0&/span&&span class=&p&&]&/span& &span class=&o&&=&/span& &span class=&mf&&0.5&/span& &span class=&o&&*&/span& &span class=&n&&numpy&/span&&span class=&o&&.&/span&&span class=&n&&cos&/span&&span class=&p&&(&/span&&span class=&n&&numpy&/span&&span class=&o&&.&/span&&span class=&n&&pi&/span& &span class=&o&&*&/span& &span class=&n&&x_samples&/span&&span class=&p&&[&/span&&span class=&n&&x_samples&/span& &span class=&o&&&=&/span& &span class=&mi&&0&/span&&span class=&p&&])&/span& &span class=&o&&+&/span& &span class=&mf&&0.5&/span&
&span class=&n&&PDF&/span& &span class=&o&&/=&/span& &span class=&n&&numpy&/span&&span class=&o&&.&/span&&span class=&n&&sum&/span&&span class=&p&&(&/span&&span class=&n&&PDF&/span&&span class=&p&&)&/span&
&span class=&c1&&# Calculate approximated CDF&/span&
&span class=&n&&CDF&/span& &span class=&o&&=&/span& &span class=&n&&numpy&/span&&span class=&o&&.&/span&&span class=&n&&empty&/span&&span class=&p&&(&/span&&span class=&n&&PDF&/span&&span class=&o&&.&/span&&span class=&n&&shape&/span&&span class=&p&&)&/span&
&span class=&n&&cumulated&/span& &span class=&o&&=&/span& &span class=&mi&&0&/span&
&span class=&k&&for&/span& &span class=&n&&i&/span& &span class=&ow&&in&/span& &span class=&nb&&range&/span&&span class=&p&&(&/span&&span class=&n&&CDF&/span&&span class=&o&&.&/span&&span class=&n&&shape&/span&&span class=&p&&[&/span&&span class=&mi&&0&/span&&span class=&p&&]):&/span&
&span class=&n&&cumulated&/span& &span class=&o&&+=&/span& &span class=&n&&PDF&/span&&span class=&p&&[&/span&&span class=&n&&i&/span&&span class=&p&&]&/span&
&span class=&n&&CDF&/span&&span class=&p&&[&/span&&span class=&n&&i&/span&&span class=&p&&]&/span& &span class=&o&&=&/span& &span class=&n&&cumulated&/span&
&span class=&c1&&# Generate samples&/span&
&span class=&n&&generate&/span& &span class=&o&&=&/span& &span class=&n&&partial&/span&&span class=&p&&(&/span&&span class=&n&&numpy&/span&&span class=&o&&.&/span&&span class=&n&&interp&/span&&span class=&p&&,&/span& &span class=&n&&xp&/span&&span class=&o&&=&/span&&span class=&n&&CDF&/span&&span class=&p&&,&/span& &span class=&n&&fp&/span&&span class=&o&&=&/span&&span class=&n&&x_samples&/span&&span class=&p&&)&/span&
&span class=&n&&u_rv&/span& &span class=&o&&=&/span& &span class=&n&&numpy&/span&&span class=&o&&.&/span&&span class=&n&&random&/span&&span class=&o&&.&/span&&span class=&n&&random&/span&&span class=&p&&(&/span&&span class=&mi&&10000&/span&&span class=&p&&)&/span&
&span class=&n&&x&/span& &span class=&o&&=&/span& &span class=&n&&generate&/span&&span class=&p&&(&/span&&span class=&n&&u_rv&/span&&span class=&p&&)&/span&
&span class=&c1&&# Visualization&/span&
&span class=&n&&fig&/span&&span class=&p&&,&/span& &span class=&p&&(&/span&&span class=&n&&ax0&/span&&span class=&p&&,&/span& &span class=&n&&ax1&/span&&span class=&p&&)&/span& &span class=&o&&=&/span& &span class=&n&&pyplot&/span&&span class=&o&&.&/span&&span class=&n&&subplots&/span&&span class=&p&&(&/span&&span class=&n&&ncols&/span&&span class=&o&&=&/span&&span class=&mi&&2&/span&&span class=&p&&,&/span& &span class=&n&&figsize&/span&&span class=&o&&=&/span&&span class=&p&&(&/span&&span class=&mi&&9&/span&&span class=&p&&,&/span& &span class=&mi&&4&/span&&span class=&p&&))&/span&
&span class=&n&&ax0&/span&&span class=&o&&.&/span&&span class=&n&&plot&/span&&span class=&p&&(&/span&&span class=&n&&x_samples&/span&&span class=&p&&,&/span& &span class=&n&&PDF&/span&&span class=&p&&)&/span&
&span class=&n&&ax0&/span&&span class=&o&&.&/span&&span class=&n&&axis&/span&&span class=&p&&([&/span&&span class=&o&&-&/span&&span class=&mf&&3.5&/span&&span class=&p&&,&/span& &span class=&mf&&3.5&/span&&span class=&p&&,&/span& &span class=&mi&&0&/span&&span class=&p&&,&/span& &span class=&n&&numpy&/span&&span class=&o&&.&/span&&span class=&n&&max&/span&&span class=&p&&(&/span&&span class=&n&&PDF&/span&&span class=&p&&)&/span&&span class=&o&&*&/span&&span class=&mf&&1.1&/span&&span class=&p&&])&/span&
&span class=&n&&ax1&/span&&span class=&o&&.&/span&&span class=&n&&hist&/span&&span class=&p&&(&/span&&span class=&n&&x&/span&&span class=&p&&,&/span& &span class=&mi&&100&/span&&span class=&p&&)&/span&
&span class=&n&&pyplot&/span&&span class=&o&&.&/span&&span class=&n&&show&/span&&span class=&p&&()&/span&
&/code&&/pre&&/div&&p&对于一些简单的情况，我们会假设已知有模型可以很好的对分布进行建模，缺少的只是合适的参数。这时候很自然只要根据观测到的样本，学习参数让当前观测到的样本下的似然函数最大，这就是最大似然估计(&b&M&/b&aximum &b&L&/b&ikelihood &b&E&/b&stimation)：&br&&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%5Chat%7B%5Ctheta%7D%3D%5Coperatorname%2A%7Bargmax%7D_%7B%5Ctheta%7D+P%28%5Cbm%7Bx%7D%7C%5Ctheta%29+%3D+%5Coperatorname%2A%7Bargmax%7D_%7B%5Ctheta%7D+%5Cprod_%7Bi%3D1%7D%5E%7Bn%7DP%28x_i%7C%5Ctheta%29+& alt=&\hat{\theta}=\operatorname*{argmax}_{\theta} P(\bm{x}|\theta) = \operatorname*{argmax}_{\theta} \prod_{i=1}^{n}P(x_i|\theta) & eeimg=&1&&&/p&&p&MLE是一个最基本的思路，实践中用得很多的还有KL散度(Kullback–Leibler divergence)，假设真实分布是P，采样分布是Q，则KL散度为：&/p&&p&&img src=&https://www.zhihu.com/equation?tex=D_%7BKL%7D%28P%7C%7CQ%29%3D%5Csum_%7Bx+%5Cin+%5COmega%7DP%28%7Bx%7D%29%5Clog%5Cfrac%7BP%28x%29%7D%7BQ%28x%29%7D+& alt=&D_{KL}(P||Q)=\sum_{x \in \Omega}P({x})\log\frac{P(x)}{Q(x)} & eeimg=&1&&&/p&&p&从公式也能看出来，KL散度描述的是两个分布的差异程度。换个角度来看，让产生的样本和原始分布接近，也就是要让这俩的差异减小，所以最小化KL散度就等同于MLE。从公式上来看的话，我们考虑把公式具体展开一下：&/p&&p&&br&&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%5Cbegin%7Balign%7D+D_%7BKL%7D%28P%7C%7CQ%29+%26%3D%5Csum_%7Bx+%5Cin+%5COmega%7DP%28%7Bx%7D%29%5Clog%5Cfrac%7BP%28x%29%7D%7BQ%28x%29%7D+%5C%5C+%26+%3D-%5Csum_%7Bx%5Cin%5COmega%7DP%28%7Bx%7D%29%5Clog%7BQ%28x%29%7D+%2B%5Csum_%7Bx%5Cin%5COmega%7DP%28%7Bx%7D%29%5Clog%7BP%28x%29%7D+%5C%5C+%26+%3D-%5Csum_%7Bx%5Cin%5COmega%7DP%28%7Bx%7D%29%5Clog%7BQ%28x%29%7D+%2BH%28P%29+%5Cend%7Balign%7D& alt=&\begin{align} D_{KL}(P||Q) &=\sum_{x \in \Omega}P({x})\log\frac{P(x)}{Q(x)} \\ & =-\sum_{x\in\Omega}P({x})\log{Q(x)} +\sum_{x\in\Omega}P({x})\log{P(x)} \\ & =-\sum_{x\in\Omega}P({x})\log{Q(x)} +H(P) \end{align}& eeimg=&1&&&/p&&p&公式的第二项就是熵，先不管这项，用H(P)表示。接下来考虑一个小trick：从Q中抽样n个样本&img src=&https://www.zhihu.com/equation?tex=%7Bx_1%2Cx_2%2C...%2Cx_n%7D& alt=&{x_1,x_2,...,x_n}& eeimg=&1&&，来估算P(x)的经验值(empirical density function)：&br&&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%5Chat%7BP%7D%28x%29%3D%5Cfrac+1+n+%5Csum_%7Bi%3D1%7D%5En+%5Cdelta%28x_i-x%29& alt=&\hat{P}(x)=\frac 1 n \sum_{i=1}^n \delta(x_i-x)& eeimg=&1&&&/p&&p&其中&img src=&https://www.zhihu.com/equation?tex=%5Cdelta%28%5Ccdot%29& alt=&\delta(\cdot)& eeimg=&1&&是狄拉克&img src=&https://www.zhihu.com/equation?tex=%5Cdelta& alt=&\delta& eeimg=&1&&函数，把这项替换到上面公式的P(x)：&/p&&p&&br&&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%5Cbegin%7Balign%7D+D_%7BKL%7D%28P%7C%7CQ%29+%26%3D-%5Csum_%7Bx%5Cin%5COmega%7D%5Cfrac+1+n+%5Csum_%7Bi%3D1%7D%5En+%5Cdelta%28x_i-x%29%5Clog%7BQ%28x%29%7D+%2BH%28P%29+%5C%5C+%26+%3D-%5Cfrac+1+n+%5Csum_%7Bi%3D1%7D%5En+%5Csum_%7Bx%5Cin%5COmega%7D+%5Cdelta%28x_i-x%29%5Clog%7BQ%28x%29%7D+%2BH%28P%29+%5Cend%7Balign%7D& alt=&\begin{align} D_{KL}(P||Q) &=-\sum_{x\in\Omega}\frac 1 n \sum_{i=1}^n \delta(x_i-x)\log{Q(x)} +H(P) \\ & =-\frac 1 n \sum_{i=1}^n \sum_{x\in\Omega} \delta(x_i-x)\log{Q(x)} +H(P) \end{align}& eeimg=&1&&&/p&&p&因为是离散的采样值，所以&img src=&https://www.zhihu.com/equation?tex=%5Csum_%7Bx%5Cin%5COmega%7D+%5Cdelta%28x_i-x%29& alt=&\sum_{x\in\Omega} \delta(x_i-x)& eeimg=&1&&中只有&img src=&https://www.zhihu.com/equation?tex=x%3Dx_i& alt=&x=x_i& eeimg=&1&&的时候狄拉克&img src=&https://www.zhihu.com/equation?tex=%5Cdelta& alt=&\delta& eeimg=&1&&函数才为1，所以考虑&img src=&https://www.zhihu.com/equation?tex=x%3Dx_i& alt=&x=x_i& eeimg=&1&&时这项直接化为1：&/p&&p&&br&&/p&&p&&img src=&https://www.zhihu.com/equation?tex=D_%7BKL%7D%28P%7C%7CQ%29+%3D-%5Cfrac+1+n%5Csum_%7Bi%3D1%7D%5En+%5Clog%7BQ%28x_i%29%7D+%2BH%28P%29& alt=&D_{KL}(P||Q) =-\frac 1 n\sum_{i=1}^n \log{Q(x_i)} +H(P)& eeimg=&1&&&/p&&p&第一项正是似然的负对数形式。&/p&&p&说了些公式似乎跑得有点远了，其实要表达还是那个简单的意思：通过减小两个分布的差异可以让一个分布逼近另一个分布。仔细想想，这正是GAN里面adversarial loss的做法。&/p&&p&很多情况下我们面临的是更为复杂的分布，比如&a href=&https://zhuanlan.zhihu.com/p/& class=&internal&&上篇文章&/a&中的例子，又或是实际场景中更复杂的情况，比如生成不同人脸的图像。这时候，作为具有universal approximation性质的神经网络是一个看上去不错的选择[1]：&br&&/p&&figure&&img src=&https://pic4.zhimg.com/v2-6fee20494f50baae2c1dc5fc_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&1561& data-rawheight=&549& class=&origin_image zh-lightbox-thumb& width=&1561& data-original=&https://pic4.zhimg.com/v2-6fee20494f50baae2c1dc5fc_r.jpg&&&/figure&&p&所以虽然GAN里面同时包含了生成网络和判别网络，但本质来说GAN的目的还是生成模型。从生成式模型的角度，Ian Goodfellow总结过一个和神经网络相关生成式方法的“家谱”[1]：&/p&&figure&&img src=&https://pic1.zhimg.com/v2-8c6f1d8ee39dfbb4fcfb2_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&771& data-rawheight=&498& class=&origin_image zh-lightbox-thumb& width=&771& data-original=&https://pic1.zhimg.com/v2-8c6f1d8ee39dfbb4fcfb2_r.jpg&&&/figure&&p&在这其中，当下最流行的就是GAN和&b&V&/b&ariational &b&A&/b&uto&b&E&/b&ncoder(VAE)，两种方法的一个简明示意如下[3]：&/p&&figure&&img src=&https://pic1.zhimg.com/v2-380cde71a2f6ece28b4a97_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&568& data-rawheight=&274& class=&origin_image zh-lightbox-thumb& width=&568& data-original=&https://pic1.zhimg.com/v2-380cde71a2f6ece28b4a97_r.jpg&&&/figure&&p&本篇不打算展开讲什么是VAE，不过通过这个图，和名字中的autoencoder也大概能知道，VAE中生成的loss是基于重建误差的。而只基于重建误差的图像生成，都或多或少会有图像模糊的缺点，因为误差通常都是针对全局。比如基于MSE(Mean Squared Error)的方法用来生成超分辨率图像，容易出现下面的情况[4]：&/p&&p&&br&&/p&&p&&br&&/p&&figure&&img src=&https://pic1.zhimg.com/v2-78f53b142fab51b0c09a1_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&892& data-rawheight=&598& class=&origin_image zh-lightbox-thumb& width=&892& data-original=&https://pic1.zhimg.com/v2-78f53b142fab51b0c09a1_r.jpg&&&/figure&&p&在这个二维示意中，真实数据分布在一个U形的流形上，而MSE系的方法因为loss的形式往往会得到一个接近平均值所在的位置（蓝色框）。&/p&&p&GAN在这方面则完爆其他方法，因为目标分布在流形上。所以只要大概收敛了，就算生成的图像都看不出是个啥，清晰度常常是有保证的，而这正是去除女优身上马赛克的理想特性！&/p&&p&&br&&/p&&h2&马赛克-&清晰画面：超分辨率(Super Resolution)问题&/h2&&p&说了好些铺垫，终于要进入正题了。首先明确，去马赛克其实是个图像超分辨率问题，也就是如何在低分辨率图像基础上得到更高分辨率的图像：&/p&&figure&&img src=&https://pic2.zhimg.com/v2-31c84b42ad_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&784& data-rawheight=&324& class=&origin_image zh-lightbox-thumb& width=&784& data-original=&https://pic2.zhimg.com/v2-31c84b42ad_r.jpg&&&/figure&&p&视频中超分辨率实现的一个套路是通过不同帧的低分辨率画面猜测超分辨率的画面，有兴趣了解这个思想的朋友可以参考我之前的一个答案：&a href=&https://www.zhihu.com/question//answer/& class=&internal&&如何通过多帧影像进行超分辨率重构？ &/a& &/p&&p&不过基于多帧影像的方法对于女优身上的马赛克并不是很适用，所以这篇要讲的是基于单帧图像的超分辨率方法。&/p&&h2&SRGAN&/h2&&p&说到基于GAN的超分辨率的方法，就不能不提到SRGAN[4]：《Photo-Realistic Single Image &b&S&/b&uper-&b&R&/b&esolution Using a &b&G&/b&enerative &b&A&/b&dversarial&br&&b&N&/b&etwork》。这个工作的思路是：基于像素的MSE loss往往会得到大体正确，但是高频成分模糊的结果。所以只要重建低频成分的图像内容，然后靠GAN来补全高频的细节内容，就可以了：&/p&&figure&&img src=&https://pic3.zhimg.com/v2-128029dfc7c470b07a4a1_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&446& data-rawheight=&131& class=&origin_image zh-lightbox-thumb& width=&446& data-original=&https://pic3.zhimg.com/v2-128029dfc7c470b07a4a1_r.jpg&&&/figure&&p&这个思路其实和最早基于深度网络的风格迁移的思路很像（有兴趣的读者可以参考我之前文章&a href=&https://zhuanlan.zhihu.com/p/& class=&internal&&瞎谈CNN：通过优化求解输入图像&/a&的最后一部分），其中重建内容的content loss是原始图像和低分辨率图像在VGG网络中的各个ReLU层的激活值的差异：&/p&&p&&br&&/p&&figure&&img src=&https://pic3.zhimg.com/v2-331e02e394cfd04e7114a_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&529& data-rawheight=&150& class=&origin_image zh-lightbox-thumb& width=&529& data-original=&https://pic3.zhimg.com/v2-331e02e394cfd04e7114a_r.jpg&&&/figure&&p&生成细节adversarial loss就是GAN用来判别是原始图还是生成图的loss：&/p&&figure&&img src=&https://pic1.zhimg.com/v2-fa5af2a10fe9a4dadfb04_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&394& data-rawheight=&89& class=&content_image& width=&394&&&/figure&&p&把这两种loss放一起，取个名叫perceptual loss。训练的网络结构如下：&/p&&figure&&img src=&https://pic1.zhimg.com/v2-17861edeb4bcfae4e9f369_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&780& data-rawheight=&400& class=&origin_image zh-lightbox-thumb& width=&780& data-original=&https://pic1.zhimg.com/v2-17861edeb4bcfae4e9f369_r.jpg&&&/figure&&p&正是上篇文章中讲过的C-GAN，条件C就是低分辨率的图片。SRGAN生成的超分辨率图像虽然PSNR等和原图直接比较的传统量化指标并不是最好，但就视觉效果，尤其是细节上，胜过其他方法很多。比如下面是作者对比bicubic插值和基于ResNet特征重建的超分辨率的结果：&/p&&figure&&img src=&https://pic4.zhimg.com/v2-f3b4376938ffcbd23c42d_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&981& data-rawheight=&392& class=&origin_image zh-lightbox-thumb& width=&981& data-original=&https://pic4.zhimg.com/v2-f3b4376938ffcbd23c42d_r.jpg&&&/figure&&p&可以看到虽然很多细节都和原始图片不一样，不过看上去很和谐，并且细节的丰富程度远胜于SRResNet。这些栩栩如生的细节，可以看作是GAN根据学习到的分布信息“联想”出来的。&/p&&p&对于更看重“看上去好看”的超分辨率应用，SRGAN显然是很合适的。当然对于一些更看重重建指标的应用，比如超分辨率恢复嫌疑犯面部细节，SRGAN就不可以了。&/p&&h2&pix2pix&/h2&&p&虽然专门用了一节讲SRGAN，但本文用的方法其实是pix2pix[5]。这项工作刚在arxiv上发布就引起了不小的关注，它巧妙的利用GAN的框架解决了通用的Image-to-Image translation的问题。举例来说，在不改变分辨率的情况下：把照片变成油画风格；把白天的照片变成晚上；用色块对图片进行分割或者倒过来；为黑白照片上色；…每个任务都有专门针对性的方法和相关研究，但其实总体来看，都是像素到像素的一种映射啊，其实可以看作是一个问题。这篇文章的巧妙，就在于提出了pix2pix的方法，一个框架，解决所有这些问题。方法的示意图如下：&/p&&p&&br&&/p&&figure&&img src=&https://pic1.zhimg.com/v2-e2ea753b7b0d7f18abee3_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&485& data-rawheight=&437& class=&origin_image zh-lightbox-thumb& width=&485& data-original=&https://pic1.zhimg.com/v2-e2ea753b7b0d7f18abee3_r.jpg&&&/figure&&p&就是一个Conditional GAN，条件C是输入的图片。除了直接用C-GAN，这项工作还有两个改进：&/p&&p&1）&b&利用U-Net结构生成细节更好的图片&/b&[6]&/p&&figure&&img src=&https://pic4.zhimg.com/v2-beb074bebbfa0db_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&907& data-rawheight=&612& class=&origin_image zh-lightbox-thumb& width=&907& data-original=&https://pic4.zhimg.com/v2-beb074bebbfa0db_r.jpg&&&/figure&&p&U-Net是德国Freiburg大学模式识别和图像处理组提出的一种全卷积结构。和常见的先降采样到低维度，再升采样到原始分辨率的编解码(Encoder-Decoder)结构的网络相比，U-Net的区别是加入skip-connection，对应的feature maps和decode之后的同样大小的feature maps按通道拼(concatenate)一起，用来保留不同分辨率下像素级的细节信息。U-Net对提升细节的效果非常明显，下面是pix2pix文中给出的一个效果对比：&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/v2-2fb4ddb2fdc24eea31eea_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&563& data-rawheight=&307& class=&origin_image zh-lightbox-thumb& width=&563& data-original=&https://pic4.zhimg.com/v2-2fb4ddb2fdc24eea31eea_r.jpg&&&/figure&&p&可以看到，各种不同尺度的信息都得到了很大程度的保留。&/p&&p&2）&b&利用马尔科夫性的判别器(PatchGAN)&br&&/b&&/p&&p&pix2pix和SRGAN的一个异曲同工的地方是都有用重建解决低频成分，用GAN解决高频成分的想法。在pix2pix中，这个思想主要体现在两个地方。一个是loss函数，加入了L1 loss用来让生成的图片和训练的目标图片尽量相似，而图像中高频的细节部分则交由GAN来处理：&/p&&figure&&img src=&https://pic4.zhimg.com/v2-cb180ad03d8a72e7883285b_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&447& data-rawheight=&51& class=&origin_image zh-lightbox-thumb& width=&447& data-original=&https://pic4.zhimg.com/v2-cb180ad03d8a72e7883285b_r.jpg&&&/figure&&p&还有一个就是&b&PatchGAN&/b&，也就是具体的GAN中用来判别是否生成图的方法。PatchGAN的思想是，既然GAN只负责处理低频成分，那么判别器就没必要以一整张图作为输入，只需要对NxN的一个图像patch去进行判别就可以了。这也是为什么叫Markovian discriminator，因为在patch以外的部分认为和本patch互相独立。&/p&&p&具体实现的时候，作者使用的是一个NxN输入的全卷积小网络，最后一层每个像素过sigmoid输出为真的概率，然后用BCEloss计算得到最终loss。这样做的好处是因为输入的维度大大降低，所以参数量少，运算速度也比直接输入一张快，并且可以计算任意大小的图。作者对比了不同大小patch的结果，对于256x256的输入，patch大小在70x70的时候，从视觉上看结果就和直接把整张图片作为判别器输入没什么区别了：&/p&&figure&&img src=&https://pic1.zhimg.com/v2-5172ca51efb4ee3e453b15_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&842& data-rawheight=&107& class=&origin_image zh-lightbox-thumb& width=&842& data-original=&https://pic1.zhimg.com/v2-5172ca51efb4ee3e453b15_r.jpg&&&/figure&&h2&生成带局部马赛克的训练数据&/h2&&p&利用pix2pix，只要准备好无码和相应的有码图片就可以训练去马赛克的模型了，就是这么简单。那么问题是，如何生成有马赛克的图片？&/p&&p&有毅力的话，可以手动加马赛克，这样最为精准。这节介绍一个不那么准，但是比随机强的方法：利用分类模型的激活区域进行自动马赛克标注。&/p&&p&基本思想是利用一个可以识别需要打码图像的分类模型，提取出这个模型中对应类的CAM（&b&C&/b&lass &b&A&/b&ctivation &b&M&/b&ap）[7]，然后用马赛克遮住响应最高的区域即可。这里简单说一下什么是CAM，对于最后一层是全局池化(平均或最大都可以)的CNN结构，池化后的feature map相当于是做了个加权相加来计算最终的每个类别进入softmax之前的激活值。CAM的思路是，把这个权重在池化前的feature map上按像素加权相加，最后得到的单张的激活图就可以携带激活当前类别的一些位置信息，这相当于一种弱监督（classification--&localization）：&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/v2-fd28f0b871bd_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&660& data-rawheight=&314& class=&origin_image zh-lightbox-thumb& width=&660& data-original=&https://pic4.zhimg.com/v2-fd28f0b871bd_r.jpg&&&/figure&&p&上图是一个CAM的示意，用澳洲梗类别的CAM，放大到原图大小，可以看到小狗所在的区域大致是激活响应最高的区域。&/p&&p&那么就缺一个可以识别XXX图片的模型了，网上还恰好就有个现成的，yahoo于2016年发布的开源色情图片识别模型Open NSFW(&b&N&/b&ot &b&S&/b&afe &b&F&/b&or &b&W&/b&ork)：&/p&&p&&a href=&https://link.zhihu.com/?target=https%3A//github.com/yahoo/open_nsfw& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&yahoo/open_nsfw&/a&&/p&&p&CAM的实现并不难，结合Open NSFW自动打码的代码和使用放在了这里：&/p&&p&&a href=&https://link.zhihu.com/?target=https%3A//github.com/frombeijingwithlove/dlcv_for_beginners/tree/master/random_bonus/generate_mosaic_for_porno_images& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&给XX图片生成马赛克&/a&&/p&&p&&br&&/p&&p&(成功打码的)效果差不多是下面这样子：&/p&&figure&&img src=&https://pic4.zhimg.com/v2-cbefa39dc983f2645dd8_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&768& data-rawheight=&256& class=&origin_image zh-lightbox-thumb& width=&768& data-original=&https://pic4.zhimg.com/v2-cbefa39dc983f2645dd8_r.jpg&&&/figure&&h2&去除(爱情)动作片中的马赛克&/h2&&p&这没什么好说的了，一行代码都不用改，只需要按照前面的步骤把数据准备好，然后按照pix2pix官方的使用方法训练就可以了：&/p&&p&Torch版pix2pix：&a href=&https://link.zhihu.com/?target=https%3A//github.com/phillipi/pix2pix& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&phillipi/pix2pix&/a&&/p&&p&pyTorch版pix2pix(Cycle-GAN二合一版)：&a href=&https://link.zhihu.com/?target=https%3A//github.com/junyanz/pytorch-CycleGAN-and-pix2pix& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&junyanz/pytorch-CycleGAN-and-pix2pix&/a&&/p&&p&从D盘里随随便便找了几千张图片，用来执行了一下自动打码和pix2pix训练(默认参数)，效果是下面这样：&/p&&p&&br&&/p&&figure&&img src=&https://pic2.zhimg.com/v2-9f52b17c0e1296767cbfbfafc290a5bd_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&814& data-rawheight=&691& class=&origin_image zh-lightbox-thumb& width=&814& data-original=&https://pic2.zhimg.com/v2-9f52b17c0e1296767cbfbfafc290a5bd_r.jpg&&&/figure&&p&什么？你问说好给女优去马赛克呢？女优照片呢？&/p&&figure&&img src=&https://pic4.zhimg.com/v2-480fb8a4dcfc7a4f92ec_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&75& data-rawheight=&60& class=&content_image& width=&75&&&/figure&&p&还是要说一下，在真人照片上的效果比蘑菇和花强。&/p&&h2&对偶学习（Dual Learning）&/h2&&p&去马赛克已经讲完了，接下来就是给女孩穿(tuo)衣服了，动手之前，还是先讲一下铺垫：&b&对偶学习&/b&和&b&Cycle-GAN&/b&。&/p&&p&对偶学习是MSRA于2016年提出的一种用于机器翻译的增强学习方法[8]，目的是解决海量数据配对标注的难题，个人觉得算是一种弱监督方法（不过看到大多数文献算作无监督）。以机器翻译为例，对偶学习基本思想如下图[9]：&/p&&figure&&img src=&https://pic3.zhimg.com/v2-c4b1eeda364fb6c9bada02f3_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&866& data-rawheight=&399& class=&origin_image zh-lightbox-thumb& width=&866& data-original=&https://pic3.zhimg.com/v2-c4b1eeda364fb6c9bada02f3_r.jpg&&&/figure&&p&左边的灰衣男只懂英语，右边的黑衣女只懂中文，现在的任务就是，要学习如何翻译英语到中文。对偶学习解决这个问题的思路是：给定一个模型&img src=&https://www.zhihu.com/equation?tex=f%3Ax%5Crightarrow+y& alt=&f:x\rightarrow y& eeimg=&1&&一上来无法知道f翻译得是否正确，但是如果考虑上&img src=&https://www.zhihu.com/equation?tex=f& alt=&f& eeimg=&1&&的对偶问题&img src=&https://www.zhihu.com/equation?tex=g%3Ay%5Crightarrow+x& alt=&g:y\rightarrow x& eeimg=&1&&，那么我可以尝试翻译一个英文句子到中文，再翻译回来。这种转了一圈的结果&img src=&https://www.zhihu.com/equation?tex=x%27%3Dg%28f%28x%29%29& alt=&x'=g(f(x))& eeimg=&1&&，灰衣男是可以用一个标准（BLEU）判断x'和x是否一个意思，并且把结果的一致性反馈给这两个模型进行改进。同样的，从中文取个句子，这样循环翻译一遍，两个模型又能从黑衣女那里获取反馈并改进模型。其实这就是强化学习的过程，每次翻译就是一个action，每个action会从环境（灰衣男或黑衣女）中获取reward，对模型进行改进，直至收敛。&/p&&p&也许有的人看到这里会觉得和上世纪提出的Co-training很像，这个在知乎上也有讨论：&/p&&p&&a href=&https://www.zhihu.com/question/& class=&internal&&如何理解刘铁岩老师团队在NIPS 2016上提出的对偶学习（Dual Learning）？&/a&&/p&&p&个人觉得还是不一样的，Co-Training是一种multi-view方法，比如一个输入x，如果看作是两个拼一起的特征&img src=&https://www.zhihu.com/equation?tex=x%3D%28x_1%2Cx_2%29& alt=&x=(x_1,x_2)& eeimg=&1&&，并且假设&img src=&https://www.zhihu.com/equation?tex=x_1& alt=&x_1& eeimg=&1&&和&img src=&https://www.zhihu.com/equation?tex=x_2& alt=&x_2& eeimg=&1&&互相独立，那么这时候训练两个分类器&img src=&https://www.zhihu.com/equation?tex=f_1%28%5Ccdot%29& alt=&f_1(\cdot)& eeimg=&1&&和&img src=&https://www.zhihu.com/equation?tex=f_2%28%5Ccdot%29& alt=&f_2(\cdot)& eeimg=&1&&对于任意样本x应该有&img src=&https://www.zhihu.com/equation?tex=f_1%28x_1%29%3Df_2%28x_2%29& alt=&f_1(x_1)=f_2(x_2)& eeimg=&1&&。这对没有标注的样本是很有用的，相当于利用了同一个样本分类结果就应该一样的隐含约束。所以Co-Training的典型场景是少量标注+大量未标注的半监督场景。并且&img src=&https://www.zhihu.com/equation?tex=f_1& alt=&f_1& eeimg=&1&&和&img src=&https://www.zhihu.com/equation?tex=f_2& alt=&f_2& eeimg=&1&&其实是两个不同，但是domain指向相同的任务。而Dual Learning中&img src=&https://www.zhihu.com/equation?tex=f& alt=&f& eeimg=&1&&和&img src=&https://www.zhihu.com/equation?tex=g& alt=&g& eeimg=&1&&是对偶任务，利用的隐含约束是&img src=&https://www.zhihu.com/equation?tex=x%5Crightarrow+y%5Crightarrow+x& alt=&x\rightarrow y\rightarrow x& eeimg=&1&&的cycle consistency。对输入的特征也没有像Co-Training有那么明确的假设，学习方法上也不一样，Dual Learning算是强化学习。&/p&&h2&CycleGAN和未配对图像翻译(Unpaired Image-to-Image Translation)&/h2&&p&CycleGAN，翻译过来就是：轮着干，是结合了对偶学习和GAN一个很直接而巧妙的想法[10]，示意图如下：&/p&&figure&&img src=&https://pic4.zhimg.com/v2-9e7396ebccb7c42302fc97_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&838& data-rawheight=&216& class=&origin_image zh-lightbox-thumb& width=&838& data-original=&https://pic4.zhimg.com/v2-9e7396ebccb7c42302fc97_r.jpg&&&/figure&&p&X和Y分别是两种不同类型图的集合，比如穿衣服的女优和没穿衣服的女优。所以给定一张穿了衣服的女优，要变成没穿衣服的样子，就是个图片翻译问题。CycleGAN示意图中(b)和(c)就是Dual Learning：&/p&&figure&&img src=&https://pic2.zhimg.com/v2-de51cac58b_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&347& data-rawheight=&62& class=&content_image& width=&347&&&/figure&&p&在Dual Learning基础上，又加入了两个判别器&img src=&https://www.zhihu.com/equation?tex=D_X& alt=&D_X& eeimg=&1&&和&img src=&https://www.zhihu.com/equation?tex=D_Y& alt=&D_Y& eeimg=&1&&用来进行对抗训练，让翻译过来的图片尽量逼近当前集合中的图片：&/p&&p&&br&&/p&&figure&&img src=&https://pic3.zhimg.com/v2-e0ea7a6b38bf2a20cea4ea6f741a4c67_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&442& data-rawheight=&59& class=&origin_image zh-lightbox-thumb& width=&442& data-original=&https://pic3.zhimg.com/v2-e0ea7a6b38bf2a20cea4ea6f741a4c67_r.jpg&&&/figure&&p&全考虑一起，最终的loss是：&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/v2-e6d99e7edea969da3dad_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&357& data-rawheight=&87& class=&content_image& width=&357&&&/figure&&p&也许有人会问，那不加cycle-consistency，直接用GAN学习一个&img src=&https://www.zhihu.com/equation?tex=X%5Crightarrow+Y& alt=&X\rightarrow Y& eeimg=&1&&的映射，让生成的Y的样本尽量毕竟Y里本身的样本可不可以呢？这个作者在文中也讨论了，会产生GAN训练中容易发生的mode collapse问题。mode collapse问题的一个简单示意如下[1]：&/p&&p&&br&&/p&&figure&&img src=&https://pic1.zhimg.com/v2-309fce6329592babb784ed_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&842& data-rawheight=&262& class=&origin_image zh-lightbox-thumb& width=&842& data-original=&https://pic1.zhimg.com/v2-309fce6329592babb784ed_r.jpg&&&/figure&&p&上边的是真实分布，下边的是学习到的分布，可以看到学习到的分布只是完整分布的一部分，这个叫做partial mode collapse，是训练不收敛情况中常见的一种。如果是完全的mode collapse，就是说生成模型得到的都是几乎一样的输出。而加入Cycle-consistency会让一个domain里不同的样本都尽量映射到另一个domain里不同的地方，理想情况就是双射（bijection）。直观来理解，如果通过&img src=&https://www.zhihu.com/equation?tex=X%5Crightarrow+Y& alt=&X\rightarrow Y& eeimg=&1&&都映射在Y中同一个点，那么这个点y通过&img src=&https://www.zhihu.com/equation?tex=Y%5Crightarrow+X& alt=&Y\rightarrow X& eeimg=&1&&映射回来显然不可能是多个不同的x，所以加入cycle-consistency就帮助避免了mode collapse。这个问题在另一篇和CycleGAN其实本质上没什么不同的方法DiscoGAN中有更详细的讨论[11]，有兴趣的话可以参考。&/p&&p&&br&&/p&&p&有一点值得注意的是，虽然名字叫CycleGAN，并且套路也和C-GAN很像，但是其实只有adversarial，并没有generative。因为严格来说只是学习了&img src=&https://www.zhihu.com/equation?tex=X%5Crightarrow+Y& alt=&X\rightarrow Y& eeimg=&1&&和&img src=&https://www.zhihu.com/equation?tex=Y%5Crightarrow+X& alt=&Y\rightarrow X& eeimg=&1&&的mapping，所谓的generative network里并没有随机性。有一个和CycleGAN以及DiscoGAN其实本质上也没什么不同的方法叫DualGAN[12]，倒是通过dropout把随机性加上了。不过所有加了随机性产生的样本和原始样本间的cycle-consistency用的还是l1 loss，总觉得这样不是很对劲。当然现在GAN这么热门，其实只要是用了adversarial loss的基本都会取个名字叫XXGAN，也许是可以增加投稿命中率。&/p&&p&另外上节中提到了Co-Training，感觉这里也应该提一下CoGAN[13]，因为名字有些相似，并且也可以用于未配对的图像翻译。CoGAN的大体思想是：如果两个Domain之间可以互相映射，那么一定有一些特征是共有的。比如男人和女人，虽然普遍可以从长相区分，但不变的是都有两个眼睛一个鼻子一张嘴等等。所以可以在生成的时候，把生成共有特征和各自特征的部分分开，示意图如下：&br&&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/v2-57eaadc8cec5190bfd30_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&758& data-rawheight=&207& class=&origin_image zh-lightbox-thumb& width=&758& data-original=&https://pic4.zhimg.com/v2-57eaadc8cec5190bfd30_r.jpg&&&/figure&&p&其实就是两个GAN结构，其中生成网络和判别网络中比较高层的部分都采用了权值共享（虚线相连的部分），没有全职共享的部分分别处理不同的domain。这样每次就可以根据训练的domain生成一个样本在两个domain中不同的对应，比如戴眼镜和没戴眼镜：&/p&&p&&br&&/p&&figure&&img src=&https://pic2.zhimg.com/v2-356a6118ccf3e8e3bf1c7_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&791& data-rawheight=&267& class=&origin_image zh-lightbox-thumb& width=&791& data-original=&https://pic2.zhimg.com/v2-356a6118ccf3e8e3bf1c7_r.jpg&&&/figure&&p&分别有了共有特征和各自domain特征，那么做mapping的思路也就很直接了[14]：&/p&&p&&br&&/p&&figure&&img src=&https://pic3.zhimg.com/v2-8ac50600e40feaac345e09bd7e05a83d_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&771& data-rawheight=&210& class=&origin_image zh-lightbox-thumb& width=&771& data-original=&https://pic3.zhimg.com/v2-8ac50600e40feaac345e09bd7e05a83d_r.jpg&&&/figure&&p&在GAN前边加了个domain encoder，然后对每个domain能得到三种样本给判别器区分：直接采样，重建采样，从另一个domain中transfer后的重建采样。训练好之后，用一个domain的encoder+另一个domain的generator就很自然的实现了不同domain的转换。用在图像翻译上的效果如下：&/p&&p&&br&&/p&&figure&&img src=&https://pic2.zhimg.com/v2-612e9cf5e125fd626be7db_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&444& data-rawheight=&544& class=&origin_image zh-lightbox-thumb& width=&444& data-original=&https://pic2.zhimg.com/v2-612e9cf5e125fd626be7db_r.jpg&&&/figure&&p&还有个巧妙的思路，是把CoGAN拆开，不同domain作为C-GAN条件的更加显式的做法[15]：&/p&&p&&br&&/p&&p&&br&&/p&&figure&&img src=&https://pic1.zhimg.com/v2-ddec16d502c94f91ea35_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&883& data-rawheight=&398& class=&origin_image zh-lightbox-thumb& width=&883& data-original=&https://pic1.zhimg.com/v2-ddec16d502c94f91ea35_r.jpg&&&/figure&&p&第一步用噪声Z作为和domain无关的共享表征对应的latent noise，domain信息作为条件C训练一个C-GAN。第二步，训练一个encoder，利用和常见的encode-decode结构相反的decode(generate)-encode结构。学习好的encoder可以结合domain信息，把输入图像中和domain无关的共享特征提取出来。第三步，把前两步训练好的encoder和decoder(generator)连一起，就可以根据domain进行图像翻译了。&/p&&p&CoGAN一系的方法虽然结构看起来更复杂，但个人感觉理解起来要比dual系的方法更直接，并且有latent space，可解释性和属性对应也好一些。&/p&&p&又扯远了，还是回到正题：&/p&&p&&br&&/p&&h2&给女优穿上衣服&/h2&&p&其实同样没什么好说的，Cycle-GAN和pix2pix的作者是一拨人，文档都写得非常棒，准备好数据，分成穿衣服的和没穿衣服的两组，按照文档的步骤训练就可以：&/p&&p&Torch版Cycle-GAN：&a href=&https://link.zhihu.com/?target=https%3A//github.com/junyanz/CycleGAN& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&junyanz/CycleGAN&/a&&/p&&p&pyTorch版Cycle-GAN（pix2pix二合一版)：&a href=&https://link.zhihu.com/?target=https%3A//github.com/junyanz/pytorch-CycleGAN-and-pix2pix& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&junyanz/pytorch-CycleGAN-and-pix2pix&/a&&/p&&p&Cycle-GAN收敛不易，我用了128x128分辨率训练了穿衣服和没穿衣服的女优各一千多张，同样是默认参数训练了120个epoch，最后小部分成功“穿衣服”的结果如下：&/p&&figure&&img src=&https://pic4.zhimg.com/v2-fee34d66c386e0e01e5804_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&1117& data-rawheight=&192& class=&origin_image zh-lightbox-thumb& width=&1117& data-original=&https://pic4.zhimg.com/v2-fee34d66c386e0e01e5804_r.jpg&&&/figure&&figure&&img src=&https://pic4.zhimg.com/v2-de57c5ebefa4251ee3caa1_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&1117& data-rawheight=&192& class=&origin_image zh-lightbox-thumb& width=&1117& data-original=&https://pic4.zhimg.com/v2-de57c5ebefa4251ee3caa1_r.jpg&&&/figure&&p&虽然都有些突兀，但好歹是穿上衣服了。注意马赛克不是图片里就有的，是我后来加上去的。&/p&&p&那么，脱衣服的例子在哪里？&/p&&figure&&img src=&https://pic4.zhimg.com/v2-480fb8a4dcfc7a4f92ec_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&75& data-rawheight=&60& class=&content_image& width=&75&&&/figure&&h2&参考文献&/h2&&p&[1] I. Goodfellow. Nips 2016 tutorial: Generative adversarial networks. arXiv preprint arXiv:, 2016.&/p&&p&[2] A. B. L. Larsen, S. K. S?nderby, Generating Faces with Torch. &a href=&https://link.zhihu.com/?target=http%3A//torch.ch/blog//gan.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Torch | Generating Faces with Torch&/a&&/p&&p&[3] A. B. L. Larsen, S. K. S?nderby, H. Larochelle, and O. Winther. Autoencoding beyond pixels using a&br&learned similarity metric. In ICML, pages , 2016.&br&&/p&&p&[4] C. Ledig, L. Theis, F. Huszar, J. Caballero, A. Aitken, A. Tejani, J. Totz, Z. Wang, and W. Shi. Photo-realistic single image super-resolution using a generative adversarial network. arXiv:, 2016.&/p&&p&[5] P. Isola, J.-Y. Zhu, T. Zhou, and A. A. Efros. Image-to-image translation with conditional adversarial networks. arxiv, 2016. &/p&&p&[6] O. Ronneberger, P. Fischer, and T. Brox. U-net: Convolutional networks for biomedical image segmentation. In MICCAI, pages 234–241. Springer, 2015.&/p&&p&[7] B. Zhou, A. Khosla, A. Lapedriza, A. Oliva, and A. Torralba. Learning deep features for discriminative localization. arXiv preprint arXiv:, 2015.&/p&&p&[8] He, D., Xia, Y., Qin, T., Wang, L., Yu, N., Liu, T.-Y., and Ma, W.-Y. (2016a). Dual learning for machine translation. In the Annual Conference on Neural Information Processing Systems (NIPS), 2016.&/p&&p&&br&&/p&&p&[9] &a href=&https://link.zhihu.com/?target=http%3A//www.dsrg.stuorg.iastate.edu/wp-content/uploads/2017/02/dual-learning_-pushing-the-new-frontier-of-artificial-intelligence-tieyan-liu.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&& Tie-Yan Liu, Dual Learning: Pushing the New Frontier of Artificial Intelligence, MIFS 2016&/a& &/p&&p&[10] J.-Y. Zhu, T. Park, P. Isola, and A. A. Efros. Unpaired image-to-image translation using cycle-consistent adversarial networkss. arXiv preprint arXiv:, 2017.&/p&&p&[11] T. Kim, M. Cha, H. Kim, J. Lee, and J. Kim. Learning to Discover Cross-Domain Relations with Generative Adversarial Networks. ArXiv e-prints, Mar. 2017.&/p&&p&&br&&/p&&p&[12] Z. Yi, H. Zhang, P. T. Gong, et al. DualGAN: Unsupervised dual learning for image-to-image translation. arXiv preprint arXiv:, 2017.&/p&&p&&br&&/p&&p&[13] M.-Y. Liu and O. Tuzel. Coupled generative adversarial networks. In Advances in Neural Information Processing Systems (NIPS), 2016.&/p&&p&[14] M.-Y. Liu, T. Breuel, and J. Kautz. Unsupervised image-to-image translation networks. arXiv preprint arXiv:, 2017.&/p&&p&[15] Dong, H., Neekhara, P., Wu, C., Guo, Y.: Unsupervised image-to-image translation with generative adversarial networks. arXiv preprint arXiv:, 2017.&/p&&p&=========== 分割线： ===========&/p&&p&上周日发的时候也想到了可能会有许多人对这个话题感兴趣，但没想到超过了1.5W赞这么多，大概看了看评论，做一些补充：&/p&&p&&b&1） &/b&马赛克训练数据：对于一般的机器学习问题，都是分布越简单越容易，遵循这个原则，我用的约束是单人照片，具体方法是：先找一个Pascal VOC训练好的SSD代码，然后SSD筛选了一批每张图里只能检测到一个人的。&/p&&p&最后在真人照片上的效果看上去还是不错的，我没有做过量化评估，大体来说看上去挺像的要超过一半，非常逼真的可能有5%~10%。两人以上战斗的动作画面我没有评估过。&/p&&p&&b&2）&/b&穿（tuo）衣训练数据：因为收敛很难，所以数据的加了更多约束：只用女性单人正面照片。同样通过SSD检测出单人照片，同时考虑person框的宽高比小于1的且框内能检测到人脸的（OpenCV的人脸检测）。这样尽量筛选出一批面向镜头，身体占画面比接近的照片。&/p&&p&最后的效果我在原文中也提到过，只有小部分能成功穿上（tuo）衣服，具体我也没有量化统计过，大概100张里两三张吧，大部分都是身上出现了看上去有点像衣服的线条或是另一个人的胸部。考虑到我最后筛选出的图片人物占画面比仍然有很大的变化，很可能我的模型就是遇到了文中提到的partial mode collapse的问题。&/p&&p&如果有更好的办法筛选出人物大小差不多的照片，效果应该能提升不少。比如我在用SSD筛选的时候如果考虑宽高比更小一些，筛选出的照片看上去会更加一致，不过我资源不太够，这样做后训练集就只有不到300张，资源够的老司机们有兴趣可以试试。&/p&&p&&br&&/p&&p&&b&3）&/b&预训练模型有没有？有，但是我研读了中华人民共和国刑法第三百六十三、三百六十四和三百六十六条，完全读不懂，所以还是不提供。再说就算我提供了，根据1）和2），看到你想看的内容也是需要运气的。&/p&&p&另外特别感谢赞赏的知友们，这篇文章是想说&b&书中自有颜如玉&/b&，而知友们的赞赏让我知道&b&书中真有黄金屋&/b&，古人诚不我欺…&/p&
作为一名久经片场的老司机，早就想写一些探讨驾驶技术的文章。这篇就介绍利用生成式对抗网络（GAN）的两个基本驾驶技能： 1) 去除(爱情)动作片中的马赛克2) 给(爱情)动作片中的女孩穿(tuo)衣服 生成式模型上一篇《》中已经简单介…
1.&Hadoop.Operations.pdf.zip&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/vDOQs6xMAQH62& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&vdisk.weibo.com/s/vDOQs&/span&&span class=&invisible&&6xMAQH62&/span&&span class=&ellipsis&&&/span&&/a&&br&2.&Hadoop权威指南(中文版)(带书签).pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/wxJYuVE573j& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop权威指南(中文版)(带书签).pdf&/a&&br&3.&[Hadoop权威指南(第2版)].pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/vmaSwlKBP5Kt& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&[Hadoop权威指南(第2版)].pdf&/a&&br&4.&hadoop权威指南第3版2012.rar&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/aN4iIpKT0Kml& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&hadoop权威指南第3版2012.rar&/a&&br&&br&5.《Hadoop技术内幕：深入解析HadoopCommon和HDFS.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/dlA_OphOI5AQU& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《Hadoop技术内幕：深入解析Hadoop Common和HDFS.pdf&/a&&br&6.&Hadoop技术内幕：深入解析MapReduce架构设计与实现原理.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/uIsyCUsePIjoh& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop技术内幕：深入解析MapReduce架构设计与实现原理.pdf&/a&&br&&br&7.&Hadoop实战.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/BXMAwF_-NCyZw& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop实战.pdf&/a&&br&8.&Hadoop实战-陆嘉恒(高清完整版).pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/z5rVAAQ3zblXs& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop实战-陆嘉恒(高清完整版).pdf&/a&&br&9.&Hadoop实战(第2版).pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/j6KrzC8boQ1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop实战(第2版).pdf&/a&&br&10.&HadoopinAction.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/BLZQKXQryIW7z& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop in Action.pdf&/a&&br&&br&11&Hadoop in practice.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/CbeFlyMYjJq3C& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop in practice.pdf&/a&&br&12&HadoopThe.Definitive.Guide,3Ed.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/dlQXvZtzIH6KO& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop The.Definitive.Guide,3Ed.pdf&/a&&br&13.&O'Reilly.Hadoop.The.Definitive.Guide.3rd.Edition.May.2012.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/znRfJCcREJGsZ& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&O'Reilly.Hadoop.The.Definitive.Guide.3rd.Edition.May.2012.pdf&/a&&br&&br&14.&hadoop入门实战手册.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/aprYE9iSa5XEs& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&hadoop入门实战手册.pdf&/a&&br&15.&Hadoop入门手册.chm&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/dDOrPlQHwCtJ& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop入门手册.chm&/a&&br&&br&16.&windows下配置cygwin、hadoop等并运行mapreduce及mapreduce程序讲解.doc&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/drDKePjiE_dtP& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&windows下配置cygwin、hadoop等并运行mapreduce及mapreduce程序讲解.doc&/a&&br&17&在Windows上安装Hadoop教程.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/zbLG_VnilVLPF& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&在Windows上安装Hadoop教程.pdf&/a&&br&&br&18.&Hadoop源代码分析(完整版).pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/bef7_LzOlZB5& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop源代码分析(完整版).pdf&/a&&br&19.&hadoop-api.CHM&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/aGkLoGJkdIegt& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&hadoop-api.CHM&/a&&br&&br&20.&HBase-Hadoop@小米.pptx& &a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/z83zdriL8kvgi& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&HBase-Hadoop@小米.pptx&/a&&br&21.&但彬-Hadoop平台的大数据整合.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/u90dUcJt2FEnP& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&但彬-Hadoop平台的大数据整合.pdf&/a&&br&&br&22.&QCon2013-罗李-Hadoop在阿里.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/u5f-a75unTu1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&QCon2013-罗李&/a&&br&23.&百度hadoop计算技术发展.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/aX0ftWKG8HXua& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&百度hadoop计算技术发展.pdf&/a&&br&24.&QCon-吴威-基于Hadoop的海量数据平台.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/Er65NDisGiC& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&QCon-吴威-基于Hadoop的海量数据平台.pdf&/a&&br&25.&8步安装好你的hadoop.docx&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/wfP0FRVUCC1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&8步安装好你的hadoop.docx&/a&&br&26.&hadoop运维经验分享.ppsx&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/Er65NDit1x7& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&hadoop运维经验分享.ppsx&/a&&br&&br&27.&PPT集萃：20位Hadoop专家分享大数据技术工具与最佳实践.rar&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/uf1uFDgIUS3q_& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&PPT集萃：20位Hadoop专家分享大数据技术工具与最佳实践.rar&/a&&br&28.&Hadoop2.0基本架构和发展趋势.pdf&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/z7Iw9cNWdwcfd& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop 2.0基本架构和发展趋势.pdf&/a&&br&29.&Hadoop与大数据技术大会PPT资料.rar&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/aX0ftWKG8HEgB& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop与大数据技术大会PPT资料.rar&/a&&br&30.&Hadoop2011云计算大会.rar&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/aX0ftWKG8HlNE& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hadoop2011云计算大会.rar&/a&&br&&br&31.&hadoop开发者(1~3)期.zip&&a href=&//link.zhihu.com/?target=http%3A//vdisk.weibo.com/s/dpAuMB4WqHl7H& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&hadoop开发者.zip&/a&
1."Hadoop.Operations.pdf.zip" 2."Hadoop权威指南(中文版)(带书签).pdf" 3."[Hadoop权威指南(第2版)].pdf" 4."hadoop权威指南第3版2012.rar"…
&figure&&img src=&https://pic3.zhimg.com/v2-590cc90f8cafc05caf894dbb0a7fcccd_b.jpg&}
我要回帖
更多关于 622848开头是什么银行 的文章
- ·网上622700开头是什么银行行的卡都能买么？
- ·长信科技卡621700开头是什么银行行的
- ·6070930082602111086217开头是什么银行行
- ·621799475000621226开头是什么银行行
- ·还住宅银行贷款是什么的信息格式是什么样
- ·未来的银行资金存管622202开头是什么银行意思
- ·320174开头的622848开头是什么银行行
- ·亿童儿童银行6222开头是什么银行东西
- ·银行自身查帐的流程6214开头是什么银行？
- ·看手机银行保险理财是什么理财写着私是什么意思
- ·:847000653116408622202开头是什么银行行
- ·606622开头的6217开头是什么银行行
- ·网上银行办代款l流程6214开头是什么银行
- ·6217280332902536731621226开头是什么银行行
- ·62284811906214开头是什么银行行
- ·我想问一下622848O4706262gb17116.2这张卡号是哪里的
- ·6223077777302552677什么办银行卡需要什么
- ·622202183005070749是什么银行卡安全码是什么
- ·62270016572500211016214开头是什么银行行?
- ·622320160621799开头是什么银行行
- ·6222800280011012097这是什么银行行号是什么
- ·22454157400000325是什么世界银行指数是什么
- ·6222622848开头是什么银行的是哪个银行
- ·4236623668开头是什么银行行
- ·621367开头的6217开头是什么银行行的卡
- ·995956226开头是什么银行行
- ·01235621700开头是什么银行行
- ·13170622202开头是什么银行行
- ·818621700开头是什么银行行
- ·中国农业银行622848，622848 0606 76092 2975 你好！能不能帮我查一下是哪里的卡号
- ·62225243257884856230开头是什么银行行
- ·12930621226开头是什么银行行
- ·请问6775开头的622848开头是什么银行行的账户？
更多推荐
- ·大一物理学什么内容大学力学知识？
- ·菠萝啤不能和什么一起吃可不可以和鸡精一起做菜吃？
- ·抖音怎么发怎么给地址定位到地图上城市？
- ·给顾客找零钱用英语怎么说英语
- ·给男方有案底,孩子上户口女方查大人以前的案底吗？
- ·小白请问一下电脑服务器清灰工具需要什么工具 请说详细一点
- ·海尔bcd 312wdpm冰箱bcd512wdpm长时间报警怎么办
- ·轻型屋面梯形钢屋架架XG1与XG2有什么分别
- ·私人影院设备怎么买？哪家的设备比较靠谱的兼职网站？
- ·您好，可以发一下十里春风十里不如你资源的资源吗？谢谢
- ·湖南长沙沈阳第一机床厂厂BC6063刨床走刀不走怎么修
- ·佳吉快运物流单号查询物流怎么那么慢啊，十二号发货，二十号才发
- ·德国XOVER瑞士十字背包包是进口的吗？
- ·完成网点储蓄任务金融机构在采取措施施
- ·东鹏瓷砖价格表（凯旋路店）怎么样，好不好的默认
- ·盈利能力不稳定是不是指一种比较稳定的条件
- ·一天赚200元方法;使用有哪些步骤
- ·化验室安全熟食安全,工商可以吗
- ·请问广州房款贷款基准利率按揭利率一般是多少，每个人贷款的利率高低是一样的吗？每个银行是一样的吗？5.7的利率算高吗
- ·12930621226开头是什么银行行
- ·一片绿，你买的基金逢跌买入跌了吗
- ·现在房子房主在国外怎么卖房子就是我，请问我若要维权投诉应该找向
- ·武汉到呼伦贝尔三日游货运公司多少钱
- ·应当缴纳是2030元江苏省物业管理条例条例有这个规定吗
- ·有道过桥米线加盟店排行榜凉皮（三店）的有道炒饭好不好吃
- ·请问申请实用新型专利登记簿副本流程副本时网上缴费流程？
- ·谁能帮助查开房信息
- ·我在邮政储蓄银行贷款十万元一年利息,因资金周转不开,已经逾期一个月啦,我还得两个月能能还钱。现在还剩9万多
- ·请问申请实用新型专利申请缴费的时候网上缴费？
- ·咖啡加工设备店设备
- ·开修车店的洗车店环保局审批难吗会查吗?
- ·求求哪位求有钱人资助吧借我3000块钱快要死了
- ·厦门房子过户手续姐弟俩能赠与房子能过户吗
- ·对收入费用通常采用的营业收入审计程序表是
