0%

lab1的任务是实现一个分布式的MapReduce程序,其中,Map函数和Reduce函数都已经写好,输入输出的文件名已经给出,并且课程也给出了在单个程序里模拟MapReduce任务的示例代码。

分布式程序的框架由有两组程序组成:

  • 第一组的代码是coordinator.go,只有一个进程,这个进程负责把任务分发给工作节点;
  • 第二组的代码是worker.go,有多个进程,从调度节点接收任务,完成后输出到文件;
  • 第三组的代码是rpc.go,主要用于实现rpc调用的参数和返回值的数据结构。

设计这个小的分布式程序的关键可能在于两点:

  • 捋清楚每一步的输入和输出是什么,在模拟程序中,输入和输出是当前程序里的数据结构,而在分布式环境中,输入输出可能是文件名;
  • 捋清楚每个节点自己的工作模式,对于调度节点,它需要知道当前整体任务的进度,把没做完的任务放到任务队列里,整理做完的任务返回的结果,对于工作节点,它需要不断地请求任务,上传结果;
  • 捋清楚每个节点之间的通信协议,调度节点和工作节点之间主要有“申请任务”和“上传结果”两个交互过程,可以设计两个RPC调用。
Read more »

简介

PBFT中的P指的是Practical。PBFT算法的实用性体现在它适用于异步的网络环境,例如因特网。而且相比更早的算法,PBFT将响应时间降低了多个数量级。异步网络环境的不利因素包括:消息发送失败、消息发送超时/延迟、重复发送消息、消息乱序抵达。

PBFT算法在n台相互连接的、运行相同服务的机器(replica)上运行。服务是有状态(stated)的,并且保证在任意状态下,对给定操作(operation),服务节点执行的运算是确定的(deterministic)。

Read more »

基本信息

会议/期刊 ICLR
年份 2021
机构 西安电子科技大学
一作 Yige Li
领域 AI Security, Backdoor Attack, Backdoor Defense, Knowledge Distillation

主要贡献

本文结合注意力蒸馏方法与后门防御策略,提出了一种新的模型后门清除方法Neural Attention Distillation(NAD)。NAD仅需5%的训练集数据,先对backdoored model进行fine-tune,得到teacher,然后再把backdoored model当作student,使用注意力蒸馏方法,固定teacher并训练student。NAD能有效清除6种后门攻击的影响(BadNets、Trojan、Blend、CL、SIG、Refool),并能保持模型在正常数据上的准确率受影响较小。实验表明,NAD算法在ASR和ACC上都超过了fine-tune和剪枝。

Read more »