望关乡| 西苑东口| 五三镇| 乌日尼勒图嘎查| 吓厝| 西韩信村委会| 西吉尔镇| 西寺坡镇| 西广大街| 西毛盖图| 吴庄南站| 翁到| 外河| 西王平村| 西六方镇| 西坝村| 王集镇| 万春镇| 溪洋村| 西山角| 西坝二路| 文圣街道| 王串厂一路水明里| 下板城镇| 西三镇| 污水净化中心| 文学乡| 王埠| 西关大街联兴里| 乌兰布拉格| 西双版纳傣族自治州| 西后街村委会| 温泉乡| 宛平南路机场路| 西沈庄村| 文光街道| 西广村| 王店| 乌鲁木齐西路街道| 韦德尧| 五道箐乡| 乌兰布统乡| 西兴街道| 维西县西双版纳傣族自治州| 万宝镇| 五街社区| 西岐村交界| 望京西园三区社区| 威家镇| 吾吾子| 西万年| 王串场一路开云里| 乌拉特前旗| 西五里营桥| 万兴乡| 唯尔生物| 卧牛石乡| 悟塘| 乌鱼堰| 溪东| 西城街道| 西边体育馆| 西区大道东口| 西洼| 西丰镇| 五营区| 武疃村| 乌龟山| 文渠乡| 王老铺村| 卫胡同| 望江西路| 洼里王镇| 无锡新加坡工业园| 五号路十二号大街口| 五角塘| 喂马乡| 瓦窑白族彝族镇| 团结府桥何| 西联干校| 五凤兰亭| 万安路| 西高新| 网龙公司| 西河窑子| 围垦指挥部| 西溪寮村| 五常镇| 西苑城| 五沙| 西顺河镇| 尾园村| 西京花园| 韦德尧| 溪底| 万里桥| 吴耳村| 惜字宫南街| 乌吉热克乡| 西友戈庄| 望州岗| 乌石岭| 西碱厂乡| 万第镇| 温泉县| 务欢池镇| 西红门三村| 西万善| 西颐社区| 万安乡| 王爱召镇| 王母观| 王家大院子| 文明镇| 卧龙| 未央区| 喂马乡| 王家店| 驼峰乡| 西徐家村委会| 西墕乡| 西虹路| 吴家村路十号院社区| 乌兰察布路街道| 乌当区| 王岗乡| 夏场| 西街村委会| 武圣路| 王毛孙村委会| 万东镇| 西郭峪村| 五堡三区| 万东路阳新里单元| 西罗园街道| 乌梁素太乡| 王丕镇| 西沙群岛| 吴家营乡| 万辛庄大街| 西京公司| 王家围子| 西郭寨村委会| 王灵镇| 西峰坝村| 蔚才沟村| 五中后大道| 王家坪镇| 乌兰塔拉乡| 下白| 尉家坡| 吴凇路| 西尹家| 王家磨村| 五方乡| 物资大楼| 西孟轲村委会| 望垭镇| 乌旗山乡| 西游记宫| 团堡镇| 王公塘| 温德河| 五化村| 五连点| 五四连| 西北村| 奚官营村| 西燕| 西直门长途汽车站| 卫国道月华里单元| 五福镇| 五分地镇| 坞城路| 文景苑| 韦庙村委会| 望京西园三区东门| 卫津南路西| 苇沟大桥| 湾家村| 习水| 西岙乡| 魏屯镇| 外炮台| 西河区街道| 武清区| 王舍人镇| 拖坝乡| 西固城乡| 吴堡| 苇子沟乡| 团结道| 乌鲁木齐路| 翁仔山| 万全镇| 西长沟村| 稳坪镇| 下初镇| 文景公园| 团结街道| 武家庄乡| 隰县| 文安驿镇| 西岭肚| 闻桥| 西安工业学院未央校区| 卫国道云丽园| 西菜园乡政府| 万润社区| 武侯大道口| 西王坊村委会| 王宅镇| 五头村| 西陵里| 西直河| 王府园| 苇子沟街道| 武宁县| 西北大学南校区北门| 西站前街地道| 文华路| 武庆区| 吴忠市| 西白山头| 西江乡| 西昌县| 武威地区| 物资大楼| 吴中路| 西湖道西湖里| 西来桥镇| 西林区| 五中后大道青春南里| 西堤头镇东堤头村院西胡同| 西上| 西俄洛乡| 乌江路| 卫国道翠阜新村| 文王庄村委会| 魏家岭乡| 瓦店| 西利见| 乌当区| 瓦子峪镇| 西里| 屋脚蒙古族乡| 王家堡村| 西湾乡| 卧虎沟乡| 西张庄村委会| 习城乡| 王爷坟| 西井| 王谦寺镇| 西马场南里社区| 五堡乡| 洗脑壳| 文慧园路社区| 西阳邵三村村委会| 西梨园村| 王串场新村二十四段| 西沙各庄村| 汶河| 西关大街南台子胡同| 文峰路街道| 西清道建设里| 文琼| 五区社区| 西坡乡| 望江西路| 五福| 五通村| 西花| 西街小学| 百度

无力退还70万用户押金 这家共享单车将破产清算

2018-08-22 11:03 来源:39健康网

  无力退还70万用户押金 这家共享单车将破产清算

  百度把史前时期的经济基础与夏商周时期的经济基础进行对比,可以看出两者相差极大,比如猪、牛、羊、马的数量和比例都有明显的区别,唯独狗的数量,基本上没有变化。当他看到《新华字典》书名是集纳鲁迅的字,便说:“我就不赞成,拼成的字不是艺术。

律重官物在我国传统时代的王朝法典中,一般把贪污问题放在盗律项下处理,亦即将贪污作为一种盗行为来处理。这当然没有任何不敬的意思,只是做一个客观分析,反映一个业内共识。

  时代虽然不同,但今天重温延安时期的精兵简政,对于我们做好这项工作,仍有一定的借鉴意义。”真正意义的“现代”20世纪前半叶中国社会现实的动荡和奋起反抗外来侵略的大潮使得那一代的艺术家、知识分子都具有强烈的忧患意识。

  家犬在这一地区与人类共同生活了上万年之后,于万年前开始向西迁徙。总之,在过去相当长一个时期里,中国在世界反法西斯战争中的地位、作用及其重大贡献是远远被低估了。

1957年,《新华字典》改由商务印书馆出版,称新1版。

  邓子恢曾因为讲真话,受到了批评。

  父亲是一个对党对人民负责,全心全意为人民服务的革命家。徐悲鸿是经过新文化运动洗礼的一代艺术家,“现代”这个概念是所有人都会面临的问题。

  ”真正意义的“现代”20世纪前半叶中国社会现实的动荡和奋起反抗外来侵略的大潮使得那一代的艺术家、知识分子都具有强烈的忧患意识。

  号哭满路,骂曰:‘贼臣崔胤召朱温来倾覆社稷,使我曹流离至此!’老幼襁属,月余不绝。在这方面,只能说有些学科是“自带流量”的。

  习近平的回信,不仅肯定了他们的做法,而且赋予了雷锋精神的新内涵:“希望在践行社会主义核心价值观中,积极向上向善,持之以恒地推进奉献岗位、奉献社会实践活动,以实际行动书写新时代的雷锋故事。

  百度我们期待在今后的考古发掘和动物考古学研究中有新的发现。

  作为中央苏区的第一任财政部长,邓子恢所做的工作为中央苏区的财政支撑,起到了非常重大的作用,保证了中央苏区各种运动的开展,也有力地支持了中央红军第四次、第五次反围剿运动的供给。时隔70多年,苏萌依旧清楚记得白求恩在台上的那番讲话,他模仿白求恩的语气时两眼放光,激动地挥舞着拳头,原本平淡的叙述语气变得慷慨激昂,听来令人心动。

  百度 百度 百度

  无力退还70万用户押金 这家共享单车将破产清算

 
责编:
炼数成金 门户 商业智能 深度学习 查看内容

无力退还70万用户押金 这家共享单车将破产清算

百度 司马懿,字仲达,今河南温县人。

2018-2-7 11:03| 发布者: 炼数成金_小数| 查看: 36928| 评论: 0|原作者: Julius|来自: 机器学习炼丹记

摘要: 机器学习界的炼丹师们最喜欢的数据有什么特点?窃以为,莫过于“独立同分布”了,即 independent and identically distributed,简称为 i.i.d. 独立同分布并非所有机器学习模型的必然要求(比如 Naive Bayes 模型就 ...

网络 工具 模型 机器学习 神经网络

“ 深度神经网络模型训练之难众所周知,其中一个重要的现象就是 Internal Covariate Shift. Batch Normalization 大法自 2015 年由Google 提出之后,就成为深度学习必备之神器。自 BN 之后, Layer Norm / Weight Norm / Cosine Norm 等也横空出世。本文从 Normalization 的背景讲起,用一个公式概括 Normalization 的基本思想与通用框架,将各大主流方法一一对号入座进行深入的对比分析,并从参数和数据的伸缩不变性的角度探讨 Normalization 有效的深层原因。本文是该系列的第一篇。”


01、为什么需要 Normalization
1.1  独立同分布与白化
机器学习界的炼丹师们最喜欢的数据有什么特点?窃以为,莫过于“独立同分布”了,即 independent and identically distributed,简称为 i.i.d. 独立同分布并非所有机器学习模型的必然要求(比如 Naive Bayes 模型就建立在特征彼此独立的基础之上,而Logistic Regression 和 神经网络 则在非独立的特征数据上依然可以训练出很好的模型),但独立同分布的数据可以简化常规机器学习模型的训练、提升机器学习模型的预测能力,已经是一个共识。

因此,在把数据喂给机器学习模型之前,“白化(whitening)”是一个重要的数据预处理步骤。白化一般包含两个目的:

(1)去除特征之间的相关性 —> 独立;

(2)使得所有特征具有相同的均值和方差 —> 同分布。

白化最典型的方法就是PCA,本文不再展开。

1.2 深度学习中的 Internal Covariate Shift
深度神经网络模型的训练为什么会很困难?其中一个重要的原因是,深度神经网络涉及到很多层的叠加,而每一层的参数更新会导致上层的输入数据分布发生变化,通过层层叠加,高层的输入分布变化会非常剧烈,这就使得高层需要不断去重新适应底层的参数更新。为了训好模型,我们需要非常谨慎地去设定学习率、初始化权重、以及尽可能细致的参数更新策略。

Google 将这一现象总结为 Internal Covariate Shift,简称 ICS. 什么是 ICS 呢?@魏秀参 在一个回答中做出了一个很好的解释:

大家都知道在统计机器学习中的一个经典假设是“源空间(source domain)和目标空间(target domain)的数据分布(distribution)是一致的”。如果不一致,那么就出现了新的机器学习问题,如 transfer learning / domain adaptation 等。而 covariate shift 就是分布不一致假设之下的一个分支问题,它是指源空间和目标空间的条件概率是一致的,但是其边缘概率不同,即:对所有有:


但是


大家细想便会发现,的确,对于神经网络的各层输出,由于它们经过了层内操作作用,其分布显然与各层对应的输入信号分布不同,而且差异会随着网络深度增大而增大,可是它们所能“指示”的样本标记(label)仍然是不变的,这便符合了 covariate shift 的定义。由于是对层间信号的分析,也即是 “internal”的来由。

1.3 ICS 会导致什么问题?
简而言之,每个神经元的输入数据不再是“独立同分布”。

其一,上层参数需要不断适应新的输入数据分布,降低学习速度。

其二,下层输入的变化可能趋向于变大或者变小,导致上层落入饱和区,使得学习过早停止。

其三,每层的更新都会影响到其它层,因此每层的参数更新策略需要尽可能的谨慎。

02、Normalization 的基本思想与框架
我们以神经网络中的一个普通神经元为例。神经元接收一组输入向量


通过某种运算后,输出一个标量值:


由于 ICS 问题的存在, x 的分布可能相差很大。要解决独立同分布的问题,“理论正确”的方法就是对每一层的数据都进行白化操作。然而标准的白化操作代价高昂,特别是我们还希望白化操作是可微的,保证白化操作可以通过反向传播来更新梯度。

因此,以 BN 为代表的 Normalization 方法退而求其次,进行了简化的白化操作。基本思想是:在将 x 送给神经元之前,先对其做平移和伸缩变换, 将 x 的分布规范化成在固定区间范围的标准分布。

通用变换框架就如下所示:


我们来看看这个公式中的各个参数。

(1) μ 是平移参数(shift parameter), σ 是缩放参数(scale parameter)。通过这两个参数进行 shift 和 scale 变换: 


得到的数据符合均值为 0、方差为 1 的标准分布。

(2)b 是再平移参数(re-shift parameter),b 是再缩放参数(re-scale parameter)。将 上一步得到的 \hat{x} 进一步变换为: 

最终得到的数据符合均值为 b 、方差为 g^2 的分布。

奇不奇怪?奇不奇怪?
说好的处理 ICS,第一步都已经得到了标准分布,第二步怎么又给变走了?

答案是——为了保证模型的表达能力不因为规范化而下降。

我们可以看到,第一步的变换将输入数据限制到了一个全局统一的确定范围(均值为 0、方差为 1)。下层神经元可能很努力地在学习,但不论其如何变化,其输出的结果在交给上层神经元进行处理之前,将被粗暴地重新调整到这一固定范围。

沮不沮丧?沮不沮丧?
难道我们底层神经元人民就在做无用功吗?

所以,为了尊重底层神经网络的学习结果,我们将规范化后的数据进行再平移和再缩放,使得每个神经元对应的输入范围是针对该神经元量身定制的一个确定范围(均值为 b 、方差为 g^2 )。rescale 和 reshift 的参数都是可学习的,这就使得 Normalization 层可以学习如何去尊重底层的学习结果。

除了充分利用底层学习的能力,另一方面的重要意义在于保证获得非线性的表达能力。Sigmoid 等激活函数在神经网络中有着重要作用,通过区分饱和区和非饱和区,使得神经网络的数据变换具有了非线性计算能力。而第一步的规范化会将几乎所有数据映射到激活函数的非饱和区(线性区),仅利用到了线性变化能力,从而降低了神经网络的表达能力。而进行再变换,则可以将数据从线性区变换到非线性区,恢复模型的表达能力。

那么问题又来了——

经过这么的变回来再变过去,会不会跟没变一样?

不会。因为,再变换引入的两个新参数 g 和 b,可以表示旧参数作为输入的同一族函数,但是新参数有不同的学习动态。在旧参数中, x 的均值取决于下层神经网络的复杂关联;但在新参数中, 仅由 b 来确定,去除了与下层计算的密切耦合。新参数很容易通过梯度下降来学习,简化了神经网络的训练。

那么还有一个问题(问题怎么这么多!)——

这样的 Normalization 离标准的白化还有多远?

标准白化操作的目的是“独立同分布”。独立就不说了,暂不考虑。变换为均值为 b 、方差为 g^2 的分布,也并不是严格的同分布,只是映射到了一个确定的区间范围而已。(所以,这个坑还有得研究呢!)

欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识
QQ群:81035754

相关阅读

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2018-8-7 20:36 , Processed in 0.093419 second(s), 24 queries .

百度