Deep belief networks (DBNs) are cur

Deep belief networks (DBNs) are currently the dominant technique for modeling the architectural depth of brain, and can be trained efficiently in a greedy layer-wise unsupervised learning manner. However, DBNs without a narrow hidden bottleneck typically produce redundant, continuous-valued codes and unstructured weight patterns. Taking inspiration from rate distortion (RD) theory, which encodes original data using as few bits as possible, we introduce in this paper a variant of DBN, referred to as sparse-response DBN (SR-DBN). In this approach, Kullback–Leibler divergence between the distribution of data and the equilibrium distribution defined by the building block of DBN is considered as a distortion function, and the sparse response regularization induced by L1-norm of codes is used to achieve a small code rate. Several experiments by extracting features from different scale image datasets show that our approach SR-DBN learns codes with small rate, extracts features at multiple levels of abstraction mimicking computations in the cortical hierarchy, and obtains more discriminative representation than PCA and several basic algorithms of DBNs.

結果 (日本語) 1:

深い信念ネットワーク (DBNs) 現在脳の建築の深さをモデル化するための支配的な技術と貪欲な層教師なし学習の賢明な方法で効率的に訓練することができます。ただし、せず、DBNs 狭い隠されたボトルネック通常生産、連続値の冗長コードおよび構造化されていない重量パターン。できるだけ、元を使用してデータをエンコード レートひずみ理論 (RD) からインスピレーションとしていくつかのビットを取って、紹介しますこの論文では, スパース応答 DBN (SR DBN) と呼ばれる DBN のバリアント。このアプローチではデータの分布および DBN のビルディング ブロックで定義されている平衡分布間 Kullback-leibler ダイバージェンスは歪み関数として考慮され、コードの L1 ノルムによるスパース正則化応答小さなコード率を達成するために使用されます。データセットことを示す SR DBN の取り組み学習率の小さなコード、皮質の階層内の計算の模倣の抽象化の複数のレベルの機能を抽出 PCA よりより多くの差別的表現と DBNs のいくつかの基本的なアルゴリズムを取得します規模の異なる画像から特徴量の抽出によっていくつかの実験。

結果 (日本語) 2:

深い信念ネットワーク（DBNS）現在、脳のアーキテクチャの深さをモデル化するための支配的な技術であり、貪欲層状教師なし学習方法で効率的に訓練することができる。しかし、狭いDBNSずに隠されたボトルは、一般的に、冗長、連続値の符号化および非構造化ウェイトパターンを生成する。できるだけ少ないビットを使用している元のデータを符号化レート歪み（RD）理論、からインスピレーションを取って、私たちはこの論文のようにスパースDBN-応答（SR-DBN）と呼ばれるDBNのバリアントを、ご紹介します。このアプローチでは、データの分布とDBNのビルディングブロックで定義された平衡分布とのカルバック·ライブラー情報量は、歪み関数として考慮され、コードのL1ノルムによって誘導されるスパース正則応答は、小さなコードを達成するために使用され率。異なるスケール画像データセットから特徴を抽出することにより、いくつかの実験では、我々のアプローチのSR-DBNがDBNSのいくつかの基本的なアルゴリズムを皮質階層内の計算を模倣する、抽象化の複数のレベルで特徴を抽出し、小さなレートでコードを学習し、PCAおよび差別的表現よりも多くを取得していることを示している。