Pierde în greutate învățarea profundă


pierdeți în greutate cu un revenitor

Rețelele convoluționale sunt un tip specializat de rețele neuronale care utilizează convoluția în locul multiplicării matricei generale în cel puțin unul dintre straturile lor. Arhitectură O rețea neuronală convoluțională constă dintr-un strat de intrare și un strat de ieșire, precum și mai multe straturi ascunse.

Straturile ascunse ale unei CNN constau în mod obișnuit dintr-o serie de straturi convoluționale care se convoluă cu o multiplicare sau alt produs cu puncte.

Funcția de activare este în mod obișnuit un strat ReLU și este ulterior urmată de convoluții suplimentare, cum ar fi straturile de grupare, straturile complet conectate și straturile de normalizare, denumite straturi ascunse, deoarece intrările și ieșirile lor sunt mascate de funcția de activare și de convoluția finală.

Convolutional Când programați un CNN, intrarea este un tensor cu formă număr de imagini x înălțimea imaginii x lățimea imaginii x adâncimea imaginii. Apoi, după ce treceți printr-un strat convoluțional, imaginea devine abstractizată pe o hartă de caracteristici, cu forma numărul de imagini x înălțimea hărții de caracteristici x lățimea hărții de caracteristici x canale de hartă a caracteristicilor.

Un strat convoluțional într-o rețea neuronală ar trebui să aibă următoarele atribute: Miezul convoluțional definit prin lățime și înălțime hiper-parametri.

Cu toate acestea, Adderall cauzează pierderea în greutate la multe persoane. De asemenea, există și alte medicamente pentru pierderea în greutate, vezi mai jos. Adderall are un raport teribil risc-beneficiu pentru pierderea în greutate, deși aceasta va determina majoritatea oamenilor să piardă în greutate. Deci, pierzi în greutate, dar medicamentul în sine te dăunează mai mult decât te avantajează scăderea în greutate. Adderall are un raport risc-beneficiu foarte bun pentru ADHD, deoarece doza este mai mică și poate fi atât de util în școală sau la locul de muncă.

Numărul de canale de intrare și canale de ieșire hiper-parametru. Adâncimea filtrului Convolution canalele de intrare trebuie să fie egală cu numărul de canale adâncimea din harta caracteristicilor de intrare.

Straturile convoluționale convolvă intrarea și transmit rezultatul acesteia la următorul strat. Acest lucru este similar cu răspunsul unui neuron din cortexul vizual la un stimul specific. Fiecare neuron convoluțional procesează date numai pentru câmpul său receptiv.

Deși rețelele neuronale feedforward complet conectate pot fi utilizate pentru a învăța caracteristici, precum și pentru a clasifica datele, nu este practic să aplicați această arhitectură imaginilor. Un număr foarte mare de neuroni ar fi necesar, chiar și într-o arhitectură superficială opusă profundeidatorită dimensiunilor de intrare foarte mari asociate cu imaginile, unde fiecare pixel este o variabilă relevantă.

De exemplu, un strat complet conectat pentru o imagine mică de dimensiunea x are Operațiunea de convoluție aduce o soluție la această problemă, deoarece reduce numărul de parametri liberi, permițând rețelei să fie mai profundă cu mai puțini parametri.

De exemplu, indiferent de dimensiunea imaginii, regiunile de gresie de dimensiuni 5 x 5, fiecare cu aceleași greutăți comune, necesită doar 25 de parametri care pot fi învățați. Prin utilizarea greutăților regularizate peste mai puțini parametri, gradul de dispariție și problemele de gradient exploziv observate în timpul propagării înapoi în rețelele neuronale tradiționale sunt evitate.

gcn pierde in greutate

Împreună Rețelele convoluționale pot include straturi de pooling locale sau globale pentru a simplifica calculul subiacent. Straturile combinate reduc dimensiunile datelor prin combinarea ieșirilor de clustere de neuroni la un strat într-un singur neuron în stratul următor. Combinarea locală combină grupuri mici, de obicei 2 x 2. Combinarea globală acționează asupra tuturor neuronilor stratului convoluțional.

În plus, punerea în comun poate calcula un maxim sau o medie. Combinarea maximă utilizează valoarea maximă din fiecare grup de neuroni din stratul anterior. Ponderea medie utilizează valoarea medie din fiecare grup de neuroni de la nivelul anterior. Complet conectat Straturile complet conectate conectează fiecare neuron dintr-un strat la fiecare neuron din alt strat.

În principiu, este la fel ca rețeaua neuronală tradițională de perceptron multi-strat MLP. Matricea aplatizată trece printr-un strat complet conectat pentru a clasifica imaginile.

Câmp receptiv În rețelele neuronale, fiecare neuron primește intrări de la un anumit număr de locații din stratul anterior. Într-un strat complet conectat, fiecare neuron primește intrări de la fiecare element al stratului anterior. Într-un strat convoluțional, neuronii primesc intrări doar dintr-o subzonă restricționată a stratului anterior. De obicei, subzona are o formă pătrată de exemplu, dimensiunea 5 cu 5.

Rețea neuronală convoluțională - Convolutional neural network - lampioanezburatoare.ro

Zona de intrare a unui neuron se numește câmpul său receptiv. Deci, pierde în greutate învățarea profundă strat complet conectat, câmpul receptiv este întregul strat anterior. Într-un strat convoluțional, zona receptivă este mai mică decât întregul strat anterior. Subzona imaginii originale de intrare în câmpul receptiv crește din ce în ce mai mult pe măsură ce devine mai profundă în arhitectura rețelei.

Acest lucru se datorează aplicării repetate a unei convoluții care ia în considerare valoarea unui anumit pixel, dar și a unor pixeli din jur. Greutăți Fiecare neuron dintr-o rețea neuronală calculează o valoare de ieșire prin aplicarea unei funcții specifice valorilor de intrare provenite din câmpul receptiv din stratul anterior.

Funcția care se aplică valorilor de intrare este determinată de un vector de greutăți și o polarizare de obicei numere reale. Învățarea, într-o rețea neuronală, progresează prin ajustări iterative la aceste prejudecăți și greutăți. Vectorul greutăților și părtinirea sunt numite filtre și reprezintă pierde în greutate învățarea profundă particulare ale intrării de exemplu, o formă anume.

Când sunt adăugate, acestea sunt ponderate într-un mod care este legat de acuratețea cursanților slabi. Datele de intrare neclasificate câștigă o greutate mai mare, iar exemplele clasificate corect pierd greutate.

O caracteristică distinctivă a CNN este că mulți neuroni pot împărți același filtru. Acest lucru reduce amprenta memoriei, deoarece o singură părtinire și un singur vector slabire geo burke greutăți sunt utilizate în toate câmpurile receptive care partajează acel filtru, spre deosebire de fiecare câmp receptiv având propriile părtiniri și ponderare vectorială.

Istorie Proiectarea CNN urmează procesarea vederii în organismele vii. Câmpuri receptive în cortexul vizual Lucrările lui Hubel și Wiesel în anii și au arătat că cortexurile vizuale de pisică și maimuță conțin neuroni care răspund individual la regiuni mici ale câmpului vizual. Cu condiția ca ochii să nu se miște, regiunea spațiului vizual în care stimulii vizuali afectează declanșarea unui singur neuron este cunoscută sub numele de câmpul său receptiv.

Celulele vecine au câmpuri receptive similare și suprapuse. Dimensiunea și locația câmpului receptiv variază sistematic de-a lungul cortexului pentru a forma o hartă completă a spațiului vizual.

Cortexul din fiecare emisferă reprezintă câmpul vizual contralateral. Lucrarea lor din a identificat două tipuri de celule vizuale de bază în creier: celule simplea căror producție este maximizată de muchii drepte având orientări particulare în câmpul lor receptiv celule complexecare au câmpuri receptive mai maria căror ieșire este insensibilă la poziția exactă a marginilor în câmp. Hubel și Wiesel au propus, de asemenea, un model în cascadă al acestor două tipuri de celule pentru utilizare în sarcinile de recunoaștere a modelelor.

A fost inspirat din lucrarea sus menționată a lui Hubel și Wiesel. Neocognitronul a introdus cele două tipuri de bază de straturi în CNN-uri: straturi convoluționale și straturi de prelevare de probe. Un strat convoluțional conține unități ale căror câmpuri receptive acoperă un pierde în greutate învățarea profundă din stratul anterior. Vectorul de greutate setul de parametri adaptivi al pierde în greutate învățarea profundă astfel de unități este adesea numit filtru.

Unitățile pot partaja filtre. Straturile de eșantionare conțin unități ale căror câmpuri receptive acoperă patch-uri de straturi convoluționale anterioare. O astfel de unitate calculează de obicei media activărilor unităților din patch-ul său. Această reducere a eșantionării ajută la clasificarea corectă a obiectelor în scene vizuale chiar și atunci când obiectele sunt deplasate.

Într-o variantă a neocognitronului numită cresceptron, în loc să folosească media spațială a lui Fukushima, J. Weng și colab. Max-pooling-ul este adesea folosit în CNN-urile moderne.

Mai mulți algoritmi de învățare supravegheați și nesupravegheați au fost propuși de-a lungul deceniilor pentru a antrena greutățile unui neocognitron. Astăzi, însă, arhitectura CNN este de obicei instruită prin propagarea înapoi. Neocognitron este primul CNN care necesită unități situate în poziții multiple de retea pentru a avea greutăți partajate.

Neocognitronii au fost adaptați în pentru a analiza semnale care variază în timp. A făcut acest lucru prin utilizarea partajării greutății în combinație cu antrenamentul Backpropagation.

Astfel, utilizând o structură piramidală ca în neocognitron, a realizat o optimizare globală a greutăților în loc de una locală. TDNN-urile sunt rețele convoluționale care împart greutăți de-a lungul dimensiunii temporale.

pierderea de grăsime moarte

Acestea permit procesarea semnalelor vocale în mod invariant în timp. ÎnHampshire și Waibel au introdus o variantă care realizează o convoluție bidimensională. Deoarece aceste TDNN au funcționat pe spectrograme, sistemul de recunoaștere a fonemelor rezultat a fost invariant atât pentru schimbări în timp, cât și în frecvență.

Această invarianță a traducerii a inspirat procesarea imaginilor cu CNN-uri. Placarea ieșirilor de neuroni poate acoperi etape temporizate. TDNN-urile obțin acum cele mai bune performanțe în recunoașterea vorbirii la distanță. Combinarea maximă ÎnYamaguchi și colab. Au făcut acest lucru prin combinarea TDNN-urilor cu gruparea maximă pentru a realiza un sistem de recunoaștere a cuvintelor izolat independent de vorbitor.

În sistemul lor au folosit mai multe TDNN-uri pe cuvânt, câte una pentru fiecare silabă. Rezultatele fiecărui TDNN peste semnalul de intrare au fost combinate folosind gruparea maximă și ieșirile straturilor de grupare au fost apoi transmise rețelelor care efectuează clasificarea cuvântului real.

Recunoașterea imaginii cu CNN-uri antrenate prin coborâre în gradient Un sistem de recunoaștere a numerelor de cod poștal scrise de mână presupunea convoluții în care coeficienții nucleului fuseseră proiectați manual.

Yann LeCun și colab.

Am atâta greutate de pierdut

Învățarea a fost astfel complet automată, a funcționat mai bine decât proiectarea manuală a coeficientului și a fost potrivită pentru o gamă mai largă de probleme de recunoaștere a imaginii și tipuri de imagini. Această abordare a devenit o bază a viziunii computerizate moderne. Abilitatea de a procesa imagini cu rezoluție mai mare necesită straturi mai mari și mai multe de rețele neuronale convoluționale, astfel încât această tehnică este constrânsă de disponibilitatea resurselor de calcul.

Rețea neuronală invariantă de schimbare În mod similar, o rețea neuronală de schimbare invariantă a fost propusă de W. Zhang și colab. Arhitectura și algoritmul de instruire au fost modificate în și aplicate pentru procesarea imaginii medicale și detectarea automată a cancerului de sân în mamografii.

Un design diferit bazat pe convoluție a fost propus în pentru aplicarea la descompunerea semnalelor convolute electromiografice unidimensionale prin deconvoluție.

Acest design a fost modificat în cu alte modele bazate pe de-convoluție.

Carmen Brumă ne spune cum să-ți controlezi greutatea în sarcină

Piramida abstracției neuronale Piramida Abstracției Neurale Arhitectura feed-forward a rețelelor neuronale convoluționale a fost extinsă în piramida de abstracție neuronală prin conexiuni laterale și de feedback. Rețeaua convoluțională recurentă rezultată permite încorporarea flexibilă a informațiilor contextuale pentru a rezolva iterativ ambiguitățile locale.

Spre deosebire de modelele anterioare, au fost generate ieșiri asemănătoare imaginilor la cea mai mare rezoluție, de exemplu, pentru sarcini de segmentare semantică, reconstrucție a imaginii și localizare a obiectelor.

ÎnKS Oh și K. Jung au arătat că rețelele neuronale standard pot fi foarte accelerate pe GPU-uri. Implementarea lor a fost de 20 de ori mai rapidă decât o implementare echivalentă pe CPU. Chellapilla și colab. Implementarea lor a fost de 4 ori mai rapidă decât o implementare echivalentă pe CPU.

Lucrările ulterioare au folosit, de asemenea, GPU-uri, inițial pentru alte tipuri de rețele neuronale diferite de CNNîn special rețelele neuronale nesupravegheate.

ÎnDan Ciresan și colab. Rețeaua lor a depășit metodele anterioare de învățare automată pe baza de referință a cifrelor scrise de mână MNIST.

Impulsat de acesta FDA rapidă la un medicament cu prescripție medicală pentru terapie psihedelică asistată; există mult hype și emoție pentru utilizarea sa pentru a combate tulburările de dispoziție, cum ar fi depresiune. Cu toate acestea, există o altă industrie care dorește o mușcătură din acel extract de ciuperci magice. Piața de pierdere în greutate și management este în valoare de miliarde de dolari în SUA astăzi, reducându-se pe cea a managementului depresiei.

Înau extins această abordare GPU la CNN-uri, obținând un factor de accelerare de 60, cu rezultate impresionante. Înau folosit astfel de CNN-uri pe GPU pentru a câștiga un concurs de recunoaștere a imaginii în care au obținut performanțe supraomenești pentru prima dată. Între 15 mai și 30 septembrieCNN-urile lor au câștigat nu mai puțin de patru concursuri de imagine. O dezvoltare notabilă este o metodă de paralelizare pentru formarea rețelelor neuronale convoluționale pe Intel Xeon Phi, numită Hogwild controlat cu ordinea arbitrară de sincronizare CHAOS.

Caracteristici distinctive În trecut, modelele tradiționale de perceptron multistrat MLP au fost utilizate pentru recunoașterea imaginii. Cu pierde în greutate învățarea profundă acestea, datorită conectivității complete între noduri, acestea au suferit de blestemul dimensionalității și nu s-au scalat bine cu imagini cu rezoluție mai mare.

O imagine de × pixeli cu canale color RGB are 3 milioane de greutăți, ceea ce este prea mare pentru a fi procesat în mod eficient la scară, cu conectivitate completă. De asemenea, o astfel de arhitectură de rețea nu ia în considerare structura spațială a datelor, tratând pixeli de intrare care sunt la distanță în același mod ca pixeli apropiați.

Acest lucru ignoră localitatea de referință în datele de imagine, atât din punct de vedere computerizat, cât și semantic.

Astfel, pierde în greutate învățarea profundă completă a neuronilor este risipitoare în scopuri precum recunoașterea imaginilor care sunt dominate de modele de intrare spațiale locale.

Rețelele neuronale convoluționale sunt variante inspirate din punct de vedere biologic ale perceptronilor multistrat care sunt concepute pentru a emula comportamentul unui cortex vizual. Aceste modele atenuează provocările puse de arhitectura MLP prin exploatarea corelației puternice spațiale locale prezente în imaginile naturale. Straturile unui CNN au neuroni dispuși în 3 dimensiuni : lățime, înălțime și adâncime. Tipuri distincte de straturi, atât conectate local, cât și complet conectate, sunt stivuite pentru a forma o arhitectură CNN.

Conectivitate locală: urmând conceptul de câmpuri receptive, CNN-urile exploatează localitatea spațială prin aplicarea unui model de conectivitate locală între neuronii straturilor adiacente.

Microdozarea și pierderea în greutate - Psihedelicii vă pot îmbunătăți sănătatea?

Pierde în greutate învățarea profundă multor astfel de straturi duce la filtre neliniare care devin din ce în ce mai globale adică receptive la o regiune mai mare de spațiu pixelastfel încât rețeaua creează mai întâi reprezentări ale unor părți mici ale intrării, apoi de la acestea asamblează reprezentări ale unor zone mai mari.

Pierde în greutate învățarea profundă partajate: în CNN-uri, fiecare filtru este reprodus pe întregul câmp vizual. Aceste unități replicate împărtășesc aceeași parametrizare vectorul de greutate și polarizare și formează o hartă a caracteristicilor. Aceasta înseamnă că toți neuronii dintr-un anumit strat convoluțional răspund la aceeași caracteristică în câmpul lor de răspuns specific.

Replicarea unităților în acest mod permite ca harta caracteristicilor rezultate să fie echivariantă în cazul modificărilor în locațiile caracteristicilor de intrare în câmpul vizual, adică acordă echivalență de traducere. Regrupare: în straturile de regrupare ale CNN, hărțile de caracteristici sunt împărțite în subregiuni dreptunghiulare, iar caracteristicile din fiecare dreptunghi sunt eșantionate în mod independent la o singură valoare, de obicei luând valoarea lor medie sau maximă. În plus față de reducerea dimensiunilor hărților de caracteristici, operațiunea de punere în comun acordă un anumit grad de invarianță translațională caracteristicilor conținute în aceasta, permițând CNN să fie mai robustă față de variațiile pozițiilor lor.

Împreună, aceste proprietăți permit CNN-urilor să obțină pierdeți în greutate pe perioada ur mai bună generalizare a pierde în greutate învățarea profundă de vedere.

Partajarea în greutate reduce dramatic numărul de parametri liberi învățați, reducând astfel cerințele de memorie pentru rularea rețelei și permițând instruirea unor rețele mai mari și mai puternice.

Blocuri de construcție O arhitectură CNN este formată dintr-un teanc de straturi distincte care transformă volumul de intrare într-un volum de ieșire de exemplu, deținerea scorurilor clasei printr-o funcție diferențiată. Câteva tipuri distincte de straturi sunt utilizate în mod obișnuit.

Microdozarea și pierderea în greutate

Acestea sunt discutate în continuare mai jos. Neuronii unui strat convoluțional albastruconectați la câmpul lor receptiv roșu Stratul convoluțional Stratul convoluțional este elementul central al unui CNN. Parametrii stratului pierde în greutate învățarea profundă dintr-un set de filtre sau nuclee care pot fi învățatecare au un câmp receptiv mic, dar se extind pe toată adâncimea volumului de intrare.

În timpul trecerii înainte, fiecare filtru este rotit pe lățimea și înălțimea volumului de intrare, calculând produsul punct între intrările filtrului și intrarea și producând o hartă de activare bidimensională a acelui filtru. Ca urmare, rețeaua învață filtre care se activează atunci când detectează un anumit tip de caracteristică la o anumită poziție spațială în intrare.

Stivuirea hărților de activare pentru toate filtrele de-a lungul dimensiunii de adâncime formează volumul complet de ieșire al stratului de convoluție. Fiecare intrare din volumul de ieșire poate fi, de asemenea, interpretată ca o ieșire a unui neuron care privește o regiune mică din intrare și partajează parametrii cu neuronii din aceeași hartă de activare.

Conectivitate locală Arhitectură tipică CNN Atunci când avem de-a face cu intrări de dimensiuni ridicate, cum ar fi imaginile, nu este practic să conectăm neuronii la toți neuronii din volumul anterior, deoarece o astfel de arhitectură de rețea nu ia în considerare structura spațială a datelor.

Rețelele convoluționale exploatează corelația spațială locală prin aplicarea unui tipar de conectivitate locală rar între neuronii straturilor adiacente: fiecare neuron este conectat doar la o mică regiune a volumului de intrare.

Măsura acestei conectivități este un hiperparametru numit câmpul receptiv al neuronului. Conexiunile sunt locale în spațiu de-a lungul lățimii și înălțimiidar întind întotdeauna de-a lungul întregii adâncimi a volumului de intrare. O astfel de arhitectură asigură faptul că filtrele învățate produc cel mai puternic răspuns la un model de intrare spațial local.