← ΠœΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Ρ‹ Ρ€Π°Π·Π±ΠΎΡ€Ρ‹ Yersham
Ρ€Π°Π·Π±ΠΎΡ€ Β· биология
1.0
ΠΈΠ· 10
ΡΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Π½Π΅ ΠΎΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎ β€” Π·Π°Π±Ρ€Π°Ρ‚ΡŒ Π²Ρ‹ΠΆΠΈΠΌΠΊΡƒ ΠΈ ΠΏΡƒΠ½ΠΊΡ‚Ρ‹
ΠΎΡ†Π΅Π½ΠΊΠ° машинная ΠΈ частично зависит ΠΎΡ‚ Π΄Π»ΠΈΠ½Ρ‹ Ρ€ΠΎΠ»ΠΈΠΊΠ° β€” споритС, ΠΎΡ‚ΠΊΡ€Ρ‹Π²Π°ΠΉΡ‚Π΅ ΠΎΡ€ΠΈΠ³ΠΈΠ½Π°Π»

ΠœΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΡƒΠ΅ΠΌΡ‹Π΅ трансформСры для Π±Π΅Π»ΠΊΠΎΠ²

πŸ”¬ The Bitter Lesson is Coming for Proteins - Alex Rives, BioHub

ΠœΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΡƒΠ΅ΠΌΡ‹Π΅ трансформСры для Π±Π΅Π»ΠΊΠΎΠ² Π²Ρ‹ΡΠ²Π»ΡΡŽΡ‚ ΡΠ²ΠΎΠ»ΡŽΡ†ΠΈΠΎΠ½Π½Ρ‹Π΅ закономСрности ΠΈ способны ΠΏΡ€Π΅Π΄ΡΠΊΠ°Π·Ρ‹Π²Π°Ρ‚ΡŒ структуры ΠΈ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ Π±Π΅Π»ΠΊΠΎΠ² Π±Π΅Π· ΠΏΡ€Π΅Π΄Π²Π°Ρ€ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… биологичСских Π·Π½Π°Π½ΠΈΠΉ. Π­Ρ‚ΠΎ позволяСт ΡΠΎΠ·Π΄Π°Π²Π°Ρ‚ΡŒ ΠΌΠΎΠ΄Π΅Π»ΠΈ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π½Π΅ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΏΡ€Π΅Π΄ΡΠΊΠ°Π·Ρ‹Π²Π°ΡŽΡ‚, Π½ΠΎ ΠΈ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚ΠΈΡ€ΡƒΡŽΡ‚ Π±Π΅Π»ΠΊΠΈ, открывая Π½ΠΎΠ²Ρ‹Π΅ возмоТности для Π±ΠΈΠΎΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ‚ΠΈΠΊΠΈ ΠΈ Π±ΠΈΠΎΡ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΉ.

ESMC Π΄ΠΎΠΊΠ°Π·Ρ‹Π²Π°Π΅Ρ‚: ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ с ΠΌΠ΅Ρ‚Π°Π³Π΅Π½ΠΎΠΌΠ½Ρ‹ΠΌΠΈ Π΄Π°Π½Π½Ρ‹ΠΌΠΈ замСняСт ΠΈΠ½Π΄ΡƒΠΊΡ‚ΠΈΠ²Π½Ρ‹Π΅ смСщСния, открывая ΠΏΡƒΡ‚ΡŒ ΠΊ Π΄ΠΈΠ·Π°ΠΉΠ½

Ρ‡Ρ‚ΠΎ ΠΈΠ· этого ΠΌΠΎΡ‘

ΠžΠΏΠ΅Ρ€Π°Ρ‚ΠΎΡ€ Π²Ρ…ΠΎΠ΄Π° Π² AI ΠΌΠΎΠΆΠ΅Ρ‚ ΠΈΠ½Ρ‚Π΅Π³Ρ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΏΠΎΠ΄Ρ…ΠΎΠ΄Ρ‹ ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΡƒΠ΅ΠΌΠΎΠ³ΠΎ обучСния ΠΈ интСрпрСтируСмости для оркСстрации биомСдицинских ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ, Π°Π²Ρ‚ΠΎΠΌΠ°Ρ‚ΠΈΠ·Π°Ρ†ΠΈΠΈ Π°Π½Π°Π»ΠΈΠ·Π° Π±Π΅Π»ΠΊΠΎΠ²Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ… ΠΈ создания Π°Π³Π΅Π½Ρ‚ΠΎΠ² для Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ ΠΈ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ Π±Π΅Π»ΠΊΠΎΠ²Ρ‹Ρ… структур.

ВСзисы Ρ€ΠΎΠ»ΠΈΠΊΠ°
ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΠΌΠΎΠ³ΠΎ ΠΊ своСй Ρ€Π°Π±ΠΎΡ‚Π΅ Π»ΠΈΠ½Π·Π° здСсь Π½Π΅ нашла
β–ΈΠ˜ΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΡƒΠ΅ΠΌΡ‹Π΅ языковыС ΠΌΠΎΠ΄Π΅Π»ΠΈ для выявлСния скрытых закономСрностСй Π² биологичСских Π΄Π°Π½Π½Ρ‹Ρ….
β–ΈΠŸΡ€ΠΈΠΌΠ΅Π½ΡΡ‚ΡŒ маскированиС Ρ‚ΠΎΠΊΠ΅Π½ΠΎΠ² для обучСния ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΏΡ€Π΅Π΄ΡΠΊΠ°Π·Ρ‹Π²Π°Ρ‚ΡŒ ΡΠ²ΠΎΠ»ΡŽΡ†ΠΈΠΎΠ½Π½ΠΎ Π·Π½Π°Ρ‡ΠΈΠΌΡ‹Π΅ аминокислоты.
β–ΈΠšΠ»Π°ΡΡ‚Π΅Ρ€ΠΈΠ·ΠΎΠ²Π°Ρ‚ΡŒ Π±Π΅Π»ΠΊΠΎΠ²Ρ‹Π΅ ΠΏΠΎΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ ΠΏΠΎ сходству для прСдсказания структуры Π½Π° ΡƒΡ€ΠΎΠ²Π½Π΅ кластСра, Π° Π½Π΅ ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½ΠΎΠΉ ΠΏΠΎΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ.
β–ΈΠ˜ΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΠΌΠ΅Ρ…Π°Π½ΠΈΡΡ‚ΠΈΡ‡Π΅ΡΠΊΡƒΡŽ ΠΈΠ½Ρ‚Π΅Ρ€ΠΏΡ€Π΅Ρ‚ΠΈΡ€ΡƒΠ΅ΠΌΠΎΡΡ‚ΡŒ ΠΈ sparse autoencoders для понимания ΠΈ Π²ΠΈΠ·ΡƒΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ Π²Π½ΡƒΡ‚Ρ€Π΅Π½Π½ΠΈΡ… прСдставлСний ΠΌΠΎΠ΄Π΅Π»ΠΈ.
ΠΎ Ρ‡Ρ‘ΠΌ говорят, ΠΏΠΎ Π²Ρ€Π΅ΠΌΠ΅Π½ΠΈ
Π³Π»Π°Π²Ρ‹ доводят Π΄ΠΎ 09:56 Β· дальшС ΠΏΠΎ Ρ€ΠΎΠ»ΠΈΠΊΡƒ ΠΌΠ΅Ρ‚ΠΎΠΊ Π½Π΅Ρ‚
01
Π’Π²Π΅Π΄Π΅Π½ΠΈΠ΅ Π² ESMC00:00 β†—
ΠžΠ±Π·ΠΎΡ€ ΠΏΠΎΠ΄Ρ…ΠΎΠ΄Π° ESMC ΠΊ ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠΈΡ€ΡƒΠ΅ΠΌΠΎΠΉ Π±ΠΈΠΎΠ»ΠΎΠ³ΠΈΠΈ Ρ‡Π΅Ρ€Π΅Π· ΠΌΠΎΠ΄Π΅Π»ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΌΠΈΡ€Π° Π±Π΅Π»ΠΊΠΎΠ².
02
Π˜ΡΡ‚ΠΎΡ€ΠΈΡ ΠΈ мотивация01:03 β†—
ΠŸΠΎΡ‡Π΅ΠΌΡƒ ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΡƒΠ΅ΠΌΡ‹Π΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ Ρ€Π°Π±ΠΎΡ‚Π°ΡŽΡ‚ для Π±Π΅Π»ΠΊΠΎΠ², нСсмотря Π½Π° ΠΎΡ‚Π»ΠΈΡ‡ΠΈΠ΅ ΠΎΡ‚ СстСствСнного языка.
03
МодСль ESM ΠΈ Π΅Ρ‘ Ρ€Π°Π·Π²ΠΈΡ‚ΠΈΠ΅06:16 β†—
ОписаниС Ρ‡Π΅Ρ‚Π²Ρ‘Ρ€Ρ‚ΠΎΠ³ΠΎ поколСния ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΈ Π΅Ρ‘ открытости.
04
Π˜Π½Ρ‚Π΅Ρ€ΠΏΡ€Π΅Ρ‚ΠΈΡ€ΡƒΠ΅ΠΌΠΎΡΡ‚ΡŒ ΠΈ sparse autoencoders09:56 β†—
ΠœΠ΅Ρ‚ΠΎΠ΄Ρ‹ Π°Π½Π°Π»ΠΈΠ·Π° Π²Π½ΡƒΡ‚Ρ€Π΅Π½Π½Π΅Π³ΠΎ прСдставлСния ΠΌΠΎΠ΄Π΅Π»ΠΈ для понимания биологичСских ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠΎΠ².
дальшС в дСло
Π‘ΠΎΠ±Ρ€Π°Ρ‚ΡŒ это Π² ΠΌΠ°Ρ€ΡˆΡ€ΡƒΡ‚
всС ΠΌΠ°Ρ€ΡˆΡ€ΡƒΡ‚Ρ‹ β†’
Π½Π΅ Ρ…ΠΎΡ‡Π΅ΡˆΡŒ Ρ€Π°Π·Π±ΠΈΡ€Π°Ρ‚ΡŒΡΡ сам
БдСлаю это ΠΏΠΎΠ΄ Π·Π°Π΄Π°Ρ‡Ρƒ
Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Ρ‹ ΠΈ Ρ†Π΅Π½Ρ‹ β†’
ΠΏΠΎΡ…ΠΎΠΆΠΈΠ΅ ΠΏΠΎ смыслу Β· ΠΈΠ· ΠΎΠ±Π»Π°ΠΊΠ°
Π΅Ρ‰Ρ‘ Ρ€Π°Π·Π±ΠΎΡ€Ρ‹