본문으로 건너뛰기
인지야공
검색
Ctrl
K
태그
RSS
게임 ↗
가
읽은 글
0 / 132
오늘의 AI 이슈
10편
10
답이 얼마나 길까 — 평균이 아니라 열에 아홉을 예측하는 법
9
GPU 120만 개 — 고장이 일상이 되는 규모의 산수
8
Meta 뮤즈 — 대신 해 주는 에이전트는 언제 물어봐야 하나
7
구글이 로봇 스택을 열었다 — 그 안에 든 세 가지 알고리즘
6
Jev — 글자를 안 만드는 모델은 왜 수백 배 싼가
5
Plugin4Shell — SHA로 못박은 플러그인이 어떻게 뚫렸나
4
744B인데 40B만 쓴다 — Atria Dawn으로 보는 MoE 희소성과 '검증된 경험'
3
역전파 없이 1,000층? — 라그랑주 승수가 오차를 '파도'로 바꾸는 법
2
AI 스웜이 인터넷을 장악한다? — 확산의 산수로 6~12개월을 따져보기
1
나비에-스토크스 "폭발" — AI는 무엇을 증명했고, 왜 외력이 필요했나
딥러닝 기초 정리
56편
56
몬테카를로 트리 탐색 — 계산을 어디에 쓸지 고르기
55
강화학습 기초 — 가치가 퍼져 나간다
54
에이전트와 도구 사용 — 신뢰성의 산수
53
확산 모델 — 잡음에서 되돌아오는 법
52
VAE — 압축하는 법에서 만들어 내는 법으로
51
비전 트랜스포머와 CLIP — 이미지도 토큰이고, 제로샷은 공짜가 아니다
50
근사 최근접 이웃 — 검색을 빠르게 하는 대가
49
RAG — 검색 증강 생성, 모르는 것을 찾아서 답하기
48
차등 프라이버시 — 기억하지 못하게 만들기
47
적대적 예제 — 눈에 안 보이는 변화가 답을 뒤집는다
46
RLHF와 DPO — 선호로 배우기, 그리고 보상 해킹
45
권한 단조성 — 하네스 표준화가 왜 알고리즘 문제인가
44
통제를 잃는다는 것 — 명세 게이밍과 관측 가능성의 값
43
앙상블 — 여러 번 세는 것의 값어치
42
긴 꼬리 — 전체 정확도 88%가 숨기고 있는 것
41
캘리브레이션 — 모델은 자기가 틀린 것을 아는가
40
평가 — 벤치마크 점수는 얼마나 믿을 수 있나
39
토크나이저의 불평등 — 한국어는 왜 비싼가
38
그로킹과 이중 하강 — 일반화는 언제 오는가
37
데이터 — 중복, 오염, 그리고 품질
36
ReLU가 공간을 접는다 — 표현력의 기하
35
문맥 내 학습과 유도 헤드 — 능력이 켜지는 순간
34
기계적 해석가능성 — 프로브에서 회로로
33
중첩 — 잠재 상태는 왜 토큰보다 넓은가
32
긴 문맥 — 위치는 왜 외삽되지 않는가
31
추론 시간 계산 — 더 생각하면 더 맞히나
30
잠재 반복 vs 토큰 사슬 — 추가 계산을 세로로 넣을 것인가 가로로 넣을 것인가
29
루프 트랜스포머 — 깊이를 파라미터가 아니라 시간으로 사는 법
28
모델 병합 — 가중치를 평균내도 되는 이유
27
지식 증류 — 무엇이 옮겨지는가, 그리고 언제 이기는가
26
LoRA — 적은 파라미터로 적응하기
25
분산 학습 — 계산을 나누면 통신이 남는다
24
큰 배치와 그래디언트 축적 — 분산 학습의 산수
23
스펙큘러티브 디코딩 — 작은 모델이 먼저 쓰고 큰 모델이 검사한다
22
추론 서빙 — 처리량과 지연, 그리고 빈자리
21
디코딩과 샘플링 — temperature·top-p가 하는 일
20
전문가 혼합(MoE) — 큰데 싸게, 그리고 저절로 나뉜다
19
혼합정밀도와 그래디언트 체크포인팅 — 학습 메모리를 사는 두 방법
18
양자화 — 비트를 줄여도 되는 이유
17
상태공간모델·선형 어텐션 — 어텐션의 O(N²) 대안
16
플래시 어텐션 — IO를 아는 어텐션
15
KV 캐시와 추론 — 생성은 왜 메모리에 묶이나
14
스케일링 법칙 — 파라미터·데이터·계산의 균형
13
과적합과 규제 — 외우지 못하게 막는 것과 모르는 것을 가르치는 것
12
최적화 — Adam·워밍업·스케줄이 하는 일
11
정규화와 잔차 — 깊이를 견디는 법
10
가중치 초기화 — 첫 걸음의 크기
9
Transformer 각 층 상세 해부
8
위치 인코딩 — 어텐션이 잃어버린 순서를 되돌려 놓는 법
7
Attention 은 어떻게 계산되는가 — Q·K·V 와 병렬 계산의 원리
6
LSTM 완전 풀이 — 초등학생도 따라오는 계산 과정
5
토크나이저와 임베딩 — 텍스트가 숫자가 되기까지
4
그래프 신경망 — 이웃의 평균을 배운다
3
합성곱 신경망 — 같은 필터를 어디에나 댄다
2
역전파 — 기울기를 한 번에 다 구하는 법
1
PyTorch 치트시트 — 실제로 돌려서 검증한 것만 남겼다
인공 지능 공부 치트 시트 정리
14편
14
scikit-learn 치트시트를 다시 쓴다 — 잡음만 있는 데이터에서 85.8%
13
PyTorch 치트시트를 다시 쓴다 — 에러가 나면 차라리 다행이다
12
Keras 치트시트를 다시 쓴다 — 조용히 학습이 안 되는 자리들
11
엑셀 치트시트를 다시 쓴다 — 함수보다 참조와 버전이 문제다
10
CS229 수학 리프레셔를 다시 쓴다 — 왜 n=30 이고 왜 n-1 인가
9
CS229 딥러닝 치트시트를 다시 쓴다 — 0.25 를 스무 번 곱하면
8
CS229 머신러닝 팁 치트시트를 다시 쓴다 — R² 는 잡음만 넣어도 오른다
7
CS229 비지도학습 치트시트를 다시 쓴다 — 정답이 없을 때 무엇을 믿는가
6
CS229 지도학습 치트시트를 다시 쓴다 — 무엇이 무엇의 특수한 경우인가
5
SciPy 치트시트를 다시 쓴다 — np.matrix 로 시작하지 않는다
4
seaborn 치트시트를 다시 쓴다 — figure 수준과 axes 수준
3
matplotlib 치트시트를 다시 쓴다 — plt 로 시작해서 ax 로 끝난다
2
pandas 치트시트를 다시 쓴다 — loc, 원본이 바뀌는 자리, 그리고 사라진 append
1
NumPy 치트시트를 다시 쓴다 — 축, 뷰, 그리고 지금은 에러가 나는 것들
수학·공학 노트
18편
18
지프의 법칙 — 긴 꼬리는 예외가 아니라 기본값이다
17
UCB — 모르는 것에 이자를 붙인다
16
거부 샘플링 — 싼 분포로 비싼 분포를 정확히 흉내내기
15
로짓과 오즈 — 확률을 더하기로 바꾸는 자리
14
리틀의 법칙 — 처리량과 지연은 따로 고를 수 없다
13
립시츠 상수 — 입력을 조금 밀면 출력이 얼마나 밀리나
12
평균의 분산 — 여럿을 모아도 줄지 않는 부분
11
가우시안 메커니즘 — 프라이버시를 사는 값
10
표본 오차 — 몇 개를 재야 믿을 수 있나
9
엔트로피와 KL 발산 — 분포로 가르친다는 것
8
저계수 행렬과 SVD — 큰 행렬을 작게 쪼개기
7
한 번에 풀기의 벽 — 층을 늘려도 안 되는 것
6
산술 강도와 메모리 대역폭 — 왜 GPU가 놀고 있나
5
야코비안 — 다변수 함수의 '기울기 행렬'
4
고차원의 기하 — 무작위 벡터는 왜 거의 직교한가
3
정규분포 다루기 — 잡음의 덧셈과 재매개변수화
2
부동소수점 — fp32·fp16·bf16의 범위와 정밀도
1
고유값·고유벡터 — 반복 곱의 운명
산업 현장
1편
1
KEA AX 확산 사례 교육 참관 정리 — LG이노텍·대덕전자·서울AI허브
ADP
10편
9
ADP 실기 — 17회부터 26회까지, 무엇이 반복되는가
8
ADP 실기 — 텍스트 마이닝, 한글이 오히려 안전하다
7
ADP 실기 — 시계열, 정상성부터 확인하고 들어간다
6
ADP 실기 — 군집·연관·네트워크, 정답이 없는 문제들
5
ADP 실기 — 분류 모델 여덟 개와 평가
4
ADP 실기 — 회귀분석, 적합보다 진단이 배점이다
3
ADP 실기 — 통계 검정, 가설부터 쓰고 시작한다
2
ADP 실기 — EDA 와 전처리, 손이 먼저 나가야 하는 것들
1
ADP 실기 — 시험장 환경에 있는 것과 없는 것
0
ADP 필기 — 따로 정리할 것이 없는 이유
강의 요약
12편
12
스마트시티를 위한 데이터 시각화 — 기대와 달랐고, 그래서 남았다
11
선형대수로 배우는 빅데이터 — 네 번째 도전에서 열린 문
10
빅데이터를 위한 확률과 통계 — 현장에서 쓰던 것들의 이름 찾기
9
자율주행이동체 ③ 커넥티드·전동화·인지, 그리고 혼동 개념 정리
8
자율주행이동체 ② 고장이 없어도 위험하다 — 안전과 보안 표준
7
자율주행이동체 ① AUTOSAR 와 소프트웨어 정의 차량
6
제조데이터 분석 및 최적화 — 암묵지를 형식지로
5
딥러닝 — 사람이 3을 3으로 읽는 이유와 그 밑의 수학
4
패턴인식 — 좋은 특징이란 무엇인가
3
강화학습 — 벨만 방정식에서 정책 그라디언트까지
2
IoT 플랫폼과 IoT 장치 — 라즈베리파이에서 MQTT까지
1
영상처리 — 픽셀에서 특징 매칭까지
빅데이터분석기사
11편
11
실기 — 전처리부터 평가까지의 흐름
10
시계열 분석 — ARIMA 를 세 글자로 읽기
9
알고리즘 정리 — SVM부터 XGBoost까지
8
모델 평가 지표 — 회귀 · 분류 · 군집 · 연관
7
확률 분포 — 서로 어떻게 이어져 있는가
6
통계의 지도 — 기술통계와 추론통계, 척도, 그리고 자유도
5
분석 기획 — 무엇을 먼저 할 것인가
4
개인정보와 비식별 조치
3
빅데이터 처리 기술 — 수집부터 시각화까지
2
빅데이터는 무엇이 달라진 것인가
1
데이터에서 지혜까지, 그리고 그것을 담는 그릇
태그로 보기 →
구독
📡
RSS 로 새 글 받기
📌
홈 화면에 추가
RSS 주소를 구독기(Feedly · Inoreader 등)에 넣으면 새 글이 자동으로 온다.
#손실스케일링
1편
혼합정밀도와 그래디언트 체크포인팅 — 학습 메모리를 사는 두 방법
학습은 메모리가 모자라 막힌다. 반정밀도로 담으면 메모리가 절반이고 행렬곱이 2.8배 빨랐다. 다만 fp16은 범위가 좁아 작은 그라디언트 2.4%가 0으로 사라졌고, 손실을 1024배 키웠다 되돌리니 0%가 됐다. 그리고 활성값을 저장하지 않고 다시 계산하니 메모리가 24.9배 줄고 시간은 1.78배만 늘었다
2026-09-22
← 태그 전체
Esc
↑
↓
고르기
Enter
열기
Esc
닫기