본문으로 건너뛰기
인지야공
검색
Ctrl
K
태그
RSS
게임 ↗
가
읽은 글
0 / 132
오늘의 AI 이슈
10편
10
답이 얼마나 길까 — 평균이 아니라 열에 아홉을 예측하는 법
9
GPU 120만 개 — 고장이 일상이 되는 규모의 산수
8
Meta 뮤즈 — 대신 해 주는 에이전트는 언제 물어봐야 하나
7
구글이 로봇 스택을 열었다 — 그 안에 든 세 가지 알고리즘
6
Jev — 글자를 안 만드는 모델은 왜 수백 배 싼가
5
Plugin4Shell — SHA로 못박은 플러그인이 어떻게 뚫렸나
4
744B인데 40B만 쓴다 — Atria Dawn으로 보는 MoE 희소성과 '검증된 경험'
3
역전파 없이 1,000층? — 라그랑주 승수가 오차를 '파도'로 바꾸는 법
2
AI 스웜이 인터넷을 장악한다? — 확산의 산수로 6~12개월을 따져보기
1
나비에-스토크스 "폭발" — AI는 무엇을 증명했고, 왜 외력이 필요했나
딥러닝 기초 정리
56편
56
몬테카를로 트리 탐색 — 계산을 어디에 쓸지 고르기
55
강화학습 기초 — 가치가 퍼져 나간다
54
에이전트와 도구 사용 — 신뢰성의 산수
53
확산 모델 — 잡음에서 되돌아오는 법
52
VAE — 압축하는 법에서 만들어 내는 법으로
51
비전 트랜스포머와 CLIP — 이미지도 토큰이고, 제로샷은 공짜가 아니다
50
근사 최근접 이웃 — 검색을 빠르게 하는 대가
49
RAG — 검색 증강 생성, 모르는 것을 찾아서 답하기
48
차등 프라이버시 — 기억하지 못하게 만들기
47
적대적 예제 — 눈에 안 보이는 변화가 답을 뒤집는다
46
RLHF와 DPO — 선호로 배우기, 그리고 보상 해킹
45
권한 단조성 — 하네스 표준화가 왜 알고리즘 문제인가
44
통제를 잃는다는 것 — 명세 게이밍과 관측 가능성의 값
43
앙상블 — 여러 번 세는 것의 값어치
42
긴 꼬리 — 전체 정확도 88%가 숨기고 있는 것
41
캘리브레이션 — 모델은 자기가 틀린 것을 아는가
40
평가 — 벤치마크 점수는 얼마나 믿을 수 있나
39
토크나이저의 불평등 — 한국어는 왜 비싼가
38
그로킹과 이중 하강 — 일반화는 언제 오는가
37
데이터 — 중복, 오염, 그리고 품질
36
ReLU가 공간을 접는다 — 표현력의 기하
35
문맥 내 학습과 유도 헤드 — 능력이 켜지는 순간
34
기계적 해석가능성 — 프로브에서 회로로
33
중첩 — 잠재 상태는 왜 토큰보다 넓은가
32
긴 문맥 — 위치는 왜 외삽되지 않는가
31
추론 시간 계산 — 더 생각하면 더 맞히나
30
잠재 반복 vs 토큰 사슬 — 추가 계산을 세로로 넣을 것인가 가로로 넣을 것인가
29
루프 트랜스포머 — 깊이를 파라미터가 아니라 시간으로 사는 법
28
모델 병합 — 가중치를 평균내도 되는 이유
27
지식 증류 — 무엇이 옮겨지는가, 그리고 언제 이기는가
26
LoRA — 적은 파라미터로 적응하기
25
분산 학습 — 계산을 나누면 통신이 남는다
24
큰 배치와 그래디언트 축적 — 분산 학습의 산수
23
스펙큘러티브 디코딩 — 작은 모델이 먼저 쓰고 큰 모델이 검사한다
22
추론 서빙 — 처리량과 지연, 그리고 빈자리
21
디코딩과 샘플링 — temperature·top-p가 하는 일
20
전문가 혼합(MoE) — 큰데 싸게, 그리고 저절로 나뉜다
19
혼합정밀도와 그래디언트 체크포인팅 — 학습 메모리를 사는 두 방법
18
양자화 — 비트를 줄여도 되는 이유
17
상태공간모델·선형 어텐션 — 어텐션의 O(N²) 대안
16
플래시 어텐션 — IO를 아는 어텐션
15
KV 캐시와 추론 — 생성은 왜 메모리에 묶이나
14
스케일링 법칙 — 파라미터·데이터·계산의 균형
13
과적합과 규제 — 외우지 못하게 막는 것과 모르는 것을 가르치는 것
12
최적화 — Adam·워밍업·스케줄이 하는 일
11
정규화와 잔차 — 깊이를 견디는 법
10
가중치 초기화 — 첫 걸음의 크기
9
Transformer 각 층 상세 해부
8
위치 인코딩 — 어텐션이 잃어버린 순서를 되돌려 놓는 법
7
Attention 은 어떻게 계산되는가 — Q·K·V 와 병렬 계산의 원리
6
LSTM 완전 풀이 — 초등학생도 따라오는 계산 과정
5
토크나이저와 임베딩 — 텍스트가 숫자가 되기까지
4
그래프 신경망 — 이웃의 평균을 배운다
3
합성곱 신경망 — 같은 필터를 어디에나 댄다
2
역전파 — 기울기를 한 번에 다 구하는 법
1
PyTorch 치트시트 — 실제로 돌려서 검증한 것만 남겼다
인공 지능 공부 치트 시트 정리
14편
14
scikit-learn 치트시트를 다시 쓴다 — 잡음만 있는 데이터에서 85.8%
13
PyTorch 치트시트를 다시 쓴다 — 에러가 나면 차라리 다행이다
12
Keras 치트시트를 다시 쓴다 — 조용히 학습이 안 되는 자리들
11
엑셀 치트시트를 다시 쓴다 — 함수보다 참조와 버전이 문제다
10
CS229 수학 리프레셔를 다시 쓴다 — 왜 n=30 이고 왜 n-1 인가
9
CS229 딥러닝 치트시트를 다시 쓴다 — 0.25 를 스무 번 곱하면
8
CS229 머신러닝 팁 치트시트를 다시 쓴다 — R² 는 잡음만 넣어도 오른다
7
CS229 비지도학습 치트시트를 다시 쓴다 — 정답이 없을 때 무엇을 믿는가
6
CS229 지도학습 치트시트를 다시 쓴다 — 무엇이 무엇의 특수한 경우인가
5
SciPy 치트시트를 다시 쓴다 — np.matrix 로 시작하지 않는다
4
seaborn 치트시트를 다시 쓴다 — figure 수준과 axes 수준
3
matplotlib 치트시트를 다시 쓴다 — plt 로 시작해서 ax 로 끝난다
2
pandas 치트시트를 다시 쓴다 — loc, 원본이 바뀌는 자리, 그리고 사라진 append
1
NumPy 치트시트를 다시 쓴다 — 축, 뷰, 그리고 지금은 에러가 나는 것들
수학·공학 노트
18편
18
지프의 법칙 — 긴 꼬리는 예외가 아니라 기본값이다
17
UCB — 모르는 것에 이자를 붙인다
16
거부 샘플링 — 싼 분포로 비싼 분포를 정확히 흉내내기
15
로짓과 오즈 — 확률을 더하기로 바꾸는 자리
14
리틀의 법칙 — 처리량과 지연은 따로 고를 수 없다
13
립시츠 상수 — 입력을 조금 밀면 출력이 얼마나 밀리나
12
평균의 분산 — 여럿을 모아도 줄지 않는 부분
11
가우시안 메커니즘 — 프라이버시를 사는 값
10
표본 오차 — 몇 개를 재야 믿을 수 있나
9
엔트로피와 KL 발산 — 분포로 가르친다는 것
8
저계수 행렬과 SVD — 큰 행렬을 작게 쪼개기
7
한 번에 풀기의 벽 — 층을 늘려도 안 되는 것
6
산술 강도와 메모리 대역폭 — 왜 GPU가 놀고 있나
5
야코비안 — 다변수 함수의 '기울기 행렬'
4
고차원의 기하 — 무작위 벡터는 왜 거의 직교한가
3
정규분포 다루기 — 잡음의 덧셈과 재매개변수화
2
부동소수점 — fp32·fp16·bf16의 범위와 정밀도
1
고유값·고유벡터 — 반복 곱의 운명
산업 현장
1편
1
KEA AX 확산 사례 교육 참관 정리 — LG이노텍·대덕전자·서울AI허브
ADP
10편
9
ADP 실기 — 17회부터 26회까지, 무엇이 반복되는가
8
ADP 실기 — 텍스트 마이닝, 한글이 오히려 안전하다
7
ADP 실기 — 시계열, 정상성부터 확인하고 들어간다
6
ADP 실기 — 군집·연관·네트워크, 정답이 없는 문제들
5
ADP 실기 — 분류 모델 여덟 개와 평가
4
ADP 실기 — 회귀분석, 적합보다 진단이 배점이다
3
ADP 실기 — 통계 검정, 가설부터 쓰고 시작한다
2
ADP 실기 — EDA 와 전처리, 손이 먼저 나가야 하는 것들
1
ADP 실기 — 시험장 환경에 있는 것과 없는 것
0
ADP 필기 — 따로 정리할 것이 없는 이유
강의 요약
12편
12
스마트시티를 위한 데이터 시각화 — 기대와 달랐고, 그래서 남았다
11
선형대수로 배우는 빅데이터 — 네 번째 도전에서 열린 문
10
빅데이터를 위한 확률과 통계 — 현장에서 쓰던 것들의 이름 찾기
9
자율주행이동체 ③ 커넥티드·전동화·인지, 그리고 혼동 개념 정리
8
자율주행이동체 ② 고장이 없어도 위험하다 — 안전과 보안 표준
7
자율주행이동체 ① AUTOSAR 와 소프트웨어 정의 차량
6
제조데이터 분석 및 최적화 — 암묵지를 형식지로
5
딥러닝 — 사람이 3을 3으로 읽는 이유와 그 밑의 수학
4
패턴인식 — 좋은 특징이란 무엇인가
3
강화학습 — 벨만 방정식에서 정책 그라디언트까지
2
IoT 플랫폼과 IoT 장치 — 라즈베리파이에서 MQTT까지
1
영상처리 — 픽셀에서 특징 매칭까지
빅데이터분석기사
11편
11
실기 — 전처리부터 평가까지의 흐름
10
시계열 분석 — ARIMA 를 세 글자로 읽기
9
알고리즘 정리 — SVM부터 XGBoost까지
8
모델 평가 지표 — 회귀 · 분류 · 군집 · 연관
7
확률 분포 — 서로 어떻게 이어져 있는가
6
통계의 지도 — 기술통계와 추론통계, 척도, 그리고 자유도
5
분석 기획 — 무엇을 먼저 할 것인가
4
개인정보와 비식별 조치
3
빅데이터 처리 기술 — 수집부터 시각화까지
2
빅데이터는 무엇이 달라진 것인가
1
데이터에서 지혜까지, 그리고 그것을 담는 그릇
태그로 보기 →
구독
📡
RSS 로 새 글 받기
📌
홈 화면에 추가
RSS 주소를 구독기(Feedly · Inoreader 등)에 넣으면 새 글이 자동으로 온다.
#적응
1편
LoRA — 적은 파라미터로 적응하기
큰 모델을 통째로 미세조정하는 대신 '저계수 업데이트'만 학습한다. 전체 미세조정으로 바뀐 가중치 ΔW의 특이값을 보니 상위 3개가 지배해, 적응은 사실상 저계수였다. 그래서 기반을 얼리고 rank 4짜리 어댑터만 학습하니 전체 미세조정과 똑같은 손실(0.0001)을 1/42 파라미터로 냈다
2026-09-22
← 태그 전체
Esc
↑
↓
고르기
Enter
열기
Esc
닫기