AutoCkt: Deep Reinforcement Learning of Analog Circuit Designs
- University of California, Berkeley , Accepted to Design Automation and Test in Europe, 2020
RL기반 회로설계 플랫폼(AutoCkt) 논문입니다. DATE 2020 에 accepted 되었는데 DAC처럼 크게 영향력있는 곳은 아니어보이지만, transfer learning을 통해 exploration 잘된 Agent로 적용했을 때 바로 gain에는 도달한 후, 다른 target에 도달해가는 내용이 있어서 이 부분은 좋은 것 같습니다. 전이학습 방법에 대해서는 어느정도 제약사항이 있어보이긴 합니다.
<Main Contribution>
1. 현존하는 진화알고리즘보다 40배 빠른 속도
-> 기존 RL기반 설계자동화 논문들과 비슷한 내용임.
2. Layout 고려하여 다른 토폴로지로 전이학습(Transfer learning)가능. 전이학습을 통해 9.6배 빠른 속도
-> 미리 exploration 된 agent를 이용하여, 새 토폴로지에 적용시 trajectory 첫 부분부터 hard constraint (gain)이 매우 높았던 실험결과를 보여줌. (아래 그래프 첨부)
-> 어느정도로 transfer가 잘되는지, 토폴로지마다의 한계가 어느정도까지인지 직접 돌려봐야 파악이 가능하겠지만, 진짜라면 기존 논문들에는 없던 내용. 논문에는 1개에 대한 실험결과가 있음 (PEX 라는 시뮬레이션 툴이 무엇인지 감이 안잡히는데 그것에 대한 의존성이 있긴 함)
3. Reward trade off 관계를 이해함. 즉 design space를 이해함. AutoCkt는 target 요구사항 (gain, bandwidth, area등) trade off에 대해서 이해가능함
-> 신선한 내용
4. Target specification에 안정적으로 도달함. 만일 도달하지 못한다면 실제로 도달할 수 없는 회로 구조인 점을 증명함
<Insight>
가장 까다로운 soft constraint (area) 관련 부분은 보이지 않습니다. 논문에서도 아예 언급하지 않았고, 기존에 hard constraint로 알고있던 gain, power, bandwith 등 관련 부분만 보입니다. 토폴로지 Transfer learning 관련 참고하는 것은 의미가 있어보입니다. 코드가 공개되어있고 ngspice프로그램으로 시뮬레이션이 수행되었습니다. netlist 파일은 1개 올라와있습니다.
전체적인 그림
코드
github.com/ksettaluri6/AutoCkt
ksettaluri6/AutoCkt
Deep Reinforcement Learning of Analog Circuit Designs - ksettaluri6/AutoCkt
github.com
논문
아마 y에 대한 fixed range를 둔것이고 activation 결과에 따라 조정 가능?
- x: Z n
paramters 초기화: K/2
action: circuit 특성에 맞춰서 constrained .
AutoCkt : environment generalization 가능한 simulation tool 같은 느낌 / aggregation
H: total simulation of steps. step의미
O* : optimal goal
target specification = action 의미하는 듯.
Omin, Omax. 50개라고 하는걸 보니
Spectre???? berkely angalog gernerator,
3개의 회로 토폴로지 및 3개의 다른 시뮬레이터 이용하여 검증함
Simple amplifier
Transimpedace amplifer
<Two stage operational amplifer>.
45nm 트랜지스터 적용
트랜지스터: [1,100,1]*0.5 마이크로미터 적용
capacitor: [0.1,10.0,0.1]*1pF.
gain: [200,400]V target gain에 대한 range를 정함
bandwidth: [1.0e6, 2.5e7] Hz
phase margin: 60
power: [0.1, 10]mA
total action space size는 10 14 이고,
reward 0에 도달하기 위해 180000 번 이었다.. ㄷㄷ
1 simulation당 25ms
1000개의 랜덤 specification(전에 한번도 본적없는)을 생성해서 agent를 학습시켰다.
그리고 얼마나 잘 도달했는지 확인해봄
해당 power requirement로는 도달하기 힘든 구간일것이다 라는 가정
그래서 적은 power를 가지면서 높은 gain과 bandwidth를 얻기위해 시도하였다. (circuit 설계자가 그러듯이)
Environment의 정의를 여기서 두가지로 내릴수 있을듯
simulator or topologies
phase margins과 bandwidth반대로 가는듯