なんで2024年になってこんなブログをあげているんだこいつは、というお話なんですが、2023年12/31に書くつもりがあいにくインフルエンザにかかって寝込んでしまっていたので書けてなくて、今更ながら書いてます。
1月1日ももうそろそろ終わりそうなのでもう1月2日ですが軽く私の2023年を振り返っていきたいと思います。
-----
- 1-3月: 2年生ラスト！
- 2月: 東大のプログラムでオーストラリアに10日ほど行ってきました。キャンベラに1週間くらい、その後シドニーにほんの少し滞在して帰ってきました。キャンベラにいた時は朝から午後6時くらいまではANU(The Australian National University)で講義を受けたり研究施設の見学をしたりして過ごして、その後は午後11時くらいまで自由時間、という感じの日々を過ごすことが多かったです。ANUの講義は、私の専攻しようとしている分野とも全く違い、知識も全然足りない状態だったので毎日夜遅くまでホテルで次の日の予習をしていたことを思い出します。ANUでは学生がバーベキューで迎えてくれたりして嬉しかったです、カタコトながらもなんとか話そうとしている私の言うことを一生懸命聞こうとしてくれたのも嬉しかったです。Instagramを交換して今でも交流がある友人も多数います。また、夜の自由時間を使って目一杯キャンベラを探索できたのも良かったです。日没が夜8時とかだったおかげでキャンベラをたくさん散歩できたし、電車の終点まで行ってお気に入りの韓国料理屋さんを見つけることもできました。キャンベラは何もないなんて言われているのを見たことはありましたが、私はむしろなんだろう、キャンベラの少し田舎じみたところがむしろ大好きになりました。今でもしょっちゅうキャンベラに行きたいって思います。
- 3月: 長期インターン先でフルタイムのインターンを経験しました。深層学習のコードのリファクタから始まってAPIというものを学び、Kubernetesでデプロイができるようになり、幅広い技術に触れる機会を頂けたなと思います。
- 4-6月
- 4月-: ここまでは実はインターン先では画像系のチームに入っていたのですが、LLM(Large Language Models; 大規模言語モデル)のチームに移動しました。この時から今まではずっとLLMのチームにいます。LangChainといったライブラリの習熟を急ぐ一方、Vicuna、その後はLlama2といったLLMを実際にfine-tuningするなどの経験もさせてもらうことができました。この経験は私の今後の方向性に大きな影響を与えたと思います。限られたメモリでfine-tuningをするにはたくさんのものに頼らなくてはいけなくて(LoRA、Flash Attention、FSDP、QLoRA etc.)、でも使おうとしてもエラーが出て、なんか分からないけどIssueとかをみてそれをコピペしたらなんとか動いた....みたいな経験をたくさんしました。なんか分からないままコピペしなくてはいけなくなってるのは、私がCUDAとかのことを何もわかってないから、低レイヤのことが何も分かってないから、GPUのこと何も分かってないから......。また、GPUを大量に買うお金がある企業だけが勝っていくのは面白くないじゃん....という気持ちもありました。もともとハードに近い領域ってめっちゃかっこいいよね〜と漠然と感じていたのですが、それにこのような少し具体的な興味の対象が見えてきたことで、私の中ではハードやりたい！のお気持ちが急速に強くなっていきます。
- 5月-7月: Google STEPというものに参加してみました。女子大学生で情報系のキャリアを目指そうという方は是非チェックしておくと良いと思います。ここで私は今まで機械学習関連一筋で情報系のことを勉強してきたのですが、アルゴリズムというものを知る機会が得られました。一方で、同期で参加していた女の子達は私よりも遥かにアルゴリズムに関しての知識も思考力もあり、メンタル的には非常に厳しかったです。向こうは大学でコンピューターサイエンスの授業をちゃんと受けてるんだから私よりもできて当然、と自分を納得させようとする一方、女子相手に負けるというのは非常に非常にショッキングな出来事でした。(差別的な意図はないのですが、どうしても周りでパソコン系強いと思うのは男子ばかりだったので.....)結局教育コースの次にあるインターンの選考には落ちてしまいました。
- 5月-: この頃から明らかに精神的に異常をきたすようになっていたと思います。具体的には、なぜか頑張ろうと思ってもどうしてもできないというところから始まって、長く寝ようと思った日でも夜3時間に1回は目が覚めてしまう、寝付くのにほぼ毎日2時間以上はかかる、(夜寝れないせいか)17時ごろには気絶してしまいそうなくらいに疲れている、集中力が全くなくなってしまう、息が苦しくなる、動悸がする....という感じで耐え難いものになっていきました。今から振り返ると、その前までは寝たら終わらないから寝ることに罪悪感を持ってしまうなどという理由で毎日4時間半未満の睡眠での生活を長く続けてしまっていたことに加え、気温の急激な変化等もあったのかなと思います。精神科に通うというのに偏見を抱いてしまっていて行くのが嫌だったのですが、ついに通う決心をしてみてもらうことにしました。その後は今に至るまで抗うつ薬と睡眠薬をずっと処方してもらっていて、薬を服用することでだいぶん回復してきています。病院に行って良かったと思っています。
- 7-9月: 休養期
- 7月: 大学の集中講義で低消費電力で高速に画像認識処理ができる半導体回路設計をしようという授業を履修しました。これは私がハードに漠然とした興味を持ち始めたことを知った友人が教えてくれたもので、友人には非常に感謝しています。AIモデルを扱ったことがあるという理由で上級者コースという院生しかいないコースで受講することになりました笑。受講人数がとても少なくて先生とのコミュニケーションが密に取れたのは良かったです。ただ、ハードに関して何も分からない私は、モデルをいじるといったハードとは全く関係のないことしかできず後は高位合成に任せた！みたいな感じになってしまい、非常に歯がゆい思いで終えた講義でした。
- 8-9月: 長期インターン先でフルタイムインターンをしました。精神面での不安がとてもとても大きかったのですが、規則正しい生活を送るために、と参加することを決めました。今回のタスクは心機一転ソフトウェア(Web開発)を行うことになりました(私が静的型付けの言語やりたいという雑すぎリクエストを出したのにちゃんと拾ってくれた！)。ここではTypeScriptの他にReactやNextJSを覚えました。NextJSのルーティングのところからわかっておらず明らかに出発から転けていたものの、メンターの方が突き放すでもなく手取り足取りでもなく絶妙な距離感でリードしてくださったおかげで、途中からは非常に楽しく開発をすることができました。また、今まで機械学習系のプログラミングをしていた時は動いてやっと達成感が得られていて動かないとイライラという感じだったのですが、Pythonに比べてTypeScriptを書いてる時は安心感がありプログラムを書くという行為そのものがずっと快適で、また、今まで書かれていたコードを読んだりPRでコミュニケーションを取ったりして「良い」プログラムとは何なのかというものを自分で体得していく過程も非常に深いものがあって(ソフトウェアの開発なので機械学習のコードよりもこういうところに意識を払わないといけないがち)、プログラミング経験を楽しむというのもあるのだなぁと思いました。これがこの回のフルタイムインターンで得られた最も大事なものなのではないかなと思います。
- 10月-12月
- 10月-11月: ここで私は我に返ります、Web開発楽しいし深いんだけど、私ってWeb開発とかするソフトウェアエンジニアになりたいんだっけ....??違う、私は海外でPhDを取ることが先なんだって！その方向性として深層学習がイマイチ自分の思想に合わなさそうとなっているのに、ハードへの未練謎に残したまま何もしてないのに、このまま終わっていいの....??という焦燥感を抱き、7月に受けた集中講義の先生にメールをしてなんとか研究を手伝わさせていただくことはできないでしょうか....???と頼み込み、幸運にも快諾していただけました。ただ私はverilogなどは全く触ったことがなくて、なんか分からないけど飛び込んだ....という感じでした。また、verilogを実際に書いてみる時期になっても、全然掴めておらず自信を失ってしまって、なんか方向性を間違っちゃったのかな私...と思う日々でした。
- 11月: インターン先ではWeb開発のチームは離れ、また機械学習系のチームに入りました。正直、Web開発があまりにも充実していたので燃え尽きていたというかあまり乗り気ではなかったとはいえ、他に何か熱を入れていたわけでもなく、一生懸命仕事をこなしていました。
- 12月: 電気系の学生がFPGAの実験の際に使うらしいと聞いた教科書(実践 コンピュータアーキテクチャ)を買ってみてやってみました、これがすごく良い出会いでした。薄い本なんですが、まずは手を動かすところから入るのが向いている私には良かったのと(シミュレーションソフトの動かし方まで書いてあったのが助かりました....)、何よりもこの本をやっていて「自分はとてもcoolなことをやっているんだ」という(謎の)強い確信を得ることができて、ハードに対する感情が大きくなっていきました。また12月終わり頃にはverilogに急に目覚めて(その時の感情をなんとか残そうとした記事↓)、ますます大きな感情を抱くようになりました。このような経緯でインターン先はしばらくお休みするという結論を出しました。
-----
またまた長々と書き連ねたまとまりのない拙い文章になってしまいました、読んでくださった方々、ありがとうございます.....！
