2023.07.29 Google Festa 후기（*＾-＾*）
Festa에 오니, 개발자들이 엄~~~~~~~~청 많다는 걸 알게됐어요...
삼성역 코엑스 컨퍼런스 룸에서 진행이 되었고, TimeTable은 다음과 같아요!!
이렇게 포토존에서 사진도 찍을 수 있어서, 놀러온 기분도 들고 좋았어요.
저는 15시까지는 트랙 2에 에서 강의를 들었고, 그 이후로부터 Track 1에서 강의를 들었습니다.
강의를 해주신 모든 분들에게 감사를 이 자리를 통해 전달 드리고 싶습니다.
먼저, Track 2의 세상의 모든 데이터 베이스 입니다.
강의의 시작은 RDBMS와 NOSQL의 차이의 설명부터 강의가 시작되었습니다.
RDBMS는 ACID의 설명해주셧꼬 과 Non Relational 에서는 ptimized, Horizontal scaling, Eventual consistency, Transactions의 이야기를 통해 차이점을 설명해 주셨어요.
먼저 RDBMS 제품과 특징입니다.
Section 3-1 , CloudSQL의 Product & Feacture
- Oracle / Tibero / Altlbase
- MySQL, MaraiaDB, PerconaDB
- PostgreSQL / EDB / BigAnimal
- SQLite
- ACID Transactions
- MVCC
- Process/Thread
- Lock
-> Oracle is undo DB
-> PostgrelSQL은 2^32까지 ( 큰숫자 필요없음 -> But 트랜잭션이 한바퀴 돌아버리는 문제가 있으니 vacuum알아서 잘 정리하자!
Section 3-2 , NewSQL인 Cloud Spanner of Product & Feacture
- MariaDB XPand / SKYSQL
- CockoachDB
- yugabyteDB
- VoltDB
- ACID Transactions ( SEMI ACID Transaction이라 불림)
- Never Die
- inter-regional clusters
- Data auto-sharding and replication
-> 알아서 사용자 모르게 샤딩과 미러링을 해줌.!
다음은 NO SQL 입니다.(4-1 ~ 4-3)
Section 4-1 , Firestore의 Product & Feacture
- MongoDB / Atlas
- Couchbase / Capella
- Document-Model(JSON)
- Schema less
- ACID Transcations(N1SQL)
- Data auto-sharding and replication
Section 4-2 , Cloud Bigtable의 Product & Feacture
- Cassandra / Datastax / Astradb
- scylladb
- Wide-COlumn Store
- Keyspace / table
- Not support join
- Partition key / Order Key
=> 파티션키와 정렬하는 모더링키가 중요하며, 원칙적으로 JOIN을 하지 않으며, INSERT에 특화돼 다량의 데이터를 넣을때 효과적
Section 4-3 , Memorystore의 Product & Feacture
- Redis
- Memcahed
- In-memory Key-value Store
- Caching
- Stream Processing
다양한 Database가 있기에 어느 DB가 효과적인지 파악하고, 사용해나가는것이 중요하ㄷㅏ.
Section 6-1 BigQuery , Memorystore의 Product & Feacture
- BigQuery
- Redshift
- Greenplum
- MySQL Heatwave
- Oracle Exadata
- Vertica
- Snowflake
- Dataware House
- Datastore
- MPP/Cache
- Data Lake
- ACID (Delta Lake / Apache Iceberg)
Section 6-2 Graph Database
1. Real World
- Graphs for trip planning
2. Graph Connection
- Actors and their relationship to films and directors
3. Graph Scehma
Section 6-3 Vector Database
1. Vector
- A vector is a mathematical represtiaon of data that describes objects based in different characteristics or qualities.
2. Vector Database
- Vector databases are specailized databases for storing and querying large amounts of high-dimesional data optimiaed in vecotr form.
3. Usage
- OpenAI, Vector Embedding
-> 생성형 AI가 나오면서 Vector DataBase가 유명해짐
다음은 Google Cloud를 이용해 Data Enginnering
1. Dataflow
- Google Cloud에서 Apache Beam의 완전관리형 서비스
- ETL 파이프라인의 신속한 개발(요즘은 컴퓨터 성능이 좋아져 ELT라고도 불리기도함)
- 다양한 Connector 지원
2. BigQuery Data transfers
- DW Infranstructure의 운영복잡도를 해소해주는 데이터 분석 서비스
- Data Transfer Service를 사용해 정해진 일정에 따라 데이터를 BigQuery로 자동 이동
3. BigQuery Omni
- 멀티 클라우드의 데이터 분석을 간편하게 할 수 있어야 한다.
- AWS S3, Azure Blob Storage 데이터를 BigQuery에서 분석할 수 있또록 연결을 구성하는 서비스
다음 세션은 Google Cloud Security Story입니다.
제가 웹취약점 점검 때문에 보안으로 고생 진짜 많이 했었거든요..... 그래서 이 부분이 진짜 궁금했어요.
구글은 어떻게 보안을 처리 할지 진짜 눈도 안 감고 봤어요 ㅎㅎ
구글의 Infected Server Response Process는 다음과 같았어요.
보안분석가 -> 네트워크팀 -> 사고대응팀 -> 서버/앱운영팀 -> 네트워크팀 으로 진행이에요. 수작업으로 진행하며, ㅐ등엥 여러 날이 소요된다고 하네요...!
이렇게 팀별로 권한을 주어서, 내부적으로 고객 데이터를 가져갈 수 없게 처리를 해뒀지만, 아무리 보안처리가 잘되어 있어도 믿지 못하는 고객이 있다는 이야기를 들을 수 있었어요. 이러한 문제를, 실력으로 그 가치를 증명해 나가는 모습까지 확인 할 수 있었어요.
한국에는 보안 Fremework 가 없이 NIST Cybersercurity Framework를 사용하고 있으며, 정~~말 다양한 보안 프로그램이 있더라고요.. 돈만내면 다 가능~_~
그리고 reCaptcha Enterprise 동작 흐름도도 파악할 수 있었어요.
대부분의 보안 로그인의 흐름도랑 비슷했고, 여기는 점수를 통해 로그인을 한다는게 사실 신기했어요..!
저희는 javascript 날려서, 해당 보안 프로그램 설치 유무 확인 및 토큰 확인 등을 하고 DB값 확인해서 로그인을 시키는데, 여기는 성공했을때도 상호작용에 근거해 점수를 내고 그걸 기반해 다음단계를 진행한다는 거였어요!
보통 IP protocol 정보를 통해 해당 IP, 접속 방법, 단말기 등을 통해 점수를 측정하며 0~1점에서 0.5점 초과이어야 로그인이 가능하다고 하네요..!
0.5점의 경우 중간인데, 이럴경우가 거의없다고 점수가 0.5점일때의 로그인 성공/실패 로직에 대해 설명을 해주시지는 않았어요..ㅠ 궁금했는데 /_ \
그리고 Credential stuffing 때문에 Two factor 인증을 사용하고 Zero Trust 및 Recapcha를 사용하시라고 하시네요..!
( Credential stuffing는 예를 들어 A사에서 10만개 데이터를 사서 대표 사이트(네이버, 다음, 여러 대표 사이트)에 로그인을 해서 그걸 또 파는 행위입니다... -> Two Factor 로그인 꼭 해야겠죠..!?, 그리고 해당 사이트마다 로그인 비번 다르게 해야겠죠.!? )
(오픈소스임!!, 물론 기업이 사용하시면 돈 내야합니다..! / beyoundCorp)
구글 BeyondCorp 엔터프라이즈 출시 - 제로 트러스트 원격 액세스 - Google Cloud 프리미어 파트너 메가
Google Cloud 프리미어 파트너 메가존 구글 BeyondCorp 엔터프라이즈 출시 - 제로 트러스트 원격 액세스
gc.hosting.kr
그리고 Chrome Browser가 메모리를 많이 먹는 이유에 대해 설명도 해주셨어요
Tab 하나하나 분리되어 있어서 그렇다고 들었으며, 문제가 되면 탭 하나를 죽이면 해결 완료!
그리고 리눅스 워싱 구조라 다른 브라우저 워싱 구조보다 안전하다고 말씀하십니다..
(참고로 발표자는 Google Cloud Korea에 근무하시는 서진원님의 말씀이기에, 여러 정보를 찾아보고 합리적인 브라우저를 선택하시면 될꺼 같습니다.!)
다음으로 일 잘하는 개발자입니다..!
사실 제가 가장 듣고 싶었던 세션은 일 잘하는개발자는 회사에서 어떻게 일할까? 라는 아젠다였어요
이건 따로 정리해서 글 올릴게요!