事象 git cloneすると、以下のエラーメッセージ。実際には当該レポジトリは存在している。 fatal: repository 'https://git-codecommit.ap-northeast-1.amazonaws.com/v1/repos/sample/' not found 環境 OS: macOS High Sierra (10.13.3) git: OS Xに付いて…

Spring Dataを使うと、Pagingをいい感じにやってくれる。こいつとVue.jsを使って、いい感じにページングをしてみる。 API SpringのRestControllerとPageableが全てよしなに取り計らってくれる。 @RequestMapping("/api") @RestController public class APICo…

やりたいこと MongoDBにざっくり以下のようなデータがある。 { groupId: "aaa", lang: "en", data: "hoge" }, { groupId: "aaa", lang: "ja", data: "ほげほげ" }, { groupId: "bbb", lang: "en", data: "fuga" }, { groupId: "bbb", lang: "fr", data: "tit…

一つのパーティションの中に26万件データが入っている状態でQueryをいっぱい試してみたけど、1回4KBくらいの読み込みだと、0.01秒くらい。 大したことないな。 >>> sparse.item_count 263132 >>> times = [] >>> for i in range(100): ... before = time.tim…

前回に続いて、今度はデータの読み出し。 choge.hatenadiary.com やっぱりIDとタイムスタンプ以外でも読み出したいとか、貯めておくのは一旦1ヶ月でいいとか、色々要望がぶれ始めているのでDynamoDBを本当に使うのか雲行きが怪しくなってきている。IDとタイ…

前回につづいて、DynamoDB。 choge.hatenadiary.com 今回は、①Python(boto3)でのテーブル作成、②Pythonで大量にデータをぶち込む、の2点。 boto3でのテーブル作成 boto3には、低レイヤーを担当するClient、テーブルの操作を行う(？)Service Resourceなんかが…

なんでDynamoDBを使いたいのか IoTっぽい時系列データを蓄積したい的な話。データの件数が数億~数百億のオーダーになる可能性があり、どれくらい現実的なのかを調べたいため。無料枠でできる範囲で試してみる。 いい感じに検証できる環境があればいいんだけ…

IAMでロールを作ったはいいけど、アカウントIDを覚えられなくてログインできなかったので、アカウント別名を作る。 aws> iam create-account-alias --account-alias ***masked*** aws> iam list-account-aliases { "AccountAliases": [ "***masked***" ] } …

ようやくがっつりAWSをいじることになりそうなので、無料利用枠で使い始めてみる。 やるならCLIっすよ、と後輩に言われたのでCLIオンリーでやってみる。 まずは普通にインスタンスを立ててみる VPCを作成 aws> ec2 create-vpc --cidr-block 192.168.0.0/16 {…

When a character's codepoint is beyond U+10000, I should use 32-bit literal. >>> '\u1f4a9' 'Ὂ9' >>> '\U0001f4a9' '' If I try to input '' directly in Jupyter console on Windows cmd, it aborts with the error: Traceback (most recent call last…