git-svn setup

コメントを残す

<br />yum install git-svn

git svn clone -s --prefix svn/ --localtime svn://localhost/sample

yum install git-svn

git svn clone -s --prefix svn/ --localtime svn://localhost/sample

--stdlayout

trunk, branches, tags の構成

--prefix svn/

git のリモートリポジトリが衝突しないように。

--localtime

git ログ等の時間がデフォルトUTCなので日本時間に合わせる。

表示上だけで、SVN側ではJSTになっている等、問題はなかった。

変則的な構成

<br />git svn clone svn://localhost/sample --trunk=trunk/git --branches=branches --tags=tags --localtime --prefix=svn/ --ignore-refs=remotes/svn/first-branche

git svn clone svn://localhost/sample --trunk=trunk/git --branches=branches --tags=tags --localtime --prefix=svn/ --ignore-refs=remotes/svn/first-branche

・turnkは直接指定

・branches/tagsはディレクトリ指定

・–ignore-refs で無視するパターンをうまく指定する

master ができる。

<br />git svn dcommit

git svn dcommit

現在のリポジトリから svn/trunk へ

masterに入れば、masterから。

develop に入れば、developから。

基本的には、materだけで行う運用が無難そう。

★別記事で。

dcommit すると、git のcommitIDが変わる。

git の masterへマージ後、git svn dcommit

で変わってしまうので、git側へは -f push が必要。と思う。

また何らかのエラーでcommitツリーを変えてしまった時も問題。

master使わないほうがいいのか？

<br />git svn rebase

git svn rebase

svn リポジトリから取得

チェックアウトしているローカルリポジトリにマージされる。

master に入れば、masterに。

develop に入れば、developに。

どこにいるかわからないまま実行すると危なそう。

基本的には、master だけで行う運用が無難そう。

★別記事で

git 側に開発ブランチを作成

<br />git checkout master

git checkout -b develop

git checkout master

git checkout -b develop

githubのリモートにpush

<br />git remote add origin https://nilesflow@github.com/nilesflow/git-svn-test2019.git
git remote set-url origin https://nilesflow@github.com/nilesflow/git-svn-test2019.git

git push -u origin master

git push -u origin develop

git pull origin master

git remote add origin https://nilesflow@github.com/nilesflow/git-svn-test2019.git

git remote set-url origin https://nilesflow@github.com/nilesflow/git-svn-test2019.git

git push -u origin master

git push -u origin develop

git pull origin master

参考

https://qiita.com/hidekuro/items/4727715fbda8f10b6b11#svn-%E3%83%96%E3%83%A9%E3%83%B3%E3%83%81%E3%82%92%E5%8C%BA%E5%88%A5%E3%81%99%E3%82%8B

等

svnserve install

コメントを残す

svnserve install

git-svn 使用にあたって

yum install subversion

1 2	yum install subversion

vi /etc/sysconfig/svnserve
# cat /etc/sysconfig/svnserve
OPTIONS="-r /var/svn/repos"

vi /etc/sysconfig/svnserve

# cat /etc/sysconfig/svnserve

OPTIONS="-r /var/svn/repos"

mkdir -p /var/svn/repos
svnadmin create /var/svn/repos/

mkdir -p /var/svn/repos

svnadmin create /var/svn/repos/

vi /var/svn/repos/conf/svnserve.conf
# cat /var/svn/repos/conf/svnserve.conf | grep -v ^#
[general]
anon-access = read
auth-access = write
password-db = passwd

vi /var/svn/repos/conf/svnserve.conf

# cat /var/svn/repos/conf/svnserve.conf | grep -v ^#

[general]

anon-access = read

auth-access = write

password-db = passwd

vi /var/svn/repos/conf/passwd

1 2	vi /var/svn/repos/conf/passwd

service svnserve restart

1 2	service svnserve restart

svn copy . svn://localhost/sample/branches/first-branche

1 2	svn copy . svn://localhost/sample/branches/first-branche

等
trunk, branches, tags で commit

Azure：VM／非管理ディスク／管理ディスク／スナップショット等のまとめ

コメントを残す

VM×非管理ディスク

2019/7/8現時点では、非管理ディスクではなく、Microsoft自身も推奨する管理ディスクを利用する方が一般的だと思うので、非管理ディスクでVMを作成することは余り無いのだと思う。

次のような場合に。

・過去に作成したVMの停止／削除を行いたい場合、

・何らかの理由があって、非管理ディスクでVMを作成しようとする場合

VMの作成

VMを非管理ディスクで作成した場合。

ストレージアカウントのBLOBに、1BLOBとしてVHDファイルが保存される。

ディスク30GBなら、30GBのファイル。

「vhds」というコンテナの中に、次のファイル名でBLOB単位で保存される。

{VM名}yyyymmddhhiiss.vhd

VM作成画面では、デフォルト「管理ディスク」となっているので、

明示的に「非管理ディスク（及び保存対象のストレージアカウント）」を指定する必要がある。

料金は、¥5.04/GB～

https://azure.microsoft.com/ja-jp/pricing/details/storage/page-blobs/

＝\150.12/月～

非管理ディスクの場合、既存のディスクから作成することはできなかった。

（※portal上の操作を確認する限り）

（後の復元手順に影響）

VMの停止

VMが暫く不要になった場合、金額的には、VMを停止して放っておく、でも良いのだろうと思われる。

VMの削除

VMを削除しても次のリソースは残るので注意

・IPアドレス

・セキュリティグループ

・ネットワークインタフェース

新規で作成していれば、

・ストレージアカウント（ディスク用）

・ストレージアカウント（診断用）

・仮想ネットワーク

※作成の仕方によっては他にも発生する

パブリックIP

静的IPアドレスは、

¥0.896/時間　=\666.624/月

動的IPアドレスは、リソースが解放されるので問題なし。

ディスク

VMを削除しても、対象のストレージアカウントの中に、ページBLOBのVHDファイルが残る。

削除対象のBLOBファイルは、VMの名前から判断する。

また、状態が「リース解除」になっている。

対象のディスクは、リソースグループ → [対象のリソースグループ] → デプロイから、

VM作成時のディスク名を確認することができる。

※が、VM削除後にディスクリソースを開いても、読み込み待ちのまま、情報が表示されなかった。

VMの復元

非管理ディスクのVMを復元する場合は、VMイメージを作成する必要があるため、VMを削除してしまうと、イメージを作成できず、復元がしにくい、ということになるのだと思われる。

次の記事中に、「PowerShell から仮想マシンを作成する」方法の記載がある。

https://blogs.technet.microsoft.com/jpaztech/2018/09/21/arm-vm-replication-part-1/

後に示すように、VHDファイルから管理ディスクへの移行が行えるため、管理ディスク利用のVMへの移行が現実的と思われる。

VMのイメージを作成

コスト面からVHDファイルを保持せずにどうにかしようという事は余り無いと思うが、

VHDファイルを削除して、後から復元しようとする場合は、下記の方法？

・VHDファイルのダウンロード／アップロード

・VMのイメージを作成

※イメージにした場合、30GB（元のVHDファイル）からどの程度小さくなるのか？

非管理ディスクのVMを作成する方法は下記。

https://blogs.technet.microsoft.com/jpaztech/2018/09/21/arm-vm-replication-part-1/

下記が面倒。

・Azure VM エージェントでVMを汎用化する必要がある

・そのVMは利用できなくなる

・VMのイメージ作成はportalで行えず、PowerShellを利用する必要がある

管理ディスクへ移行する

幾つかの方法が考えられる。

・既存のVM（非管理ディスク）を新VMへ移行

・既存のVM（非管理ディスク）を残したまま、新VM（管理ディスク）を作成

・VHDファイルから管理ディスクを作成して、VMを作成

・VHDファイルからスナップショット→管理ディスクを作成、VMを作成

既存のVM（非管理ディスク）を新VMへ移行

既存のVM自体をそのまま移行したい場合はこの手順

非管理ディスクのVHDファイルはBLOBストレージ上に残るので、不要な場合は、別途削除処理等を行う必要がある。

・次の方法で、「マネージドディスクに移行」に画面遷移

・VM画面上の「～、Managed Disks に移行してください。」案内から

・VM「ディスク」画面の「マネージドディスクに移行」から

・VMが起動中の場合は、停止→開始の動きになる

・VMが停止中の場合は、開始される

管理ディスクが作成され、自動的にVMの既存（非管理ディスク）がデタッチされ、

作成された管理ディスクがアタッチされる。

既存（非管理ディスク）のBLOBのリース状態は「利用可能」になる。

★「管理ディスク」名称のprefix に自動でハッシュキーが付くため、綺麗に管理するなら嫌かも

VHDファイルから管理ディスクを作成して、VMを作成

「ディスク」から「追加」を選択

「マネージドディスクの作成」画面で下記を選択して作成する。

ソースの種類：ストレージBLOB

ソースBLOB：既存（非管理ディスク）のBLOBを

作成した管理ディスクで、「VMの作成」を選択して作成する。

この場合、幾つかの情報は管理ディスクに含まれているため、新規にVMを作成する場合と比べて、入力する必要がない。

・地域は固定

・管理者アカウント、SSH接続情報は求められない

・起動中のVMに紐づく状態が「リース中」のVHDも選択可能

※ファイル整合性は未確認

スナップショット

非管理ディスクにも「スナップショット」があるが、管理ディスクのそれとは異なる。

（コンソール上で確認した限りだと）

これはあくまで、対象のVHDファイルであるページBLOB内に閉じた機能で、

ページBLOBを取得したスナップショット状態に変更（「昇格」と表現）する等が行える。

取得したスナップショットから管理ディスクを作成したり、を行うものではなさそう。

※上述した管理ディスク作成で、スナップショットのURLを指定できるか等は未確認

VM×管理ディスク

今後一般的と思われる管理ディスクの場合。

VMの作成

非管理ディスクの場合とほぼ同様。

VM作成画面では、デフォルト「管理ディスク」となっているので、そのまま作成する。

VMの停止

管理ディスクは、Standard HDD S4 32GiB で、¥172.04/月～かかる。

スナップショットは、¥5.6/GB なので、実データサイズが 10GBの場合、\56/月～なので、

多少コストメリットはある。

VMの復元もそれほど手間ではないので、スナップショットにしておくのが良いだろうと思われる。

※イメージにすると、汎用化されるのでVMが使用できなくなる

VMの削除

非管理ディスクの場合は、削除してしまうと復元が多少面倒になるが、

管理ディスクの場合は、また「VMの作成」を行えば良い。

（無題）

コメントを残す

『windows 10 virtual desktop enhancer』の使い方

『windows 10 virtual desktop enhancer』の主な機能としては以下の通りです。

タスクトレイに表示されている数字は、現在の仮想デスクトップ番号を表示

仮想デスクトップ毎に壁紙設定が可能

「Alt」＋「0〜9」で、仮想デスクトップを切り替える

「Alt」＋「←」「→」で、仮想デスクトップの前後に切り替える

「Alt」＋「Shift」＋「Ctrl」＋「0〜9」で、現在のウインドウを指定した仮想デスクトップに移動する

「Alt」＋「Shift」＋「Ctrl」＋「←」「→」で、現在のウインドウを前後の仮想デスクトップに移動する

「Alt」＋「Shift」＋「0〜9」で、現在のウインドウを指定した仮想デスクトップに移動＆切り替え

「Alt」＋「Shift」＋「Ctrl」＋「←」「→」で、現在のウインドウを前後の仮想デスクトップに移動＆切り替え

アイコンをクリックすることにより、仮想デスクトップの切り替え画面の呼び出し

【Windows 10】仮想デスクトップをさらに使いやすくカスタマイズ！『windows 10 virtual desktop enhancer』

AWS Batch コンピューティング環境の終了タイミング

コメントを残す

実動作では何もジョブが実行されない場合に、10分で terminated されていた。

コンピューティング環境一つに対して、Auto Scalingグループが作成されており、

次のログが出ていた。

Terminating EC2 instance: i-0a0d23067827fb809

2019 July 5 03:17:14 UTC+9

2019 July 5 03:18:19 UTC+9

説明:説明Terminating EC2 instance: i-0a0d23067827fb809

原因:原因At 2019-07-04T18:17:14Z instance i-0a0d23067827fb809 was taken out of service in response to a user request, shrinking the capacity from 1 to 0.

下記だろうか。外部が指定している？AWS Batchが指定している？

https://docs.aws.amazon.com/ja_jp/autoscaling/ec2/APIReference/API_TerminateInstanceInAutoScalingGroup.html

クールダウンの300秒が関係している？

他、

AWS Batchを使って5分以上かかる処理を実行してみる

調査中。

AWS Batch　起動AMIのユーザデータ

コメントを残す

確認したAMI

amzn-ami-2018.03.u-amazon-ecs-optimized (ami-0e1aa8c2e9d719f58)

起動AMIから確認。

<br />Content-Type: multipart/mixed; boundary="==BOUNDARY=="
MIME-Version: 1.0

--==BOUNDARY==
MIME-Version: 1.0
Content-Type: text/x-shellscript; charset="us-ascii"

#!/bin/bash
echo ECS_CLUSTER=first-run-compute-environment-minimum_Batch_049f0a53-0a37-37c7-8f7d-9910330bdbec&gt;&gt;/etc/ecs/ecs.config
echo ECS_DISABLE_IMAGE_CLEANUP=false&gt;&gt;/etc/ecs/ecs.config
echo ECS_ENGINE_TASK_CLEANUP_WAIT_DURATION=2m&gt;&gt;/etc/ecs/ecs.config
echo ECS_IMAGE_CLEANUP_INTERVAL=10m&gt;&gt;/etc/ecs/ecs.config
echo ECS_IMAGE_MINIMUM_CLEANUP_AGE=10m&gt;&gt;/etc/ecs/ecs.config
echo ECS_NUM_IMAGES_DELETE_PER_CYCLE=5&gt;&gt;/etc/ecs/ecs.config
echo ECS_RESERVED_MEMORY=32&gt;&gt;/etc/ecs/ecs.config

--==BOUNDARY==--

Content-Type: multipart/mixed; boundary="==BOUNDARY=="

MIME-Version: 1.0

--==BOUNDARY==

MIME-Version: 1.0

Content-Type: text/x-shellscript; charset="us-ascii"

#!/bin/bash

echo ECS_CLUSTER=first-run-compute-environment-minimum_Batch_049f0a53-0a37-37c7-8f7d-9910330bdbec>>/etc/ecs/ecs.config

echo ECS_DISABLE_IMAGE_CLEANUP=false>>/etc/ecs/ecs.config

echo ECS_ENGINE_TASK_CLEANUP_WAIT_DURATION=2m>>/etc/ecs/ecs.config

echo ECS_IMAGE_CLEANUP_INTERVAL=10m>>/etc/ecs/ecs.config

echo ECS_IMAGE_MINIMUM_CLEANUP_AGE=10m>>/etc/ecs/ecs.config

echo ECS_NUM_IMAGES_DELETE_PER_CYCLE=5>>/etc/ecs/ecs.config

echo ECS_RESERVED_MEMORY=32>>/etc/ecs/ecs.config

--==BOUNDARY==--

AWS Batch：docker No space left on device → docker system prune

コメントを残す

docker利用において、

docker内の以下や

<br />No space left on device

No space left on device

ホストOS側の以下が出る場合がある。

<br />$ docker run -i -t busybox
docker: Error response from daemon: devmapper: Thin Pool has 3975 free data blocks which is less than minimum required 4449 free data blocks. Create more free space in thin pool or use dm.min_free_space option to change behavior.
See 'docker run --help'.

$ docker run -i -t busybox

docker: Error response from daemon: devmapper: Thin Pool has 3975 free data blocks which is less than minimum required 4449 free data blocks. Create more free space in thin pool or use dm.min_free_space option to change behavior.

See 'docker run --help'.

生成したファイルに、rm をしない場合は、ゴミが残る。

<br />$ docker run -i -t busybox
/ # dd if=/dev/zero of=/tmp/6GB bs=1024k count=6000
6000+0 records in
6000+0 records out
6291456000 bytes (5.9GB) copied, 43.371513 seconds, 138.3MB/s
/ # exit

$ docker run -i -t busybox

/ # dd if=/dev/zero of=/tmp/6GB bs=1024k count=6000

6000+0 records in

6000+0 records out

6291456000 bytes (5.9GB) copied, 43.371513 seconds, 138.3MB/s

/ # exit

docker system prune -fで解放される。

<br /># docker system prune -f
Deleted Containers:
9183c3b0b8c20011ce441a23a477becacc44189ea99f60be7018573dae0fea79

Total reclaimed space: 6.291GB

# docker system prune -f

Deleted Containers:

9183c3b0b8c20011ce441a23a477becacc44189ea99f60be7018573dae0fea79

Total reclaimed space: 6.291GB

コンテナサイズ、デフォルト10GBを超えた場合も、

<br />$ docker run -i -t busybox
/ # dd if=/dev/zero of=/tmp/11GB bs=1024k count=11000
dd: error writing '/tmp/11GB': No space left on device
9962+0 records in
9961+0 records out
10445869056 bytes (9.7GB) copied, 72.213538 seconds, 138.0MB/s

$ docker run -i -t busybox

/ # dd if=/dev/zero of=/tmp/11GB bs=1024k count=11000

dd: error writing '/tmp/11GB': No space left on device

9962+0 records in

9961+0 records out

10445869056 bytes (9.7GB) copied, 72.213538 seconds, 138.0MB/s

やはり、docker system prune -fで解放される。

<br /># docker system prune -f
Deleted Containers:
2ec9751723a2c5a11f0a3d5872ad84695945f39a9cb2e4ecce800d9acd6f5ea3

Total reclaimed space: 10.45GB

# docker system prune -f

Deleted Containers:

2ec9751723a2c5a11f0a3d5872ad84695945f39a9cb2e4ecce800d9acd6f5ea3

Total reclaimed space: 10.45GB

上記以外で、rmでファイルを消した場合は、ほとんどゴミデータは残らない。

<br /># docker system prune -f
Deleted Containers:
7d58206669601c966ceb229b0997f1e65d3458e2669e320e810767532d3b89d1

Total reclaimed space: 66B

# docker system prune -f

Deleted Containers:

7d58206669601c966ceb229b0997f1e65d3458e2669e320e810767532d3b89d1

Total reclaimed space: 66B

ゴミデータを残ったままにすると、ブロックデバイスを全て消費して、docker自体起動できない等の状態になる。

<br />$ docker run -i -t busybox
docker: Error response from daemon: devmapper: Thin Pool has 3975 free data blocks which is less than minimum required 4449 free data blocks. Create more free space in thin pool or use dm.min_free_space option to change behavior.
See 'docker run --help'.

$ docker run -i -t busybox

See 'docker run --help'.

ホストOS側からは、次のように動的マウントのマッピングが見える。

<br /># df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 1.9G 88K 1.9G 1% /dev
tmpfs 1.9G 0 1.9G 0% /dev/shm
/dev/nvme0n1p1 7.9G 835M 6.9G 11% /
/dev/dm-3 9.8G 91M 9.2G 1% /var/lib/docker/devicemapper/mnt/6c3958350431fd2ab3cea269efe31ceaf454ba0acdbccffc23b097f5ec64f512
shm 64M 0 64M 0% /var/lib/docker/containers/2aa149aa5359d9e30ae8582915d8f583e7990a8f3fde69a7426199ca0edc58c5/mounts/shm
/dev/dm-5 9.8G 38M 9.3G 1% /var/lib/docker/devicemapper/mnt/227f02710a4c689085183cab89a28e4b423580ae209be2cc7733d8a63985d3a0
shm 64M 0 64M 0% /var/lib/docker/containers/adf4ab582023913164b3508c90dbb4f820826be45f54881122cf9985c3e81d14/mounts/shm
/dev/dm-4 9.8G 9.8G 0 100% /var/lib/docker/devicemapper/mnt/e79266802dfd19414612e290d8e546d95c31588ddb79fd8c0b1758bc2e514c97
shm 64M 0 64M 0% /var/lib/docker/containers/2ec9751723a2c5a11f0a3d5872ad84695945f39a9cb2e4ecce800d9acd6f5ea3/mounts/shm

# df -h

Filesystem Size Used Avail Use% Mounted on

devtmpfs 1.9G 88K 1.9G 1% /dev

tmpfs 1.9G 0 1.9G 0% /dev/shm

/dev/nvme0n1p1 7.9G 835M 6.9G 11% /

/dev/dm-3 9.8G 91M 9.2G 1% /var/lib/docker/devicemapper/mnt/6c3958350431fd2ab3cea269efe31ceaf454ba0acdbccffc23b097f5ec64f512

shm 64M 0 64M 0% /var/lib/docker/containers/2aa149aa5359d9e30ae8582915d8f583e7990a8f3fde69a7426199ca0edc58c5/mounts/shm

/dev/dm-5 9.8G 38M 9.3G 1% /var/lib/docker/devicemapper/mnt/227f02710a4c689085183cab89a28e4b423580ae209be2cc7733d8a63985d3a0

shm 64M 0 64M 0% /var/lib/docker/containers/adf4ab582023913164b3508c90dbb4f820826be45f54881122cf9985c3e81d14/mounts/shm

/dev/dm-4 9.8G 9.8G 0 100% /var/lib/docker/devicemapper/mnt/e79266802dfd19414612e290d8e546d95c31588ddb79fd8c0b1758bc2e514c97

shm 64M 0 64M 0% /var/lib/docker/containers/2ec9751723a2c5a11f0a3d5872ad84695945f39a9cb2e4ecce800d9acd6f5ea3/mounts/shm

確認したAMI

amzn-ami-2018.03.u-amazon-ecs-optimized (ami-0e1aa8c2e9d719f58)


docker -v
Docker version 18.06.1-ce, build e68fc7a215d7133c34aa18e3b72b4a21fd0c6136

Docker ファイルシステム消費量の調査

コメントを残す

対応前

$ df -h
Filesystem Size Used Avail Use% Mounted on
/dev/xvda1 40G 8.5G 31G 22% /
devtmpfs 236M 56K 236M 1% /dev
tmpfs 246M 0 246M 0% /dev/shm

$ sudo du -sh /var/lib/docker/
3.5G /var/lib/docker/

$ df -h

Filesystem Size Used Avail Use% Mounted on

/dev/xvda1 40G 8.5G 31G 22% /

devtmpfs 236M 56K 236M 1% /dev

tmpfs 246M 0 246M 0% /dev/shm

$ sudo du -sh /var/lib/docker/

3.5G /var/lib/docker/

Docker上で10GBファイル生成

root@df4efaf1d395:/# dd if=/dev/zero of=/tmp/my_file5 bs=1024k count=10000

1 2	root@df4efaf1d395:/# dd if=/dev/zero of=/tmp/my_file5 bs=1024k count=10000

対応後

$ df -h
Filesystem Size Used Avail Use% Mounted on
/dev/xvda1 40G 19G 21G 47% /
devtmpfs 236M 56K 236M 1% /dev
tmpfs 246M 0 246M 0% /dev/shm

$ sudo du -sh /var/lib/docker/
24G /var/lib/docker/

$ df -h

Filesystem Size Used Avail Use% Mounted on

/dev/xvda1 40G 19G 21G 47% /

devtmpfs 236M 56K 236M 1% /dev

tmpfs 246M 0 246M 0% /dev/shm

$ sudo du -sh /var/lib/docker/

24G /var/lib/docker/

ホストOS

root@df4efaf1d395:/# df -h
Filesystem Size Used Avail Use% Mounted on
overlay 40G 19G 21G 47% /
tmpfs 64M 0 64M 0% /dev
tmpfs 246M 0 246M 0% /sys/fs/cgroup
/dev/xvda1 40G 19G 21G 47% /etc/hosts
shm 64M 0 64M 0% /dev/shm
tmpfs 246M 0 246M 0% /proc/acpi
tmpfs 246M 0 246M 0% /proc/scsi
tmpfs 246M 0 246M 0% /sys/firmware

root@df4efaf1d395:/# df -h

Filesystem Size Used Avail Use% Mounted on

overlay 40G 19G 21G 47% /

tmpfs 64M 0 64M 0% /dev

tmpfs 246M 0 246M 0% /sys/fs/cgroup

/dev/xvda1 40G 19G 21G 47% /etc/hosts

shm 64M 0 64M 0% /dev/shm

tmpfs 246M 0 246M 0% /proc/acpi

tmpfs 246M 0 246M 0% /proc/scsi

tmpfs 246M 0 246M 0% /sys/firmware

結局40GBまではかける

root@df4efaf1d395:/# df -h
Filesystem Size Used Avail Use% Mounted on
overlay 40G 40G 0 100% /
tmpfs 64M 0 64M 0% /dev
tmpfs 246M 0 246M 0% /sys/fs/cgroup
/dev/xvda1 40G 40G 0 100% /etc/hosts
shm 64M 0 64M 0% /dev/shm
tmpfs 246M 0 246M 0% /proc/acpi
tmpfs 246M 0 246M 0% /proc/scsi
tmpfs 246M 0 246M 0% /sys/firmware
root@df4efaf1d395:/# dd if=/dev/zero of=/tmp/my_file8 bs=1024k count=2000
dd: error writing '/tmp/my_file8': No space left on device
1+0 records in
0+0 records out
0 bytes copied, 0.000883203 s, 0.0 kB/s

root@df4efaf1d395:/# df -h

Filesystem Size Used Avail Use% Mounted on

overlay 40G 40G 0 100% /

tmpfs 64M 0 64M 0% /dev

tmpfs 246M 0 246M 0% /sys/fs/cgroup

/dev/xvda1 40G 40G 0 100% /etc/hosts

shm 64M 0 64M 0% /dev/shm

tmpfs 246M 0 246M 0% /proc/acpi

tmpfs 246M 0 246M 0% /proc/scsi

tmpfs 246M 0 246M 0% /sys/firmware

root@df4efaf1d395:/# dd if=/dev/zero of=/tmp/my_file8 bs=1024k count=2000

dd: error writing '/tmp/my_file8': No space left on device

1+0 records in

0+0 records out

0 bytes copied, 0.000883203 s, 0.0 kB/s

ホストOS

$ df -h
Filesystem Size Used Avail Use% Mounted on
/dev/xvda1 40G 40G 0 100% /
devtmpfs 236M 56K 236M 1% /dev
tmpfs 246M 0 246M 0% /dev/shm

$ sudo du -sh /var/lib/docker/
63G /var/lib/docker/

$ df -h

Filesystem Size Used Avail Use% Mounted on

/dev/xvda1 40G 40G 0 100% /

devtmpfs 236M 56K 236M 1% /dev

tmpfs 246M 0 246M 0% /dev/shm

$ sudo du -sh /var/lib/docker/

63G /var/lib/docker/

Docker終了後

$ df -h
Filesystem Size Used Avail Use% Mounted on
/dev/xvda1 40G 40G 0 100% /
devtmpfs 236M 56K 236M 1% /dev
tmpfs 246M 0 246M 0% /dev/shm

$ sudo du -sh /var/lib/docker/
34G /var/lib/docker/

$ df -h

Filesystem Size Used Avail Use% Mounted on

/dev/xvda1 40G 40G 0 100% /

devtmpfs 236M 56K 236M 1% /dev

tmpfs 246M 0 246M 0% /dev/shm

$ sudo du -sh /var/lib/docker/

34G /var/lib/docker/

再起動すると。/tmp配下ファイルが無い？

root@5d4d87a635ca:/# ll /tmp/
total 8
drwxrwxrwt 2 root root 4096 Jun 10 20:41 ./
drwxr-xr-x 1 root root 4096 Jul 2 15:17 ../

root@5d4d87a635ca:/# ll /tmp/

total 8

drwxrwxrwt 2 root root 4096 Jun 10 20:41 ./

drwxr-xr-x 1 root root 4096 Jul 2 15:17 ../

docker rmi してもホストOSの容量が減らない、

$ sudo du -sh /var/lib/docker/
34G /var/lib/docker/

$ sudo du -sh /var/lib/docker/

34G /var/lib/docker/

差分ファイルが全部残っていた

[root@freeserver ec2-user]# du -sh /var/lib/docker/overlay2/e9bcb6bdfdf426e82ddaef8f0a38ecaae359ce2b2f3c73dd529dd019d3b46dff/diff/tmp/my_file*
9.8G /var/lib/docker/overlay2/e9bcb6bdfdf426e82ddaef8f0a38ecaae359ce2b2f3c73dd529dd019d3b46dff/diff/tmp/my_file4
9.8G /var/lib/docker/overlay2/e9bcb6bdfdf426e82ddaef8f0a38ecaae359ce2b2f3c73dd529dd019d3b46dff/diff/tmp/my_file5
9.8G /var/lib/docker/overlay2/e9bcb6bdfdf426e82ddaef8f0a38ecaae359ce2b2f3c73dd529dd019d3b46dff/diff/tmp/my_file6
1.6G /var/lib/docker/overlay2/e9bcb6bdfdf426e82ddaef8f0a38ecaae359ce2b2f3c73dd529dd019d3b46dff/diff/tmp/my_file7
0 /var/lib/docker/overlay2/e9bcb6bdfdf426e82ddaef8f0a38ecaae359ce2b2f3c73dd529dd019d3b46dff/diff/tmp/my_file8

[root@freeserver ec2-user]# du -sh /var/lib/docker/overlay2/e9bcb6bdfdf426e82ddaef8f0a38ecaae359ce2b2f3c73dd529dd019d3b46dff/diff/tmp/my_file*

9.8G /var/lib/docker/overlay2/e9bcb6bdfdf426e82ddaef8f0a38ecaae359ce2b2f3c73dd529dd019d3b46dff/diff/tmp/my_file4

9.8G /var/lib/docker/overlay2/e9bcb6bdfdf426e82ddaef8f0a38ecaae359ce2b2f3c73dd529dd019d3b46dff/diff/tmp/my_file5

9.8G /var/lib/docker/overlay2/e9bcb6bdfdf426e82ddaef8f0a38ecaae359ce2b2f3c73dd529dd019d3b46dff/diff/tmp/my_file6

1.6G /var/lib/docker/overlay2/e9bcb6bdfdf426e82ddaef8f0a38ecaae359ce2b2f3c73dd529dd019d3b46dff/diff/tmp/my_file7

0 /var/lib/docker/overlay2/e9bcb6bdfdf426e82ddaef8f0a38ecaae359ce2b2f3c73dd529dd019d3b46dff/diff/tmp/my_file8

特定のDockerコンテナに溜まった大量のゴミファイルの掃除

AWS BatchはAMI IDが、Manged by Batch になっていて、docker versionがわからない。

https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/developerguide/container_agent_versions.html

https://stackoverflow.com/questions/46672001/is-it-safe-to-clean-docker-overlay2

下記で解消された

<br />$ docker system prune -f
Deleted Containers:
d2e678e52f4cf2e9d857240dffcf6c16a60225f59de16151ebb77c37b11d7ba6
f8ced1448f1873b14ede28997aef534f7247612a21936ffdc336eb08d5f16c00
5d4d87a635cab95b10816dd6c52b05ca55ab7f4245ea6e6022ad08d75df1990d
df4efaf1d395ea997bc72a8558f5628581371c3341acbf490025964a2c377972
0baee82fb942bd1a1c9bd46676adae898355e15022e19995ff4e365c829027b2
51c79688447c70de1fe0f21454f9295073d323bdf87df73c1a2cdb27b4e22c34
6dc53777a0839f6a53af98bbc141dcb2d7864c17bd6504f1745885c2ea694c15
02c79a7039038336d9cfef892b72dfad7d587adb85adcb8fd4ce281d0253dc6b
a9a7002c6d1b1411a887550468b090ce080bda9ca62d4671b364b6ba56f62b13
fbe0fddb2d88ac00d45755b0843214631c0b9552a24c09f789f228adac821136
ad1c7c604efcabbea951432b4b27f51d554c2fcb406b549fd89de986a3332922
8833292685be1b5a8041e087a45fbf87841b70633f8347854bbd5f2acc93fcbb
813bfa2f675973ea5cdc17c2157bdab1ae04e85ecbb45733c1b2eee5ff631c7c
950fc90f5feb7bf7c32c767391688eb57171504e3747401a87faf1e11d2b76a5

Total reclaimed space: 35.28GB

$ docker system prune -f

Deleted Containers:

d2e678e52f4cf2e9d857240dffcf6c16a60225f59de16151ebb77c37b11d7ba6

f8ced1448f1873b14ede28997aef534f7247612a21936ffdc336eb08d5f16c00

5d4d87a635cab95b10816dd6c52b05ca55ab7f4245ea6e6022ad08d75df1990d

df4efaf1d395ea997bc72a8558f5628581371c3341acbf490025964a2c377972

0baee82fb942bd1a1c9bd46676adae898355e15022e19995ff4e365c829027b2

51c79688447c70de1fe0f21454f9295073d323bdf87df73c1a2cdb27b4e22c34

6dc53777a0839f6a53af98bbc141dcb2d7864c17bd6504f1745885c2ea694c15

02c79a7039038336d9cfef892b72dfad7d587adb85adcb8fd4ce281d0253dc6b

a9a7002c6d1b1411a887550468b090ce080bda9ca62d4671b364b6ba56f62b13

fbe0fddb2d88ac00d45755b0843214631c0b9552a24c09f789f228adac821136

ad1c7c604efcabbea951432b4b27f51d554c2fcb406b549fd89de986a3332922

8833292685be1b5a8041e087a45fbf87841b70633f8347854bbd5f2acc93fcbb

813bfa2f675973ea5cdc17c2157bdab1ae04e85ecbb45733c1b2eee5ff631c7c

950fc90f5feb7bf7c32c767391688eb57171504e3747401a87faf1e11d2b76a5

Total reclaimed space: 35.28GB

<br />$ docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
xxxxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com/hello-repository latest 25167261abec 25 hours ago 244MB
hello-world latest 25167261abec 25 hours ago 244MB
ubuntu 16.04 13c9f1285025 13 days ago 119MB
$ df -h
Filesystem Size Used Avail Use% Mounted on
/dev/xvda1 40G 5.8G 34G 15% /
devtmpfs 236M 56K 236M 1% /dev
tmpfs 246M 0 246M 0% /dev/shm

$ docker images

REPOSITORY TAG IMAGE ID CREATED SIZE

xxxxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com/hello-repository latest 25167261abec 25 hours ago 244MB

hello-world latest 25167261abec 25 hours ago 244MB

ubuntu 16.04 13c9f1285025 13 days ago 119MB

$ df -h

Filesystem Size Used Avail Use% Mounted on

/dev/xvda1 40G 5.8G 34G 15% /

devtmpfs 236M 56K 236M 1% /dev

tmpfs 246M 0 246M 0% /dev/shm

https://github.com/moby/moby/issues/32420

https://github.com/moby/moby/issues/21925

http://docs.docker.jp/engine/reference/commandline/dockerd.html#daemon-configuration-file

Amazon ECR

コメントを残す

https://docs.aws.amazon.com/ja_jp/AmazonECR/latest/userguide/docker-basics.html
に従って実施

1008 touch Dockerfile
1009 vi Dockerfile

1010 docker build -t hello-world .
1011 docker images --filter reference=hello-world

1014 docker run -t -i -p 10080:80 hello-world

1017 aws ecr create-repository --repository-name hello-repository --region ap-northeast-1
1018 docker tag hello-world xxxxxxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com/hello-repository

1020 aws --version
1021 docker --version
1025 pip install --upgrade pip --user
1026 pip install awscli --upgrade --user
# version up

1028 aws ecr get-login --no-include-email --region ap-northeast-1
1029 docker login -u AWS -p xxxxxxxxxx https://xxxxxxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com
1030 docker push xxxxxxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com/hello-repository

1008 touch Dockerfile

1009 vi Dockerfile

1010 docker build -t hello-world .

1011 docker images --filter reference=hello-world

1014 docker run -t -i -p 10080:80 hello-world

1017 aws ecr create-repository --repository-name hello-repository --region ap-northeast-1

1018 docker tag hello-world xxxxxxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com/hello-repository

1020 aws --version

1021 docker --version

1025 pip install --upgrade pip --user

1026 pip install awscli --upgrade --user

# version up

1028 aws ecr get-login --no-include-email --region ap-northeast-1

1029 docker login -u AWS -p xxxxxxxxxx https://xxxxxxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com

1030 docker push xxxxxxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com/hello-repository

Lambda Python runtime environment

コメントを残す

python3.7

Response:
0

Request ID:
"50b03c17-4f23-4dee-b449-2d359f7b4e14"

Function Logs:
START RequestId: 50b03c17-4f23-4dee-b449-2d359f7b4e14 Version: $LATEST
===[environment-variables]===
PATH
LD_LIBRARY_PATH
LANG
TZ
LAMBDA_TASK_ROOT
LAMBDA_RUNTIME_DIR
AWS_REGION
AWS_DEFAULT_REGION
AWS_LAMBDA_LOG_GROUP_NAME
AWS_LAMBDA_LOG_STREAM_NAME
AWS_LAMBDA_FUNCTION_NAME
AWS_LAMBDA_FUNCTION_MEMORY_SIZE
AWS_LAMBDA_FUNCTION_VERSION
_AWS_XRAY_DAEMON_ADDRESS
_AWS_XRAY_DAEMON_PORT
AWS_XRAY_DAEMON_ADDRESS
AWS_XRAY_CONTEXT_MISSING
AWS_EXECUTION_ENV
_HANDLER
AWS_ACCESS_KEY_ID
AWS_SECRET_ACCESS_KEY
AWS_SESSION_TOKEN
_X_AMZN_TRACE_ID

===[runtime directory:/var/runtime]===
python_dateutil-2.7.5.dist-info
docutils-0.14.dist-info
lambda_runtime_marshaller.py
s3transfer-0.1.13.dist-info
test_bootstrap.py
runtime-release
bootstrap.py
six-1.11.0.dist-info
urllib3-1.24.1.dist-info
s3transfer
lambda_runtime_exception.py
botocore
dateutil
bin
docutils
six.py
botocore-1.12.42.dist-info
urllib3
lambda_runtime_client.py
boto3-1.9.42.dist-info
boto3
bootstrap
test_lambda_runtime_client.py
jmespath
__pycache__
test_lambda_runtime_marshaller.py
jmespath-0.9.3.dist-info
===[amazon linux version]===
Amazon Linux AMI release 2017.03
0
END RequestId: 50b03c17-4f23-4dee-b449-2d359f7b4e14
REPORT RequestId: 50b03c17-4f23-4dee-b449-2d359f7b4e14  Duration: 109.71 ms Billed Duration: 200 ms     Memory Size: 128 MB Max Memory Used: 55 MB

Response:

Request ID:

"50b03c17-4f23-4dee-b449-2d359f7b4e14"

Function Logs:

START RequestId: 50b03c17-4f23-4dee-b449-2d359f7b4e14 Version: $LATEST

===[environment-variables]===

PATH

LD_LIBRARY_PATH

LANG

LAMBDA_TASK_ROOT

LAMBDA_RUNTIME_DIR

AWS_REGION

AWS_DEFAULT_REGION

AWS_LAMBDA_LOG_GROUP_NAME

AWS_LAMBDA_LOG_STREAM_NAME

AWS_LAMBDA_FUNCTION_NAME

AWS_LAMBDA_FUNCTION_MEMORY_SIZE

AWS_LAMBDA_FUNCTION_VERSION

_AWS_XRAY_DAEMON_ADDRESS

_AWS_XRAY_DAEMON_PORT

AWS_XRAY_DAEMON_ADDRESS

AWS_XRAY_CONTEXT_MISSING

AWS_EXECUTION_ENV

_HANDLER

AWS_ACCESS_KEY_ID

AWS_SECRET_ACCESS_KEY

AWS_SESSION_TOKEN

_X_AMZN_TRACE_ID

===[runtime directory:/var/runtime]===

python_dateutil-2.7.5.dist-info

docutils-0.14.dist-info

lambda_runtime_marshaller.py

s3transfer-0.1.13.dist-info

test_bootstrap.py

runtime-release

bootstrap.py

six-1.11.0.dist-info

urllib3-1.24.1.dist-info

s3transfer

lambda_runtime_exception.py

botocore

dateutil

bin

docutils

six.py

botocore-1.12.42.dist-info

urllib3

lambda_runtime_client.py

boto3-1.9.42.dist-info

boto3

bootstrap

test_lambda_runtime_client.py

jmespath

__pycache__

test_lambda_runtime_marshaller.py

jmespath-0.9.3.dist-info

===[amazon linux version]===

Amazon Linux AMI release 2017.03

END RequestId: 50b03c17-4f23-4dee-b449-2d359f7b4e14

REPORT RequestId: 50b03c17-4f23-4dee-b449-2d359f7b4e14 Duration: 109.71 ms Billed Duration: 200 ms Memory Size: 128 MB Max Memory Used: 55 MB

python3.6

Response:
{
  "errorMessage": "[Errno 2] No such file or directory: 'cat /etc/system-release': 'cat /etc/system-release'",
  "errorType": "FileNotFoundError",
  "stackTrace": [
    [
      "/var/task/lambda_function.py",
      22,
      "lambda_handler",
      "ret = subprocess.call(cmd)"
    ],
    [
      "/var/lang/lib/python3.6/subprocess.py",
      287,
      "call",
      "with Popen(*popenargs, **kwargs) as p:"
    ],
    [
      "/var/lang/lib/python3.6/subprocess.py",
      729,
      "__init__",
      "restore_signals, start_new_session)"
    ],
    [
      "/var/lang/lib/python3.6/subprocess.py",
      1364,
      "_execute_child",
      "raise child_exception_type(errno_num, err_msg, err_filename)"
    ]
  ]
}

Request ID:
"310363ce-1c33-4c07-9d31-9b445790422e"

Function Logs:
START RequestId: 310363ce-1c33-4c07-9d31-9b445790422e Version: $LATEST
===[environment-variables]===
PATH
LD_LIBRARY_PATH
LANG
TZ
LAMBDA_TASK_ROOT
LAMBDA_RUNTIME_DIR
AWS_REGION
AWS_DEFAULT_REGION
AWS_LAMBDA_LOG_GROUP_NAME
AWS_LAMBDA_LOG_STREAM_NAME
AWS_LAMBDA_FUNCTION_NAME
AWS_LAMBDA_FUNCTION_MEMORY_SIZE
AWS_LAMBDA_FUNCTION_VERSION
_AWS_XRAY_DAEMON_ADDRESS
_AWS_XRAY_DAEMON_PORT
AWS_XRAY_DAEMON_ADDRESS
AWS_XRAY_CONTEXT_MISSING
_X_AMZN_TRACE_ID
AWS_EXECUTION_ENV
_HANDLER
AWS_ACCESS_KEY_ID
AWS_SECRET_ACCESS_KEY
AWS_SESSION_TOKEN
AWS_SECURITY_TOKEN
PYTHONPATH

===[runtime directory:/var/runtime]===
liblambdaruntime.so
docutils-0.14.dist-info
botocore-1.10.74.dist-info
s3transfer-0.1.13.dist-info
six-1.11.0.dist-info
boto3-1.7.74.dist-info
s3transfer
botocore
liblambdalog.so
dateutil
awslambda
docutils
six.py
boto3
liblambdaio.so
jmespath
__pycache__
python_dateutil-2.7.3.dist-info
jmespath-0.9.3.dist-info
liblambdaipc.so

===[amazon linux version]===
[Errno 2] No such file or directory: 'cat /etc/system-release': 'cat /etc/system-release': FileNotFoundError
Traceback (most recent call last):
  File "/var/task/lambda_function.py", line 22, in lambda_handler
    ret = subprocess.call(cmd)
  File "/var/lang/lib/python3.6/subprocess.py", line 287, in call
    with Popen(*popenargs, **kwargs) as p:
  File "/var/lang/lib/python3.6/subprocess.py", line 729, in __init__
    restore_signals, start_new_session)
  File "/var/lang/lib/python3.6/subprocess.py", line 1364, in _execute_child
    raise child_exception_type(errno_num, err_msg, err_filename)
FileNotFoundError: [Errno 2] No such file or directory: 'cat /etc/system-release': 'cat /etc/system-release'

END RequestId: 310363ce-1c33-4c07-9d31-9b445790422e
REPORT RequestId: 310363ce-1c33-4c07-9d31-9b445790422e  Duration: 50.25 ms  Billed Duration: 100 ms     Memory Size: 128 MB Max Memory Used: 49 MB

100

101

Response:

{

"errorMessage": "[Errno 2] No such file or directory: 'cat /etc/system-release': 'cat /etc/system-release'",

"errorType": "FileNotFoundError",

"stackTrace": [

[

"/var/task/lambda_function.py",

22,

"lambda_handler",

"ret = subprocess.call(cmd)"

[

"/var/lang/lib/python3.6/subprocess.py",

287,

"call",

"with Popen(*popenargs, **kwargs) as p:"

[

"/var/lang/lib/python3.6/subprocess.py",

729,

"__init__",

"restore_signals, start_new_session)"

[

"/var/lang/lib/python3.6/subprocess.py",

1364,

"_execute_child",

"raise child_exception_type(errno_num, err_msg, err_filename)"

]

}

Request ID:

"310363ce-1c33-4c07-9d31-9b445790422e"

Function Logs:

START RequestId: 310363ce-1c33-4c07-9d31-9b445790422e Version: $LATEST

===[environment-variables]===

PATH

LD_LIBRARY_PATH

LANG

LAMBDA_TASK_ROOT

LAMBDA_RUNTIME_DIR

AWS_REGION

AWS_DEFAULT_REGION

AWS_LAMBDA_LOG_GROUP_NAME

AWS_LAMBDA_LOG_STREAM_NAME

AWS_LAMBDA_FUNCTION_NAME

AWS_LAMBDA_FUNCTION_MEMORY_SIZE

AWS_LAMBDA_FUNCTION_VERSION

_AWS_XRAY_DAEMON_ADDRESS

_AWS_XRAY_DAEMON_PORT

AWS_XRAY_DAEMON_ADDRESS

AWS_XRAY_CONTEXT_MISSING

_X_AMZN_TRACE_ID

AWS_EXECUTION_ENV

_HANDLER

AWS_ACCESS_KEY_ID

AWS_SECRET_ACCESS_KEY

AWS_SESSION_TOKEN

AWS_SECURITY_TOKEN

PYTHONPATH

===[runtime directory:/var/runtime]===

liblambdaruntime.so

docutils-0.14.dist-info

botocore-1.10.74.dist-info

s3transfer-0.1.13.dist-info

six-1.11.0.dist-info

boto3-1.7.74.dist-info

s3transfer

botocore

liblambdalog.so

dateutil

awslambda

docutils

six.py

boto3

liblambdaio.so

jmespath

__pycache__

python_dateutil-2.7.3.dist-info

jmespath-0.9.3.dist-info

liblambdaipc.so

===[amazon linux version]===

[Errno 2] No such file or directory: 'cat /etc/system-release': 'cat /etc/system-release': FileNotFoundError

Traceback (most recent call last):

File "/var/task/lambda_function.py", line 22, in lambda_handler

ret = subprocess.call(cmd)

File "/var/lang/lib/python3.6/subprocess.py", line 287, in call

with Popen(*popenargs, **kwargs) as p:

File "/var/lang/lib/python3.6/subprocess.py", line 729, in __init__

restore_signals, start_new_session)

File "/var/lang/lib/python3.6/subprocess.py", line 1364, in _execute_child

raise child_exception_type(errno_num, err_msg, err_filename)

FileNotFoundError: [Errno 2] No such file or directory: 'cat /etc/system-release': 'cat /etc/system-release'

END RequestId: 310363ce-1c33-4c07-9d31-9b445790422e

REPORT RequestId: 310363ce-1c33-4c07-9d31-9b445790422e Duration: 50.25 ms Billed Duration: 100 ms Memory Size: 128 MB Max Memory Used: 49 MB

Python2.7

Response:
{
  "stackTrace": [
    [
      "/var/task/lambda_function.py",
      24,
      "lambda_handler",
      "ret = subprocess.call(cmd)"
    ],
    [
      "/usr/lib64/python2.7/subprocess.py",
      523,
      "call",
      "return Popen(*popenargs, **kwargs).wait()"
    ],
    [
      "/usr/lib64/python2.7/subprocess.py",
      711,
      "__init__",
      "errread, errwrite)"
    ],
    [
      "/usr/lib64/python2.7/subprocess.py",
      1343,
      "_execute_child",
      "raise child_exception"
    ]
  ],
  "errorType": "OSError",
  "errorMessage": "[Errno 2] No such file or directory"
}

Request ID:
"098c848f-87e7-45dd-89fd-4b79d0767907"

Function Logs:
START RequestId: 098c848f-87e7-45dd-89fd-4b79d0767907 Version: $LATEST
===[environment-variables]===
_HANDLER
AWS_LAMBDA_FUNCTION_VERSION
LAMBDA_TASK_ROOT
PATH
LD_LIBRARY_PATH
LANG
TZ
AWS_REGION
AWS_XRAY_CONTEXT_MISSING
AWS_SESSION_TOKEN
AWS_SECURITY_TOKEN
LAMBDA_RUNTIME_DIR
PYTHONPATH
AWS_LAMBDA_FUNCTION_MEMORY_SIZE
_AWS_XRAY_DAEMON_PORT
_AWS_XRAY_DAEMON_ADDRESS
AWS_LAMBDA_LOG_GROUP_NAME
AWS_LAMBDA_LOG_STREAM_NAME
AWS_ACCESS_KEY_ID
_X_AMZN_TRACE_ID
AWS_DEFAULT_REGION
AWS_SECRET_ACCESS_KEY
AWS_EXECUTION_ENV
AWS_XRAY_DAEMON_ADDRESS
AWS_LAMBDA_FUNCTION_NAME

===[runtime directory:/var/runtime]===
liblambdaruntime.so
docutils-0.14.dist-info
botocore-1.10.74.dist-info
futures-3.2.0.dist-info
s3transfer-0.1.13.dist-info
six-1.11.0.dist-info
boto3-1.7.74.dist-info
s3transfer
botocore
liblambdalog.so
dateutil
six.pyc
awslambda
bin
docutils
six.py
boto3
liblambdaio.so
jmespath
concurrent
python_dateutil-2.7.3.dist-info
jmespath-0.9.3.dist-info
liblambdaipc.so

===[amazon linux version]===
[Errno 2] No such file or directory: OSError
Traceback (most recent call last):
  File "/var/task/lambda_function.py", line 24, in lambda_handler
    ret = subprocess.call(cmd)
  File "/usr/lib64/python2.7/subprocess.py", line 523, in call
    return Popen(*popenargs, **kwargs).wait()
  File "/usr/lib64/python2.7/subprocess.py", line 711, in __init__
    errread, errwrite)
  File "/usr/lib64/python2.7/subprocess.py", line 1343, in _execute_child
    raise child_exception
OSError: [Errno 2] No such file or directory

END RequestId: 098c848f-87e7-45dd-89fd-4b79d0767907
REPORT RequestId: 098c848f-87e7-45dd-89fd-4b79d0767907  Duration: 93.64 ms  Billed Duration: 100 ms     Memory Size: 128 MB Max Memory Used: 42 MB

100

101

102

103

104

Response:

{

"stackTrace": [

[

"/var/task/lambda_function.py",

24,

"lambda_handler",

"ret = subprocess.call(cmd)"

[

"/usr/lib64/python2.7/subprocess.py",

523,

"call",

"return Popen(*popenargs, **kwargs).wait()"

[

"/usr/lib64/python2.7/subprocess.py",

711,

"__init__",

"errread, errwrite)"

[

"/usr/lib64/python2.7/subprocess.py",

1343,

"_execute_child",

"raise child_exception"

]

"errorType": "OSError",

"errorMessage": "[Errno 2] No such file or directory"

}

Request ID:

"098c848f-87e7-45dd-89fd-4b79d0767907"

Function Logs:

START RequestId: 098c848f-87e7-45dd-89fd-4b79d0767907 Version: $LATEST

===[environment-variables]===

_HANDLER

AWS_LAMBDA_FUNCTION_VERSION

LAMBDA_TASK_ROOT

PATH

LD_LIBRARY_PATH

LANG

AWS_REGION

AWS_XRAY_CONTEXT_MISSING

AWS_SESSION_TOKEN

AWS_SECURITY_TOKEN

LAMBDA_RUNTIME_DIR

PYTHONPATH

AWS_LAMBDA_FUNCTION_MEMORY_SIZE

_AWS_XRAY_DAEMON_PORT

_AWS_XRAY_DAEMON_ADDRESS

AWS_LAMBDA_LOG_GROUP_NAME

AWS_LAMBDA_LOG_STREAM_NAME

AWS_ACCESS_KEY_ID

_X_AMZN_TRACE_ID

AWS_DEFAULT_REGION

AWS_SECRET_ACCESS_KEY

AWS_EXECUTION_ENV

AWS_XRAY_DAEMON_ADDRESS

AWS_LAMBDA_FUNCTION_NAME

===[runtime directory:/var/runtime]===

liblambdaruntime.so

docutils-0.14.dist-info

botocore-1.10.74.dist-info

futures-3.2.0.dist-info

s3transfer-0.1.13.dist-info

six-1.11.0.dist-info

boto3-1.7.74.dist-info

s3transfer

botocore

liblambdalog.so

dateutil

six.pyc

awslambda

bin

docutils

six.py

boto3

liblambdaio.so

jmespath

concurrent

python_dateutil-2.7.3.dist-info

jmespath-0.9.3.dist-info

liblambdaipc.so

===[amazon linux version]===

[Errno 2] No such file or directory: OSError

Traceback (most recent call last):

File "/var/task/lambda_function.py", line 24, in lambda_handler

ret = subprocess.call(cmd)

File "/usr/lib64/python2.7/subprocess.py", line 523, in call

return Popen(*popenargs, **kwargs).wait()

File "/usr/lib64/python2.7/subprocess.py", line 711, in __init__

errread, errwrite)

File "/usr/lib64/python2.7/subprocess.py", line 1343, in _execute_child

raise child_exception

OSError: [Errno 2] No such file or directory

END RequestId: 098c848f-87e7-45dd-89fd-4b79d0767907

REPORT RequestId: 098c848f-87e7-45dd-89fd-4b79d0767907 Duration: 93.64 ms Billed Duration: 100 ms Memory Size: 128 MB Max Memory Used: 42 MB

2.7でもboto3-1.7.74.dist-info

Lambda pythonバージョン

https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/python-programming-model.html

boto3 s3 署名バージョン対応

1.5.71 (Botocore)、1.4.6 (Boto3) にアップグレード。

【超重要】対応しないと使えなくなるかも？！今、全S3ユーザがチェックすべき署名バージョン２の廃止について

pythonコード

# -*- coding: utf-8 -*-
import os
import subprocess

def lambda_handler(event, context):

    # 環境変数一覧を取得
    print("===[environment-variables]===")
    for env in os.environ:
        print(env)

    #ランタイムの格納されているディレクトリを確認
    rtdir = os.environ.get("LAMBDA_RUNTIME_DIR")
    print("\n===[runtime directory:"+rtdir+"]===")
    
    #ディレクトリ内を表示
    files = os.listdir(rtdir)
    for file in files:
        print(file)

    # amazon linux version
    print("\n===[amazon linux version]===")
    cmd = "cat /etc/system-release";
    ret = subprocess.call(cmd)
    print(ret)

    cmd = "ls -la /etc/system*";
    ret = subprocess.call(cmd)
    print(ret)

    return 0

# -*- coding: utf-8 -*-

import os

import subprocess

def lambda_handler(event, context):

# 環境変数一覧を取得

print("===[environment-variables]===")

for env in os.environ:

print(env)

#ランタイムの格納されているディレクトリを確認

rtdir = os.environ.get("LAMBDA_RUNTIME_DIR")

print("\n===[runtime directory:"+rtdir+"]===")

#ディレクトリ内を表示

files = os.listdir(rtdir)

for file in files:

print(file)

# amazon linux version

print("\n===[amazon linux version]===")

cmd = "cat /etc/system-release";

ret = subprocess.call(cmd)

print(ret)

cmd = "ls -la /etc/system*";

ret = subprocess.call(cmd)

print(ret)

return 0

https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/UsingAWSSDK.html

すべての AWS リージョンでは、AWS SDK はデフォルトで署名バージョン 4 を使用してリクエストを認証します。2016 年 5 月以前にリリースされた AWS SDK を使用する場合、次の表に示すように、署名バージョン 4 のリクエストが必要になることがあります。

[s3] use-sigv4 = True

5af85bf0